9D 张量积

本节概览

本节是第9章”多重线性代数和行列式”的第四小节,也是本章的核心高潮之一。本节引入了张量积(tensor product)的概念——这是将双线性映射”线性化”的通用工具,在现代数学和物理中无处不在。逻辑链条如下:

  1. 定义9.68:双线性泛函 上两个位置分别线性的函数
  2. 定理9.70:维数公式
  3. 定义9.71:张量积 定义为 定义为 上的双线性泛函
  4. 定理9.72-9.74:基本性质 维数、双线性、基
  5. 定义9.77/定理9.79:泛性质 双线性映射 线性映射的万能转化
  6. 定理9.80-9.83:内积空间 张量积上的内积、规范正交基
  7. 定义9.85-9.92:多空间推广 重线性泛函、、泛性质

核心主线:双线性泛函 张量积的定义 基本性质(维数、基、双线性) 泛性质(万能转化) 内积空间 多空间推广。

前置依赖9A 双线性和二次型(双线性型)、9B 交错多重线性型(多重线性型)、9C 行列式(行列式)、3F 对偶(对偶空间 、线性泛函)、3E 向量空间的积和商(向量空间的积与商)。


一、两向量空间的张量积

1.1 双线性泛函

定义9.68: 上的双线性泛函、

上的向量空间。 上的一个双线性泛函(bilinear functional)是一个函数 ,满足:对于所有 ,函数 都是 上的线性泛函;对于所有 ,函数 都是 上的线性泛函。

所有 上的双线性泛函构成的集合记为

双线性型的关系

  • 双线性型是 (同一个空间)
  • 双线性泛函是 (可以是不同的空间)
  • 双线性型是双线性泛函当 时的特例

双线性泛函的线性结构 构成向量空间,加法和标量乘法定义为

1.2 双线性泛函的例子

例9.69:双线性泛函

例1:设 。定义为 的函数 上的双线性泛函。这是因为固定 时, 的标量倍,关于 线性;固定 时类似。

例2:更一般地,设 ,则 上的双线性泛函。例1是 的特例。

例3:设 矩阵。定义为 的函数 是双线性泛函。

例4:设 (实系数多项式空间),。定义为 的函数 是双线性泛函。

1.3 双线性泛函空间的维数

定理9.70:

是有限维向量空间。则

证明思路

[构造 的基]

  1. 的基, 的基。
  2. 中对应的对偶基, 中对应的对偶基(定义3.106)。
  3. 定义 ,其中
  4. 关键步骤:证明 的基。首先证明它们张成 :对任意 ,展开 。然后证明线性无关性:若 ,则对所有
  5. 因此

维数公式的直觉

的维数等于 的乘积——这与矩阵的维数一致。事实上,每个双线性泛函都对应一个矩阵(类似9A节中双线性型与矩阵的对应关系),而 矩阵空间的维数正是

1.4 张量积的定义

定义9.71:张量积

是有限维向量空间。张量积(tensor product),记作 ,定义为 (即所有从 的双线性泛函构成的向量空间)。

对于 ,定义 为如下双线性泛函: 其中

形如 的元素称为可分解张量(decomposable tensor)或纯张量(pure tensor)。

直觉理解 是一个”双线性泛函”,它接收两个线性泛函 ,分别作用于 ,然后把结果相乘。可以理解为”将 的信息编码到一个双线性函数中”。

张量积的本质含义

==张量积 是”双线性映射的通用目标空间”==。任何从 出发的双线性映射,都唯一地对应一个从 出发的线性映射。这就是泛性质(universal property),是张量积最重要的特征。

1.5 张量积的维数

定理9.72:

是有限维向量空间。则

证明思路

[直接利用定义9.71和定理9.70]

  1. 由定义9.71,
  2. 定理3.106
  3. 由定理9.70,

二、张量积的基本性质

2.1 张量积的双线性

定理9.73:张量积的双线性

是有限维向量空间。则映射 是从 的双线性映射。即:

证明思路

[利用 的定义验证]

  1. 对任意 这正是
  2. 标量乘法类似:
  3. 第二个位置的线性性同理可证。

张量积不是线性映射

虽然张量积映射 双线性的,但它不是线性的。例如 (除非 )。这正是我们需要张量积的原因——双线性映射不能简单地视为线性映射。

2.2 张量积的基

定理9.74: 的基

的基, 的基。则 的基。特别地,

证明思路

[分两步:线性无关性 张成性]

第一部分:线性无关性。设 。需要证明所有

  1. 中关于 的对偶基, 中关于 的对偶基。
  2. 对任意
  3. 关键步骤:取 ,则 ,因此

第二部分:张成性。由 (定理9.72)和 个元素线性无关,它们构成基。

基的直觉

张量积的基是两个空间的基的”所有配对”。如果 个基向量, 个基向量,那么 就有 个基向量——每个都是 的一个基向量与 的一个基向量的张量积。

2.3 张量积与矩阵

例9.76: 的元素和 的元素所成的张量积

。则 可以等同于 矩阵:

这是因为 的第 个分量是

具体例子:设 ,则

注意 的秩为 1(所有行都是第一行的倍数)。事实上,==所有可分解张量 对应的矩阵秩都为 1==,而 中的一般元素是秩为 1 矩阵的线性组合。

张量积与矩阵的关系

同构于所有 矩阵构成的向量空间。在这个同构下:

  • 可分解张量 对应秩为 1 的矩阵
  • 一般张量 对应一般矩阵
  • 张量积的基 对应只有第 个位置为 1 的矩阵

三、双线性映射与泛性质

3.1 双线性映射

定义9.77:双线性映射

上的向量空间。一个函数 称为双线性映射(bilinear map),如果:

  • 对每个固定的 ,映射 是从 的线性映射;
  • 对每个固定的 ,映射 是从 的线性映射。

与双线性泛函的关系:双线性泛函 是双线性映射当 时的特例。双线性映射是双线性泛函的推广——值域从标量推广到任意向量空间。

3.2 双线性映射的例子

例9.78:双线性映射

例1:张量积映射本身 是从 的双线性映射(定理9.73)。

例2:矩阵乘法可以视为双线性映射。设 ,则 是双线性映射。这是因为矩阵乘法关于每个因子都是线性的:

例3:函数的乘积。设 (多项式空间),则 (多项式乘法)是双线性映射。

3.3 泛性质——张量积的核心定理

定理9.79:化双线性映射为线性映射(泛性质)

是有限维向量空间。则:

(a) 对于每个双线性映射 ,存在唯一的线性映射 使得

(b) 反过来,对于每个线性映射 ,定义为 的函数 是双线性映射。

因此,双线性映射 与线性映射 之间存在一一对应

证明思路

[构造 并验证一一对应]

(a) 的证明:设 是双线性映射。

  1. 的基, 的基。由定理9.74, 的基。
  2. 关键步骤:定义 在基上的值:,然后线性扩展到整个
  3. 需要验证 对所有 成立。设 ,则 其中最后一步利用了 的双线性性。
  4. 唯一性: 由基上的值完全确定,而基上的值由 决定,所以 唯一。

(b) 的证明:设 是线性映射,定义

  1. 关于 线性:
  2. 类似可证 关于 线性。

泛性质的深刻含义

泛性质是张量积的"灵魂"。它说的是:

  • 任何双线性映射 都可以”通过”张量积 来实现
  • 具体来说, 可以分解为:先做张量积 ,再做线性映射
  • 这个分解是唯一的

这意味着 是”双线性映射的通用目标空间”——要研究双线性映射,只需要研究从 出发的线性映射。双线性映射的问题被”线性化”了。

graph LR
    A[V x W] -->|双线性映射 Gamma| B[U]
    A -->|张量积映射| C[V tensor W]
    C -->|线性映射 T| B

泛性质的三层理解框架

  1. 操作层:给定双线性映射 ,可以构造唯一的线性映射 使得
  2. 范畴层:张量积是 在”双线性映射”范畴下的余积(coproduct),是”线性化”的泛对象
  3. 计算层:在具体问题中,泛性质给出了”将双线性问题化为线性问题”的标准方法——先验证双线性性,再利用泛性质得到线性映射

四、内积空间的张量积

4.1 内积的存在唯一性

定理9.80:两内积空间所成张量积上的内积存在唯一性

是有限维内积空间。则 上存在唯一的内积 满足

证明思路

[利用基定义内积并验证良定义性]

  1. 的规范正交基, 的规范正交基。
  2. 由定理9.74, 的基。
  3. 关键步骤:定义 (Kronecker delta),然后双线性扩展。
  4. 验证这个内积满足要求:
  5. 唯一性:内积由基上的值完全确定,而基上的值由条件决定。

4.2 张量积上内积的定义

定义9.82:两内积空间所成张量积上的内积

是有限维内积空间。 上的内积定义为满足 的唯一内积(存在性由定理9.80保证)。

内积的直觉

张量积上的内积就是”分别取内积再相乘”。如果 想象成”两张照片叠加”,那么它们的”相似度”就是两张照片各自相似度的乘积。

4.3 张量积的规范正交基

定理9.83: 的规范正交基

是内积空间 的规范正交基, 是内积空间 的规范正交基。则 的规范正交基。

证明思路

[直接利用定义9.82计算]

  1. 由定理9.74, 已经是 的基。
  2. 只需验证规范正交性:
  3. 因为 的规范正交基, 的规范正交基,所以 正是规范正交性的条件。

规范正交基的直觉

如果 各有一组”标准方向”(规范正交基),那么 的标准方向就是所有”方向对”的组合。每个方向对 给出一个规范正交的基向量


五、多个向量空间的张量积

5.1 m 重线性泛函

定义9.85: 重线性泛函、

上的向量空间。 上的一个 重线性泛函(multilinear functional)是一个函数 ,满足:固定除第 个位置外的所有变量后,函数在第 个位置上是线性的(对每个 )。

所有 上的 重线性泛函构成的集合记为

例9.86: 重线性泛函

例1:设 )。定义为 的函数 上的 重线性泛函。这是最基本也是最重要的例子。

例2:行列式 )是 重线性泛函(参见定理9.45)。

例3:设 ,定义为 的函数是 重线性泛函(因为矩阵乘法和迹都是线性的)。

5.2 m 重线性泛函空间的维数

定理9.87:

是有限维向量空间。则

证明思路

[推广定理9.70的证明方法]

  1. 的基(),其中
  2. 中对应的对偶基。
  3. 定义
  4. 关键步骤:与定理9.70类似,证明 的基。元素个数为

5.3 多个空间的张量积

定义9.88:张量积

是有限维向量空间。张量积,记作 ,定义为

对于 ),定义 为如下 重线性泛函: 其中

5.4 多空间张量积的维数与基

定理9.89:

是有限维向量空间。则

证明思路

与定理9.72完全类似:,由定理9.87直接得到维数公式。

定理9.90: 的基

的基()。则 的基。

证明思路

与定理9.74完全类似:利用对偶基验证线性无关性,再由维数公式得出张成性。

5.5 m 重线性映射与泛性质

定义9.91: 重线性映射

上的向量空间。一个函数 称为 重线性映射(multilinear map),如果固定除第 个位置外的所有变量后,函数在第 个位置上是线性的(对每个 )。

定理9.92:化 重线性映射为线性映射

是有限维向量空间。则:

(a) 对于每个 重线性映射 ,存在唯一的线性映射 使得

(b) 反过来,对于每个线性映射 ,定义为 的函数 重线性映射。

因此, 重线性映射 与线性映射 之间存在一一对应

证明思路

与定理9.79完全类似:在基上定义 ,利用 重线性性验证 ,再验证一一对应。

结合律

多个空间的张量积满足结合律(在同构意义下): 因此我们可以不加括号地写 。类似地, 在自然同构下相同,都等于


六、知识结构总览

graph TD
    A[定义9.68 - 双线性泛函 B of V and W] --> B[定理9.70 - 维数公式]
    B --> C[定义9.71 - 张量积 V tensor W]
    C --> D[定理9.72 - 张量积维数]
    C --> E[定理9.73 - 双线性性]
    C --> F[定理9.74 - 张量积的基]
    D --> G[例9.76 - 张量积与矩阵]
    E --> H[定义9.77 - 双线性映射]
    H --> I[例9.78 - 双线性映射例子]
    H --> J[定理9.79 - 泛性质]
    J --> K[定理9.80 - 内积存在唯一性]
    K --> L[定义9.82 - 张量积上的内积]
    L --> M[定理9.83 - 规范正交基]
    A --> N[定义9.85 - m重线性泛函]
    N --> O[定理9.87 - m重维数公式]
    O --> P[定义9.88 - 多空间张量积]
    P --> Q[定理9.89 - 多空间维数]
    P --> R[定理9.90 - 多空间基]
    P --> S[定义9.91 - m重线性映射]
    S --> T[定理9.92 - 多空间泛性质]

七、核心思想与证明技巧

6.1 Axler 定义张量积的独特方式

Axler 的张量积定义方式非常独特——他将 定义为 ,即”从 的双线性泛函”。

传统教材的方法(商空间构造):

  1. 从自由向量空间 出发
  2. 对双线性关系取商:
  3. 在商空间中的等价类
  4. 泛性质从构造中自然得出

Axler 的方法(本节采用):

  1. 直接定义
  2. 是一个具体的双线性泛函:
  3. 维数和基从对偶空间理论直接得出
  4. 泛性质通过基上的构造证明

两种方法的比较

  • Axler 的方法更”具体”——每个元素都是一个明确的函数,不需要处理等价类
  • 传统方法更”通用”——可以推广到无限维空间
  • Axler 的方法更简洁——不需要引入自由向量空间和商空间的概念

6.2 泛性质的证明模板

定理9.79的证明提供了一个通用的模板,适用于所有”泛性质”类定理:

  1. 构造:在基上定义线性映射
  2. 验证:利用多重线性性验证 在所有可分解张量上满足要求
  3. 唯一性 由基上的值完全确定

这个模板在定理9.92( 重版本)中完全复用。

6.3 维数公式的统一模式

本节的维数公式遵循统一的模式:

对象维数公式

注意: 的维数相同(因为 ,而 )。


八、补充理解与易混淆点

7.1 张量积的动机——为什么需要张量积

双线性函数的"源"不是向量空间,这是一个根本性的美学问题

考虑双线性映射 。我们希望将 转化为线性映射(因为线性映射的理论已经非常成熟),但 作为源空间行不通—— 上不是线性的(它是双线性的)。

问题:是否存在一个向量空间 和一个双线性映射 ,使得任何双线性映射 都可以唯一地分解为 其中 是线性映射?

答案:存在,这个 就是 就是张量积映射 。这就是泛性质。

类比:就像商空间将”等价关系”转化为”线性映射的核”一样,张量积将”双线性映射”转化为”线性映射”。

来源:Mike Hill (UCLA) Math 110B 讲义——“The source of a bilinear function is not a vector space, and this is aesthetically unacceptable.”

7.2 泛性质的直觉——“将双线性映射转化为线性映射”

泛性质说的是:张量积是双线性映射的"万能线性化器"

Keith Conrad (UConn) 的表述:张量积是”generalized multiplication”——它将两个向量空间的元素”相乘”,得到一个新的向量空间中的元素,而且这种”乘法”满足双线性性。

三层理解框架

  1. 操作层:给定双线性映射 ,可以构造唯一的线性映射 使得下图交换:

    V × W ──Γ──> U
      │            ↑
      ⊗            T
      ↓            │
    V ⊗ W ────────┘
    
  2. 范畴层:在 forgetful functor 的视角下,张量积是左伴随(left adjoint)。用范畴论的语言说,

  3. 计算层:在实际问题中,要证明某个构造是”自然的”或”唯一的”,只需要验证它满足泛性质。例如,要证明两个构造给出相同的张量积,只需要证明它们都满足泛性质(由唯一性,它们必然同构)。

来源:Keith Conrad (UConn) “Tensor Products” 讲义、Hacker News 讨论帖 “What is a tensor product, intuitively?“

7.3 张量积的两种构造方法对比

方法一:泛性质构造(Axler 采用的方法)

  • 优点:具体、明确,每个元素都是一个函数
  • 缺点:依赖于对偶空间,需要有限维假设

方法二:基构造

  • 给定 的基 的基 是以 为基的形式向量空间
  • 优点:直接、计算方便
  • 缺点:依赖于基的选择(虽然最终结果基无关)

方法三:商空间构造(传统方法)

  • ,其中 由双线性关系生成
  • 优点:最通用,适用于无限维
  • 缺点:抽象,需要处理等价类

三种方法给出同构的结果。泛性质保证了这一点——只要一个构造满足泛性质,它就与其他满足泛性质的构造自然同构。

来源:Mike Hill (UCLA) Math 110B 讲义。

7.4 张量积与克罗内克积、外积的关系

外积(outer product)是张量积的特例

  • 列向量 的外积 是一个 矩阵
  • 这正是 下的矩阵表示
  • 外积只处理列向量的情况,张量积适用于任意向量空间

克罗内克积(Kronecker product)是张量积的矩阵表示

  • 矩阵, 矩阵
  • 克罗内克积 矩阵,定义为
  • 这对应于算子 诱导的算子 在张量积基下的矩阵

来源:Lei Mao 博客 “Tensor Product and Outer Product”、Number Analytics “Kronecker Product vs Tensor Product”。

7.5 张量积上的算子

。可以定义算子 然后线性扩展到整个

性质

  • 是良定义的线性算子
  • (当 可逆时)

来源:Keith Conrad (UConn) “Tensor Products” 讲义。

7.6 常见误区

误区1:张量积就是各元素相乘

❌ ” 就是把 的分量逐个相乘” ✅ 在 的特殊情况下, 确实可以表示为矩阵 (例9.76),其分量是 。但对于一般的向量空间, 是一个双线性泛函,不是简单的分量相乘。张量积的本质是泛性质,不是分量运算。

来源:Keith Conrad (UConn) “Tensor Products” 讲义。

误区2:张量积与直和类似

❌ ” 差不多” ✅ 这是两个完全不同的构造:

  • (加法)
  • (乘法)
  • 直和的元素是”有序对” ,张量积的元素是双线性泛函的线性组合
  • 直和对应”独立选择”,张量积对应”组合配对”

来源:Keith Conrad (UConn) “Tensor Products” 讲义。

误区3:双线性映射就是直和上的线性映射

❌ “双线性映射 就是线性映射 ” ✅ 不正确。 作为集合等于 ,但双线性映射不是 上的线性映射。反例:。这正是需要张量积的原因—— 才是双线性映射的”正确”源空间。

来源:Keith Conrad (UConn) “Tensor Products” 讲义、Mike Hill (UCLA) Math 110B 讲义。

误区4:张量就是多维数组

❌ “张量就是一个多维数组,比如 的数组” ✅ 在有基的情况下,张量确实可以用多维数组表示(分量是关于基的坐标)。但张量本身是基无关的几何对象。同一个张量在不同基下有不同的数组表示。说”张量就是多维数组”就像说”向量就是一列数”一样——在有基的情况下是对的,但忽略了本质。

来源:Hacker News 讨论帖 “What is a tensor product, intuitively?”

误区5:张量积依赖于基的选择

❌ ” 的定义依赖于 的基” ✅ 的定义(定义9.71)完全不涉及基——它是 ,一个纯粹由向量空间结构决定的空间。基只在我们具体计算时才需要(定理9.74)。可以做一个数值验证:

。取标准基 ,则 现在换一组基 。则 两组展开式看起来不同,但表示的是 同一个元素。验证:将 表示后代入,会得到与第一组展开式相同的系数。

来源:Keith Conrad (UConn) “Tensor Products” 讲义。

误区6:泛性质只是抽象废话

❌ “泛性质只是数学家玩的抽象游戏,没有实际用处” ✅ 泛性质是张量积最有用的部分。它给出了一个强大的方法论:

  1. 定义新对象:要定义从 出发的某种结构,只需要定义从 出发的对应线性结构
  2. 证明唯一性:如果两个构造都满足泛性质,它们必然(自然)同构
  3. 简化计算:将双线性问题化为线性问题,利用线性代数的成熟工具
  4. 统一理论:行列式、外积、对称积等都是张量积的特殊情况

Brian Conrad (Stanford) 的评论:“泛性质不是’抽象废话’,而是’精确的废话’——它精确地告诉你什么性质是本质的、什么依赖于具体构造。”

来源:Brian Conrad (Stanford) 数学讨论。


九、习题精选

习题1:张量积的维数

习题1(LADR 9D.1)

是有限维向量空间。证明 ,不使用定理9.72(即不通过 的定义),而是直接利用定理9.74。

习题2:张量积中的零元素

习题2(LADR 9D.2)

是有限维向量空间,。证明 当且仅当

习题4:张量积与线性映射

习题4(LADR 9D.4)

。证明存在唯一的线性映射 使得 对所有 成立。

习题5:张量积与对偶

习题5(LADR 9D.5)

是有限维向量空间。证明 (在同构意义下)。

习题9:泛性质的应用

习题9(LADR 9D.9)

是有限维向量空间。证明:从 的双线性映射构成的集合与从 的线性映射构成的集合之间存在自然的双射。

习题10:内积空间张量积的计算

习题10(LADR 9D.10)

,各自带有标准内积。设 。计算


十、视频学习指南

暂无对应视频,建议通过阅读教材原文和本笔记学习。

建议学习路径

  1. 先通读本笔记的”概览”和”知识结构总览”,建立整体框架
  2. 按模块顺序学习,重点理解张量积的定义(为什么定义为 )和泛性质
  3. 特别关注定理9.79(泛性质)的证明——它展示了张量积的核心思想
  4. 通过补充理解模块建立”双线性映射线性化”的直觉
  5. 多空间推广(模块五)是直接类比,理解两空间的情况后自然推广
  6. 做习题巩固:习题1(维数)、习题2(零元素)、习题4(算子 )、习题5(对偶)、习题9(泛性质应用)、习题10(内积计算)

十一、教材原文

张量积