9D 张量积
本节概览
本节是第9章”多重线性代数和行列式”的第四小节,也是本章的核心高潮之一。本节引入了张量积(tensor product)的概念——这是将双线性映射”线性化”的通用工具,在现代数学和物理中无处不在。逻辑链条如下:
- 定义9.68:双线性泛函 : 上两个位置分别线性的函数
- 定理9.70:维数公式
- 定义9.71:张量积 定义为 , 定义为 上的双线性泛函
- 定理9.72-9.74:基本性质 维数、双线性、基
- 定义9.77/定理9.79:泛性质 双线性映射 线性映射的万能转化
- 定理9.80-9.83:内积空间 张量积上的内积、规范正交基
- 定义9.85-9.92:多空间推广 重线性泛函、、泛性质
核心主线:双线性泛函 张量积的定义 基本性质(维数、基、双线性) 泛性质(万能转化) 内积空间 多空间推广。
前置依赖:9A 双线性和二次型(双线性型)、9B 交错多重线性型(多重线性型)、9C 行列式(行列式)、3F 对偶(对偶空间 、线性泛函)、3E 向量空间的积和商(向量空间的积与商)。
一、两向量空间的张量积
1.1 双线性泛函
定义9.68: 上的双线性泛函、
设 和 是 上的向量空间。 上的一个双线性泛函(bilinear functional)是一个函数 ,满足:对于所有 ,函数 都是 上的线性泛函;对于所有 ,函数 都是 上的线性泛函。
所有 上的双线性泛函构成的集合记为 。
与双线性型的关系:
- 双线性型是 (同一个空间)
- 双线性泛函是 (可以是不同的空间)
- 双线性型是双线性泛函当 时的特例
双线性泛函的线性结构: 构成向量空间,加法和标量乘法定义为
1.2 双线性泛函的例子
例9.69:双线性泛函
例1:设 且 。定义为 的函数 是 上的双线性泛函。这是因为固定 时, 是 的标量倍,关于 线性;固定 时类似。
例2:更一般地,设 且 ,则 是 上的双线性泛函。例1是 的特例。
例3:设 , 是 矩阵。定义为 的函数 是双线性泛函。
例4:设 (实系数多项式空间),。定义为 的函数 是双线性泛函。
1.3 双线性泛函空间的维数
定理9.70:
设 和 是有限维向量空间。则
证明思路
[构造 的基]:
- 设 是 的基, 是 的基。
- 设 是 中对应的对偶基, 是 中对应的对偶基(定义3.106)。
- 定义 ,其中 ,。
- 关键步骤:证明 是 的基。首先证明它们张成 :对任意 ,展开 。然后证明线性无关性:若 ,则对所有 有 。
- 因此 。
维数公式的直觉
的维数等于 和 的乘积——这与矩阵的维数一致。事实上,每个双线性泛函都对应一个矩阵(类似9A节中双线性型与矩阵的对应关系),而 矩阵空间的维数正是 。
1.4 张量积的定义
定义9.71:张量积 、
设 和 是有限维向量空间。 和 的张量积(tensor product),记作 ,定义为 (即所有从 到 的双线性泛函构成的向量空间)。
对于 和 ,定义 为如下双线性泛函: 其中 ,。
形如 的元素称为可分解张量(decomposable tensor)或纯张量(pure tensor)。
直觉理解: 是一个”双线性泛函”,它接收两个线性泛函 和 ,分别作用于 和 ,然后把结果相乘。可以理解为”将 和 的信息编码到一个双线性函数中”。
张量积的本质含义
==张量积 是”双线性映射的通用目标空间”==。任何从 出发的双线性映射,都唯一地对应一个从 出发的线性映射。这就是泛性质(universal property),是张量积最重要的特征。
1.5 张量积的维数
定理9.72:
设 和 是有限维向量空间。则
证明思路
[直接利用定义9.71和定理9.70]:
- 由定义9.71,。
- 由定理3.106,,。
- 由定理9.70,。
二、张量积的基本性质
2.1 张量积的双线性
定理9.73:张量积的双线性
设 和 是有限维向量空间。则映射 是从 到 的双线性映射。即:
证明思路
[利用 的定义验证]:
- 对任意 ,: 这正是 。
- 标量乘法类似:。
- 第二个位置的线性性同理可证。
张量积不是线性映射
虽然张量积映射 是双线性的,但它不是线性的。例如 (除非 或 )。这正是我们需要张量积的原因——双线性映射不能简单地视为线性映射。
2.2 张量积的基
定理9.74: 的基
设 是 的基, 是 的基。则 是 的基。特别地,。
证明思路
[分两步:线性无关性 张成性]:
第一部分:线性无关性。设 。需要证明所有 。
- 设 是 中关于 的对偶基, 是 中关于 的对偶基。
- 对任意 ,:
- 关键步骤:取 ,,则 ,,因此 。
第二部分:张成性。由 (定理9.72)和 个元素线性无关,它们构成基。
基的直觉
张量积的基是两个空间的基的”所有配对”。如果 有 个基向量, 有 个基向量,那么 就有 个基向量——每个都是 的一个基向量与 的一个基向量的张量积。
2.3 张量积与矩阵
例9.76: 的元素和 的元素所成的张量积
设 ,。则 可以等同于 矩阵:
这是因为 的第 个分量是 。
具体例子:设 ,,则
注意 的秩为 1(所有行都是第一行的倍数)。事实上,==所有可分解张量 对应的矩阵秩都为 1==,而 中的一般元素是秩为 1 矩阵的线性组合。
张量积与矩阵的关系
同构于所有 矩阵构成的向量空间。在这个同构下:
- 可分解张量 对应秩为 1 的矩阵
- 一般张量 对应一般矩阵
- 张量积的基 对应只有第 个位置为 1 的矩阵
三、双线性映射与泛性质
3.1 双线性映射
定义9.77:双线性映射
设 、、 是 上的向量空间。一个函数 称为双线性映射(bilinear map),如果:
- 对每个固定的 ,映射 是从 到 的线性映射;
- 对每个固定的 ,映射 是从 到 的线性映射。
与双线性泛函的关系:双线性泛函 是双线性映射当 时的特例。双线性映射是双线性泛函的推广——值域从标量推广到任意向量空间。
3.2 双线性映射的例子
例9.78:双线性映射
例1:张量积映射本身 是从 到 的双线性映射(定理9.73)。
例2:矩阵乘法可以视为双线性映射。设 ,,,则 是双线性映射。这是因为矩阵乘法关于每个因子都是线性的:,。
例3:函数的乘积。设 (多项式空间),则 (多项式乘法)是双线性映射。
3.3 泛性质——张量积的核心定理
定理9.79:化双线性映射为线性映射(泛性质)
设 和 是有限维向量空间。则:
(a) 对于每个双线性映射 ,存在唯一的线性映射 使得
(b) 反过来,对于每个线性映射 ,定义为 的函数 是双线性映射。
因此,双线性映射 与线性映射 之间存在一一对应。
证明思路
[构造 并验证一一对应]:
(a) 的证明:设 是双线性映射。
- 设 是 的基, 是 的基。由定理9.74, 是 的基。
- 关键步骤:定义 在基上的值:,然后线性扩展到整个 。
- 需要验证 对所有 成立。设 ,,则 其中最后一步利用了 的双线性性。
- 唯一性: 由基上的值完全确定,而基上的值由 决定,所以 唯一。
(b) 的证明:设 是线性映射,定义 。
- 关于 线性:。
- 类似可证 关于 线性。
泛性质的深刻含义
泛性质是张量积的"灵魂"。它说的是:
- 任何双线性映射 都可以”通过”张量积 来实现
- 具体来说, 可以分解为:先做张量积 ,再做线性映射
- 这个分解是唯一的
这意味着 是”双线性映射的通用目标空间”——要研究双线性映射,只需要研究从 出发的线性映射。双线性映射的问题被”线性化”了。
graph LR A[V x W] -->|双线性映射 Gamma| B[U] A -->|张量积映射| C[V tensor W] C -->|线性映射 T| B
泛性质的三层理解框架
- 操作层:给定双线性映射 ,可以构造唯一的线性映射 使得
- 范畴层:张量积是 在”双线性映射”范畴下的余积(coproduct),是”线性化”的泛对象
- 计算层:在具体问题中,泛性质给出了”将双线性问题化为线性问题”的标准方法——先验证双线性性,再利用泛性质得到线性映射
四、内积空间的张量积
4.1 内积的存在唯一性
定理9.80:两内积空间所成张量积上的内积存在唯一性
设 和 是有限维内积空间。则 上存在唯一的内积 满足
证明思路
[利用基定义内积并验证良定义性]:
- 设 是 的规范正交基, 是 的规范正交基。
- 由定理9.74, 是 的基。
- 关键步骤:定义 (Kronecker delta),然后双线性扩展。
- 验证这个内积满足要求:。
- 唯一性:内积由基上的值完全确定,而基上的值由条件决定。
4.2 张量积上内积的定义
定义9.82:两内积空间所成张量积上的内积
设 和 是有限维内积空间。 上的内积定义为满足 的唯一内积(存在性由定理9.80保证)。
内积的直觉
张量积上的内积就是”分别取内积再相乘”。如果 和 想象成”两张照片叠加”,那么它们的”相似度”就是两张照片各自相似度的乘积。
4.3 张量积的规范正交基
定理9.83: 的规范正交基
设 是内积空间 的规范正交基, 是内积空间 的规范正交基。则 是 的规范正交基。
证明思路
[直接利用定义9.82计算]:
- 由定理9.74, 已经是 的基。
- 只需验证规范正交性:。
- 因为 是 的规范正交基, 是 的规范正交基,所以 正是规范正交性的条件。
规范正交基的直觉
如果 和 各有一组”标准方向”(规范正交基),那么 的标准方向就是所有”方向对”的组合。每个方向对 给出一个规范正交的基向量 。
五、多个向量空间的张量积
5.1 m 重线性泛函
定义9.85: 重线性泛函、
设 是 上的向量空间。 上的一个 重线性泛函(multilinear functional)是一个函数 ,满足:固定除第 个位置外的所有变量后,函数在第 个位置上是线性的(对每个 )。
所有 上的 重线性泛函构成的集合记为 。
例9.86: 重线性泛函
例1:设 ()。定义为 的函数 是 上的 重线性泛函。这是最基本也是最重要的例子。
例2:行列式 ( 个 )是 重线性泛函(参见定理9.45)。
例3:设 ,定义为 的函数是 重线性泛函(因为矩阵乘法和迹都是线性的)。
5.2 m 重线性泛函空间的维数
定理9.87:
设 是有限维向量空间。则
证明思路
[推广定理9.70的证明方法]:
- 设 是 的基(),其中 。
- 设 是 中对应的对偶基。
- 定义 。
- 关键步骤:与定理9.70类似,证明 是 的基。元素个数为 。
5.3 多个空间的张量积
定义9.88:张量积 、
设 是有限维向量空间。 的张量积,记作 ,定义为 。
对于 (),定义 为如下 重线性泛函: 其中 。
5.4 多空间张量积的维数与基
定理9.89:
设 是有限维向量空间。则
证明思路
与定理9.72完全类似:,由定理9.87直接得到维数公式。
定理9.90: 的基
设 是 的基()。则 是 的基。
证明思路
与定理9.74完全类似:利用对偶基验证线性无关性,再由维数公式得出张成性。
5.5 m 重线性映射与泛性质
定义9.91: 重线性映射
设 、 是 上的向量空间。一个函数 称为 重线性映射(multilinear map),如果固定除第 个位置外的所有变量后,函数在第 个位置上是线性的(对每个 )。
定理9.92:化 重线性映射为线性映射
设 是有限维向量空间。则:
(a) 对于每个 重线性映射 ,存在唯一的线性映射 使得
(b) 反过来,对于每个线性映射 ,定义为 的函数 是 重线性映射。
因此, 重线性映射 与线性映射 之间存在一一对应。
证明思路
与定理9.79完全类似:在基上定义 ,利用 重线性性验证 ,再验证一一对应。
结合律
多个空间的张量积满足结合律(在同构意义下): 因此我们可以不加括号地写 。类似地, 和 在自然同构下相同,都等于 。
六、知识结构总览
graph TD A[定义9.68 - 双线性泛函 B of V and W] --> B[定理9.70 - 维数公式] B --> C[定义9.71 - 张量积 V tensor W] C --> D[定理9.72 - 张量积维数] C --> E[定理9.73 - 双线性性] C --> F[定理9.74 - 张量积的基] D --> G[例9.76 - 张量积与矩阵] E --> H[定义9.77 - 双线性映射] H --> I[例9.78 - 双线性映射例子] H --> J[定理9.79 - 泛性质] J --> K[定理9.80 - 内积存在唯一性] K --> L[定义9.82 - 张量积上的内积] L --> M[定理9.83 - 规范正交基] A --> N[定义9.85 - m重线性泛函] N --> O[定理9.87 - m重维数公式] O --> P[定义9.88 - 多空间张量积] P --> Q[定理9.89 - 多空间维数] P --> R[定理9.90 - 多空间基] P --> S[定义9.91 - m重线性映射] S --> T[定理9.92 - 多空间泛性质]
七、核心思想与证明技巧
6.1 Axler 定义张量积的独特方式
Axler 的张量积定义方式非常独特——他将 定义为 ,即”从 到 的双线性泛函”。
传统教材的方法(商空间构造):
- 从自由向量空间 出发
- 对双线性关系取商:
- 是 在商空间中的等价类
- 泛性质从构造中自然得出
Axler 的方法(本节采用):
- 直接定义
- 是一个具体的双线性泛函:
- 维数和基从对偶空间理论直接得出
- 泛性质通过基上的构造证明
两种方法的比较:
- Axler 的方法更”具体”——每个元素都是一个明确的函数,不需要处理等价类
- 传统方法更”通用”——可以推广到无限维空间
- Axler 的方法更简洁——不需要引入自由向量空间和商空间的概念
6.2 泛性质的证明模板
定理9.79的证明提供了一个通用的模板,适用于所有”泛性质”类定理:
- 构造:在基上定义线性映射
- 验证:利用多重线性性验证 在所有可分解张量上满足要求
- 唯一性: 由基上的值完全确定
这个模板在定理9.92( 重版本)中完全复用。
6.3 维数公式的统一模式
本节的维数公式遵循统一的模式:
| 对象 | 维数公式 |
|---|---|
注意: 和 的维数相同(因为 ,而 )。
八、补充理解与易混淆点
7.1 张量积的动机——为什么需要张量积
双线性函数的"源"不是向量空间,这是一个根本性的美学问题。
考虑双线性映射 。我们希望将 转化为线性映射(因为线性映射的理论已经非常成熟),但 作为源空间行不通—— 在 上不是线性的(它是双线性的)。
问题:是否存在一个向量空间 和一个双线性映射 ,使得任何双线性映射 都可以唯一地分解为 其中 是线性映射?
答案:存在,这个 就是 , 就是张量积映射 。这就是泛性质。
类比:就像商空间将”等价关系”转化为”线性映射的核”一样,张量积将”双线性映射”转化为”线性映射”。
来源:Mike Hill (UCLA) Math 110B 讲义——“The source of a bilinear function is not a vector space, and this is aesthetically unacceptable.”
7.2 泛性质的直觉——“将双线性映射转化为线性映射”
泛性质说的是:张量积是双线性映射的"万能线性化器"。
Keith Conrad (UConn) 的表述:张量积是”generalized multiplication”——它将两个向量空间的元素”相乘”,得到一个新的向量空间中的元素,而且这种”乘法”满足双线性性。
三层理解框架:
-
操作层:给定双线性映射 ,可以构造唯一的线性映射 使得下图交换:
V × W ──Γ──> U │ ↑ ⊗ T ↓ │ V ⊗ W ────────┘ -
范畴层:在 forgetful functor 的视角下,张量积是左伴随(left adjoint)。用范畴论的语言说,。
-
计算层:在实际问题中,要证明某个构造是”自然的”或”唯一的”,只需要验证它满足泛性质。例如,要证明两个构造给出相同的张量积,只需要证明它们都满足泛性质(由唯一性,它们必然同构)。
来源:Keith Conrad (UConn) “Tensor Products” 讲义、Hacker News 讨论帖 “What is a tensor product, intuitively?“
7.3 张量积的两种构造方法对比
方法一:泛性质构造(Axler 采用的方法)
- 优点:具体、明确,每个元素都是一个函数
- 缺点:依赖于对偶空间,需要有限维假设
方法二:基构造
- 给定 的基 和 的基 , 是以 为基的形式向量空间
- 优点:直接、计算方便
- 缺点:依赖于基的选择(虽然最终结果基无关)
方法三:商空间构造(传统方法)
- ,其中 由双线性关系生成
- 优点:最通用,适用于无限维
- 缺点:抽象,需要处理等价类
三种方法给出同构的结果。泛性质保证了这一点——只要一个构造满足泛性质,它就与其他满足泛性质的构造自然同构。
来源:Mike Hill (UCLA) Math 110B 讲义。
7.4 张量积与克罗内克积、外积的关系
外积(outer product)是张量积的特例:
- 列向量 和 的外积 是一个 矩阵
- 这正是 在 下的矩阵表示
- 外积只处理列向量的情况,张量积适用于任意向量空间
克罗内克积(Kronecker product)是张量积的矩阵表示:
- 设 是 矩阵, 是 矩阵
- 克罗内克积 是 矩阵,定义为
- 这对应于算子 和 诱导的算子 在张量积基下的矩阵
来源:Lei Mao 博客 “Tensor Product and Outer Product”、Number Analytics “Kronecker Product vs Tensor Product”。
7.5 张量积上的算子
设 ,。可以定义算子 为 然后线性扩展到整个 。
性质:
- 是良定义的线性算子
- (当 可逆时)
来源:Keith Conrad (UConn) “Tensor Products” 讲义。
7.6 常见误区
误区1:张量积就是各元素相乘
❌ ” 就是把 和 的分量逐个相乘” ✅ 在 的特殊情况下, 确实可以表示为矩阵 (例9.76),其分量是 。但对于一般的向量空间, 是一个双线性泛函,不是简单的分量相乘。张量积的本质是泛性质,不是分量运算。
来源:Keith Conrad (UConn) “Tensor Products” 讲义。
误区2:张量积与直和类似
❌ ” 和 差不多” ✅ 这是两个完全不同的构造:
- (加法)
- (乘法)
- 直和的元素是”有序对” ,张量积的元素是双线性泛函的线性组合
- 直和对应”独立选择”,张量积对应”组合配对”
来源:Keith Conrad (UConn) “Tensor Products” 讲义。
误区3:双线性映射就是直和上的线性映射
❌ “双线性映射 就是线性映射 ” ✅ 不正确。 作为集合等于 ,但双线性映射不是 上的线性映射。反例:。这正是需要张量积的原因—— 才是双线性映射的”正确”源空间。
来源:Keith Conrad (UConn) “Tensor Products” 讲义、Mike Hill (UCLA) Math 110B 讲义。
误区4:张量就是多维数组
❌ “张量就是一个多维数组,比如 的数组” ✅ 在有基的情况下,张量确实可以用多维数组表示(分量是关于基的坐标)。但张量本身是基无关的几何对象。同一个张量在不同基下有不同的数组表示。说”张量就是多维数组”就像说”向量就是一列数”一样——在有基的情况下是对的,但忽略了本质。
来源:Hacker News 讨论帖 “What is a tensor product, intuitively?”
误区5:张量积依赖于基的选择
❌ ” 的定义依赖于 和 的基” ✅ 的定义(定义9.71)完全不涉及基——它是 ,一个纯粹由向量空间结构决定的空间。基只在我们具体计算时才需要(定理9.74)。可以做一个数值验证:
设 。取标准基 ,则 ,。 现在换一组基 。则 ,。 两组展开式看起来不同,但表示的是 中同一个元素。验证:将 用 表示后代入,会得到与第一组展开式相同的系数。
来源:Keith Conrad (UConn) “Tensor Products” 讲义。
误区6:泛性质只是抽象废话
❌ “泛性质只是数学家玩的抽象游戏,没有实际用处” ✅ 泛性质是张量积最有用的部分。它给出了一个强大的方法论:
- 定义新对象:要定义从 出发的某种结构,只需要定义从 出发的对应线性结构
- 证明唯一性:如果两个构造都满足泛性质,它们必然(自然)同构
- 简化计算:将双线性问题化为线性问题,利用线性代数的成熟工具
- 统一理论:行列式、外积、对称积等都是张量积的特殊情况
Brian Conrad (Stanford) 的评论:“泛性质不是’抽象废话’,而是’精确的废话’——它精确地告诉你什么性质是本质的、什么依赖于具体构造。”
来源:Brian Conrad (Stanford) 数学讨论。
九、习题精选
习题1:张量积的维数
习题1(LADR 9D.1)
设 和 是有限维向量空间。证明 ,不使用定理9.72(即不通过 的定义),而是直接利用定理9.74。
查看解答
由定理9.74, 有一组基 ,其中 是 的基, 是 的基。这组基的元素个数为 。因此 。
习题2:张量积中的零元素
习题2(LADR 9D.2)
设 和 是有限维向量空间,,。证明 当且仅当 或 。
查看解答
充分性( 或 ):由张量积的双线性性(定理9.73),,。
必要性( 或 ): 反证法。假设 且 。将 扩充为 的基 ,将 扩充为 的基 。由定理9.74, 是 的基。特别地, 是基向量,不等于零。矛盾。
习题4:张量积与线性映射
习题4(LADR 9D.4)
设 ,。证明存在唯一的线性映射 使得 对所有 , 成立。
查看解答
利用泛性质(定理9.79)。
定义双线性映射 为 。
验证 是双线性的:
- 第二个位置的线性性类似。
由定理9.79(a),存在唯一的线性映射 使得 。
习题5:张量积与对偶
习题5(LADR 9D.5)
设 和 是有限维向量空间。证明 (在同构意义下)。
查看解答
构造双线性映射并利用泛性质。
定义映射 为 。
验证 是良定义的:需要在基上定义并线性扩展。设 是 的基, 是 的基,则 是 的基。定义 ,然后线性扩展。这给出了 中的一个元素。
验证 是双线性的:。标量乘法类似。
由泛性质, 诱导线性映射 。
验证 是同构:。只需验证单射性:若 ,则对所有 有 。取 , 得 。
习题9:泛性质的应用
习题9(LADR 9D.9)
设 、、 是有限维向量空间。证明:从 到 的双线性映射构成的集合与从 到 的线性映射构成的集合之间存在自然的双射。
查看解答
这正是定理9.79的内容。
双射的构造:
- 正向:给定双线性映射 ,由定理9.79(a),存在唯一的线性映射 使得 。定义 。
- 反向:给定线性映射 ,由定理9.79(b),定义为 的函数 是双线性映射。定义 。
验证双射:
- :
- :,由基上的值相等得
习题10:内积空间张量积的计算
习题10(LADR 9D.10)
设 ,,各自带有标准内积。设 ,,,,。计算 。
查看解答
由定义9.82,张量积上的内积满足 。
展开:
分别计算四项:
因此结果为 。
十、视频学习指南
暂无对应视频,建议通过阅读教材原文和本笔记学习。
建议学习路径:
- 先通读本笔记的”概览”和”知识结构总览”,建立整体框架
- 按模块顺序学习,重点理解张量积的定义(为什么定义为 )和泛性质
- 特别关注定理9.79(泛性质)的证明——它展示了张量积的核心思想
- 通过补充理解模块建立”双线性映射线性化”的直觉
- 多空间推广(模块五)是直接类比,理解两空间的情况后自然推广
- 做习题巩固:习题1(维数)、习题2(零元素)、习题4(算子 )、习题5(对偶)、习题9(泛性质应用)、习题10(内积计算)