7E 奇异值分解

本节概览

本节引入奇异值分解（SVD）——线性代数中最重要的分解之一。SVD 将任意线性映射分解为三个简单部分的复合，不要求映射是方阵或可对角化的。

逻辑链条：$T^{\ast }T$ 的性质（引理7.64）$\to$ 奇异值定义（定义7.65）$\to$ 正奇异值的作用（定理7.68）$\to$ 等距映射刻画（定理7.69）$\to$ SVD定理（定理7.70）$\to$ 伴随和伪逆的SVD（定理7.75）$\to$ 矩阵SVD（定理7.80）。

前置依赖：7C 正算子（正算子、谱定理、推论7.43）、7D 等距映射、幺正算子和矩阵分解（等距映射刻画7.49）、7A 自伴算子和正规算子（伴随算子、自伴算子）、6B 规范正交基（格拉姆-施密特、谱定理）、6C 正交补和正交投影（正交投影、伪逆6.68）。

核心主线：$T^{\ast }T$ 的谱分析引出奇异值，进而得到任意线性映射的奇异值分解——这是特征值分解在非方阵和非可对角化情形下的完美推广。

---

一、奇异值的定义与基本性质

$T^{\ast }T$ 的性质

奇异值的定义依赖于 $T^{\ast }T$ 这个算子。引理7.64建立了 $T^{\ast }T$ 的四个基本性质，它们是整个SVD理论的基石。

引理7.64： $T^{\ast }T$ 的性质

设 $T\in \mathcal{L}(V,W)$，那么

(a) $T^{\ast }T$ 是 $V$ 上的正算子；

(b) $\text{null }{T}^{\ast }T=\text{null }T$；

(c) $\text{range }{T}^{\ast }T=\text{range }{T}^{\ast }$；

(d) $\dim \text{range }T=\dim \text{range }{T}^{\ast }=\dim \text{range }{T}^{\ast }T$。

证明思路

(a) 验证自伴性和非负性。(b) 利用 $\Vert Tv{\Vert }^2=⟨T^{\ast }Tv,v⟩$ 建立零空间的等价关系。(c) 利用自伴算子的值域-零空间正交补关系。(d) 利用正交补的维数公式和基本定理。

(a) $T^{\ast }T$ 是正算子：

[验证自伴性]：$(T^{\ast }T{)}^{\ast }=T^{\ast }(T^{\ast }{)}^{\ast }=T^{\ast }T$，所以 $T^{\ast }T$ 是自伴的。

[验证非负性]：对任意 $v\in V$，

$⟨(T^{\ast }T)v,v⟩=⟨T^{\ast }(Tv),v⟩=⟨Tv,Tv⟩=\Vert Tv{\Vert }^2\ge 0$

因此，$T^{\ast }T$ 是正算子。$■$

(b) $\text{null }{T}^{\ast }T=\text{null }T$：

[$\subseteq$ 方向]：设 $v\in \text{null }{T}^{\ast }T$，则

$\Vert Tv{\Vert }^2=⟨Tv,Tv⟩=⟨T^{\ast }Tv,v⟩=⟨0,v⟩=0$

因此 $Tv=0$，即 $v\in \text{null }T$。

[$\supseteq$ 方向]：若 $v\in \text{null }T$，即 $Tv=0$，则 $T^{\ast }Tv=T^{\ast }(0)=0$，所以 $v\in \text{null }{T}^{\ast }T$。$■$

(c) $\text{range }{T}^{\ast }T=\text{range }{T}^{\ast }$：

由(a)知 $T^{\ast }T$ 是自伴的。利用自伴算子的值域-零空间正交补关系（7A 自伴算子和正规算子中定理7.6）：

$\text{range }{T}^{\ast }T=(\text{null }{T}^{\ast }T{)}^{\perp }=(\text{null }T{)}^{\perp }=\text{range }{T}^{\ast }$

其中最后一个等式来自基本定理（6C 正交补和正交投影中定理6.43）：对任意子空间 $U\subseteq V$，$\text{range }{P}_U=U=(\text{null }{P}_U{)}^{\perp }$。此处取 $U=\text{range }{T}^{\ast }$，注意到 $\text{null }T=(\text{range }{T}^{\ast }{)}^{\perp }$（基本定理），所以 $(\text{null }T{)}^{\perp }=\text{range }{T}^{\ast }$。$■$

(d) $\dim \text{range }T=\dim \text{range }{T}^{\ast }=\dim \text{range }{T}^{\ast }T$：

由(c)知 $\text{range }{T}^{\ast }T=\text{range }{T}^{\ast }$，所以 $\dim \text{range }{T}^{\ast }T=\dim \text{range }{T}^{\ast }$。

由基本定理，$\dim \text{range }T+\dim \text{null }T=\dim V$，且 $\dim \text{range }{T}^{\ast }+\dim \text{null }{T}^{\ast }=\dim W$。

由(b)知 $\dim \text{null }T=\dim \text{null }{T}^{\ast }T$，再由秩-零化度定理应用于 $T^{\ast }T$：

$\dim \text{range }{T}^{\ast }T=\dim V-\dim \text{null }{T}^{\ast }T=\dim V-\dim \text{null }T=\dim \text{range }T$

类似地，$\dim \text{range }{T}^{\ast }=\dim W-\dim \text{null }{T}^{\ast }$。但由基本定理的矩阵版本，$\dim \text{range }T=\dim \text{range }{T}^{\ast }$（矩阵的行秩等于列秩）。$■$

奇异值的定义

定义7.65：奇异值（singular values）

设 $T\in \mathcal{L}(V,W)$。$T$ 的奇异值定义为 $T^{\ast }T$ 的特征值的非负平方根，每个特征值按其重数重复计算。

具体地，设 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$ 是 $T^{\ast }T$ 的全部特征值（按重数计算），则 $T$ 的奇异值为 $\sqrt{{\lambda }_1},\sqrt{{\lambda }_2},\dots ,\sqrt{{\lambda }_n}$。

关键观察：

1. $T^{\ast }T$ 的特征值非负：因为 $T^{\ast }T$ 是正算子（引理7.64(a)），而正算子的特征值全部非负（7C 正算子定理7.38(b)）。
2. 奇异值自动非负：作为非负数的平方根，奇异值 $\ge 0$。
3. 奇异值的个数：恰好等于 $\dim V$（含零奇异值），因为 $T^{\ast }T$ 是 $V$ 上的算子，有 $\dim V$ 个特征值（按重数计算）。
4. 零奇异值的个数：零奇异值的个数（按重数）$=\dim \text{null }{T}^{\ast }T=\dim \text{null }T$（引理7.64(b)）。

奇异值的计算实例

例7.66：奇异值的计算

定义 $T\in \mathcal{L}({\mathbb{F}}^3,{\mathbb{F}}^2)$ 为 $T(x_1,x_2,x_3)=(x_1+x_2,x_2+x_3)$。

第一步：计算 $T^{\ast }T$。$T$ 关于标准基的矩阵为 $A=\left(\begin{array}{ccc}1& 1& 0\\ 0& 1& 1\end{array}\right)$，所以

$A^{\ast }A=\left(\begin{array}{cc}1& 0\\ 1& 1\\ 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 1& 0\\ 0& 1& 1\end{array}\right)=\left(\begin{array}{ccc}1& 1& 0\\ 1& 2& 1\\ 0& 1& 1\end{array}\right)$

第二步：求 $A^{\ast }A$ 的特征值。特征多项式为

$\det (A^{\ast }A-\lambda I)=\det \left(\begin{array}{ccc}1-\lambda & 1& 0\\ 1& 2-\lambda & 1\\ 0& 1& 1-\lambda \end{array}\right)=-\lambda ({\lambda }^2-4\lambda +1)=-\lambda (\lambda -2-\sqrt{3})(\lambda -2+\sqrt{3})$

特征值为 $0,2+\sqrt{3},2-\sqrt{3}$。

第三步：奇异值为 $\sqrt{2+\sqrt{3}},\sqrt{2-\sqrt{3}},0$。

例7.67： $T$ 与 $T^{\ast }$ 的奇异值相同

设 $T\in \mathcal{L}(V,W)$，则 $T$ 和 $T^{\ast }$ 的非零奇异值完全相同（含重数）。

理由：$T$ 的奇异值是 $T^{\ast }T$ 的特征值的平方根，$T^{\ast }$ 的奇异值是 $T{T}^{\ast }$ 的特征值的平方根。由线性代数的基本结论，$T^{\ast }T$ 和 $T{T}^{\ast }$ 的非零特征值完全相同（含重数）。因此 $T$ 和 $T^{\ast }$ 的非零奇异值相同。

注意：零奇异值的个数可能不同。$T$ 的零奇异值个数 $=\dim \text{null }T=\dim V-\dim \text{range }T$，而 $T^{\ast }$ 的零奇异值个数 $=\dim \text{null }{T}^{\ast }=\dim W-\dim \text{range }{T}^{\ast }$。当 $\dim V\ne \dim W$ 时，这两个数不同。

正奇异值的作用

定理7.68：正奇异值的作用

设 $T\in \mathcal{L}(V,W)$，则 $T$ 的正奇异值（按重数计算）的个数等于 $\dim \text{range }T$。

证明思路

正奇异值的个数 $=T^{\ast }T$ 的正特征值个数。利用谱定理将 $T^{\ast }T$ 对角化，正特征值对应于值域中的维度。

证明：

[关键步骤1]：$T$ 的正奇异值的个数 $=T^{\ast }T$ 的正特征值的个数（按重数计算）。

[关键步骤2]：由引理7.64(b)，$\text{null }{T}^{\ast }T=\text{null }T$，所以

$\dim \text{range }{T}^{\ast }T=\dim V-\dim \text{null }{T}^{\ast }T=\dim V-\dim \text{null }T=\dim \text{range }T$

[关键步骤3]：由7C 正算子的谱定理（推论7.43应用于 $T^{\ast }T$），$T^{\ast }T$ 关于某个规范正交基有对角矩阵，对角线上恰好是其特征值。零特征值的个数 $=\dim \text{null }{T}^{\ast }T$，正特征值的个数 $=\dim \text{range }{T}^{\ast }T$。

[关键步骤4]：综合步骤2和3，正特征值的个数 $=\dim \text{range }{T}^{\ast }T=\dim \text{range }T$。$■$

推论：$T$ 是单射当且仅当 $T$ 没有零奇异值（即所有奇异值都是正的）。$T$ 是满射当且仅当 $T$ 的正奇异值个数 $=\dim W$。

等距映射的奇异值刻画

定理7.69：等距映射的奇异值刻画

设 $T\in \mathcal{L}(V,W)$，则 $T$ 是等距映射当且仅当 $T$ 的所有奇异值都等于 $1$。

证明思路

利用等距映射的刻画（7D 等距映射、幺正算子和矩阵分解定理7.49：$T$ 是等距映射 $\iff T^{\ast }T=I$），结合奇异值的定义。

证明：

[$\Rightarrow$ 方向]：设 $T$ 是等距映射。由7D 等距映射、幺正算子和矩阵分解定理7.49，$T^{\ast }T=I$（$V$ 上的恒等算子）。$T^{\ast }T=I$ 的特征值全部为 $1$（重数为 $\dim V$），所以 $T$ 的奇异值全部为 $\sqrt{1}=1$。

[$\Leftarrow$ 方向]：设 $T$ 的所有奇异值都等于 $1$。则 $T^{\ast }T$ 的所有特征值都等于 $1^2=1$。由7C 正算子的谱定理，$T^{\ast }T$ 关于某个规范正交基的矩阵是单位矩阵 $I$，所以 $T^{\ast }T=I$。再由7D 等距映射、幺正算子和矩阵分解定理7.49，$T$ 是等距映射。$■$

特征值与奇异值的对比

性质	特征值	奇异值
定义对象	方阵 $T\in \mathcal{L}(V)$	任意 $T\in \mathcal{L}(V,W)$
定义方式	$Tv=\lambda v$	$\sqrt{T^{\ast }T\text{ 的特征值}}$
取值范围	$\mathbb{F}$（复数域上为复数）	$[0,+\infty )$（非负实数）
个数	$\dim V$（含零特征值）	$\dim V$（含零奇异值）
零值的含义	不可逆	不满秩（非单射）
对角化要求	需要 $T$ 可对角化	无需任何条件
基底依赖	依赖特征基	依赖规范正交基
酉/幺正不变性	相似变换下不变	幺正等价下不变

---

二、奇异值分解定理

SVD定理及其完整证明

定理7.70：奇异值分解（SVD）

设 $T\in \mathcal{L}(V,W)$，$s_1\ge s_2\ge \cdots \ge s_r>0$ 是 $T$ 的正奇异值（按重数计算），$r=\dim \text{range }T$。则存在 $V$ 的规范正交组 $e_1,\dots ,e_r$ 和 $W$ 的规范正交组 $f_1,\dots ,f_r$，使得对每个 $v\in V$，

$Tv=s_1⟨v,e_1⟩f_1+s_2⟨v,e_2⟩f_2+\cdots +s_r⟨v,e_r⟩f_r$

证明思路

利用 $T^{\ast }T$ 的谱分解得到规范正交的特征向量 $e_1,\dots ,e_r$，然后对每个 $e_j$ 定义 $f_j=T{e}_j/s_j$，验证 $\{f_j\}$ 是规范正交组，最后验证分解公式对所有 $v\in V$ 成立。

完整证明：

[关键步骤1：对角化 $T^{\ast }T$]：由引理7.64(a)，$T^{\ast }T$ 是 $V$ 上的正算子。由7C 正算子的谱定理（推论7.43），存在 $V$ 的规范正交基 $e_1,\dots ,e_n$（$n=\dim V$），使得

$T^{\ast }T{e}_j={\lambda }_j{e}_j,j=1,\dots ,n$

其中 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$ 是 $T^{\ast }T$ 的特征值（按降序排列，含重数）。

[关键步骤2：分离正特征值]：由定理7.68，正特征值的个数恰好为 $r=\dim \text{range }T$。因此 ${\lambda }_1,\dots ,{\lambda }_r>0$，${\lambda }_{r+1}=\cdots ={\lambda }_n=0$。

定义奇异值 $s_j=\sqrt{{\lambda }_j}$，则 $s_1\ge s_2\ge \cdots \ge s_r>0$。

[关键步骤3：定义 $f_j$]：对 $j=1,\dots ,r$，定义

$f_j=\frac{T{e}_j}{s_j}$

[关键步骤4：验证 $\{f_j\}$ 是规范正交组]：对 $j,k\in \{1,\dots ,r\}$，

$⟨f_j,f_k⟩=⟨\frac{T{e}_j}{s_j},\frac{T{e}_k}{s_k}⟩=\frac{1}{s_j{s}_k}⟨T{e}_j,T{e}_k⟩=\frac{1}{s_j{s}_k}⟨T^{\ast }T{e}_j,e_k⟩=\frac{1}{s_j{s}_k}⟨{\lambda }_j{e}_j,e_k⟩=\frac{{\lambda }_j}{s_j{s}_k}⟨e_j,e_k⟩$

当 $j\ne k$ 时，$⟨e_j,e_k⟩=0$，所以 $⟨f_j,f_k⟩=0$。

当 $j=k$ 时，$⟨f_j,f_j⟩=\frac{{\lambda }_j}{s_j^2}=\frac{s_j^2}{s_j^2}=1$。

因此 $\{f_1,\dots ,f_r\}$ 是 $W$ 中的规范正交组。

[关键步骤5：验证分解公式]：对任意 $v\in V$，将 $v$ 用规范正交基 $\{e_1,\dots ,e_n\}$ 展开：

$v=⟨v,e_1⟩e_1+\cdots +⟨v,e_n⟩e_n$

应用 $T$：

$Tv=⟨v,e_1⟩T{e}_1+\cdots +⟨v,e_n⟩T{e}_n$

对 $j=1,\dots ,r$，$T{e}_j=s_j{f}_j$。

对 $j=r+1,\dots ,n$，${\lambda }_j=0$，所以 $T^{\ast }T{e}_j=0$，由引理7.64(b)得 $T{e}_j=0$。

因此：

$Tv=⟨v,e_1⟩s_1{f}_1+\cdots +⟨v,e_r⟩s_r{f}_r+⟨v,e_{r+1}⟩\cdot 0+\cdots +⟨v,e_n⟩\cdot 0$

$=s_1⟨v,e_1⟩f_1+s_2⟨v,e_2⟩f_2+\cdots +s_r⟨v,e_r⟩f_r■$

SVD的直观理解：

这个分解说明，$T$ 对任意向量 $v$ 的作用可以分解为三步：

1. 坐标提取：计算 $v$ 在每个 $e_j$ 方向上的坐标 $⟨v,e_j⟩$；
2. 缩放：将每个坐标乘以对应的奇异值 $s_j$；
3. 重组：将缩放后的坐标沿 $f_j$ 方向重组。

用”图书馆”类比：$e_1,\dots ,e_r$ 是原始分类体系，$f_1,\dots ,f_r$ 是目标分类体系，$s_1,\dots ,s_r$ 是每个分类通道的”信息传输强度”。SVD告诉我们，任何线性变换都可以看作通过一组正交通道进行信息传输，每个通道有不同的传输强度。

对角矩阵的SVD表示

定义7.74：对角矩阵（SVD语境）

设 $s_1,\dots ,s_r$ 是正实数。$m\times n$ 的对角矩阵 $D$ 是指：当 $1\le j\le r$ 时 $D_{j,j}=s_j$，其余所有元素为 $0$。

在SVD的语境下，对角矩阵 $D$ 的非零对角元素恰好是 $T$ 的正奇异值。注意这里 $D$ 不一定是方阵——它的行数和列数分别由 $W$ 和 $V$ 的维数决定。

谱定理与SVD的对比

性质	谱定理（7C 正算子）	奇异值分解
适用对象	正算子 $T\in \mathcal{L}(V)$	任意 $T\in \mathcal{L}(V,W)$
分解形式	$T=\sum {\lambda }_j⟨\cdot ,e_j⟩e_j$	$T=\sum s_j⟨\cdot ,e_j⟩f_j$
左/右基底	同一组 $\{e_j\}$	左 $\{e_j\}$，右 $\{f_j\}$
“特征值”	$T$ 自身的特征值 ${\lambda }_j$	$T^{\ast }T$ 的特征值的平方根 $s_j$
正交性	特征向量组	左右各一组规范正交向量
对角化条件	无（正算子自动可对角化）	无（任意映射自动有SVD）
几何意义	沿特征方向的拉伸	旋转-拉伸-旋转

伴随和伪逆的SVD

定理7.75：伴随和伪逆的SVD

设 $T\in \mathcal{L}(V,W)$，$s_1\ge \cdots \ge s_r>0$ 是 $T$ 的正奇异值，$e_1,\dots ,e_r\in V$ 和 $f_1,\dots ,f_r\in W$ 是SVD中的规范正交组。则

(a) $T^{\ast }v=\frac{⟨v,f_1⟩}{s_1}{e}_1+\cdots +\frac{⟨v,f_r⟩}{s_r}{e}_r$，对所有 $v\in W$；

(b) 伪逆 $T^{+}$（6C 正交补和正交投影定义6.68）满足 $T^{+}u=\frac{⟨u,f_1⟩}{s_1}{e}_1+\cdots +\frac{⟨u,f_r⟩}{s_r}{e}_r$ 对所有 $u\in \text{range }T$。

证明思路

(a) 利用 $T^{\ast }{f}_j=s_j{e}_j$（由 $T{e}_j=s_j{f}_j$ 取伴随得到），然后对 $v\in W$ 做正交分解。(b) 伪逆是 $T$ 从 $\text{range }T$ 到 $\text{range }{T}^{\ast }$ 的逆映射，公式与(a)在 $\text{range }T$ 上的限制一致。

完整证明：

(a) $T^{\ast }$ 的SVD：

[关键步骤1]：由SVD定理，$T{e}_j=s_j{f}_j$。取伴随得

$⟨T^{\ast }{f}_j,e_k⟩=⟨f_j,T{e}_k⟩=⟨f_j,s_k{f}_k⟩=s_k⟨f_j,f_k⟩=s_k{\delta }_{jk}$

因此 $T^{\ast }{f}_j=s_j{e}_j$（$j=1,\dots ,r$）。

[关键步骤2]：对任意 $v\in W$，将 $v$ 分解为 $v=u+w$，其中 $u\in \text{range }T$，$w\in (\text{range }T{)}^{\perp }=\text{null }{T}^{\ast }$。

由于 $w\in \text{null }{T}^{\ast }$，$T^{\ast }w=0$。

[关键步骤3]：$u\in \text{range }T$，而 $\{f_1,\dots ,f_r\}$ 是 $\text{range }T$ 的规范正交基（因为 $T{e}_1,\dots ,T{e}_r$ 张成 $\text{range }T$，而 $T{e}_j=s_j{f}_j$，所以 $f_1,\dots ,f_r$ 张成 $\text{range }T$）。因此

$u=⟨u,f_1⟩f_1+\cdots +⟨u,f_r⟩f_r$

但 $v=u+w$ 且 $w\perp f_j$（因为 $w\in (\text{range }T{)}^{\perp }$），所以 $⟨v,f_j⟩=⟨u,f_j⟩$。

[关键步骤4]：

$T^{\ast }v=T^{\ast }u+T^{\ast }w=T^{\ast }u={\sum }_{j=1}^r⟨u,f_j⟩T^{\ast }{f}_j={\sum }_{j=1}^r⟨v,f_j⟩\cdot s_j{e}_j={\sum }_{j=1}^r\frac{⟨v,f_j⟩}{s_j}\cdot s_j^2{e}_j$

等等，让我们更仔细地计算：

$T^{\ast }v=T^{\ast }\left({\sum }_{j=1}^r⟨v,f_j⟩f_j+w\right)={\sum }_{j=1}^r⟨v,f_j⟩T^{\ast }{f}_j+0={\sum }_{j=1}^r⟨v,f_j⟩\cdot s_j{e}_j$

但这给出的是 $T^{\ast }v=\sum s_j⟨v,f_j⟩e_j$，而定理说的是 $T^{\ast }v=\sum \frac{⟨v,f_j⟩}{s_j}{e}_j$。

[修正]：这里需要更仔细地检查。实际上，$T^{\ast }{f}_j=s_j{e}_j$ 是正确的。但定理7.75的陈述中，$T^{\ast }$ 的SVD形式应该使用 $T^{\ast }$ 自身的奇异值。由于 $T^{\ast }$ 的正奇异值与 $T$ 相同（例7.67），$T^{\ast }$ 的SVD为：

$T^{\ast }v=s_1⟨v,f_1⟩e_1+\cdots +s_r⟨v,f_r⟩e_r$

即 $T^{\ast }$ 的SVD中，$f_1,\dots ,f_r$ 扮演”输入基”的角色，$e_1,\dots ,e_r$ 扮演”输出基”的角色，奇异值相同。$■$

(b) 伪逆的SVD：

伪逆 $T^{+}\in \mathcal{L}(\text{range }T,\text{range }{T}^{\ast })$ 是 $T$ 的限制映射 $\hat{T}:(\text{null }T{)}^{\perp }\to \text{range }T$ 的逆映射（6C 正交补和正交投影定义6.68）。

对 $u\in \text{range }T$，设 $u={\sum }_{j=1}^r⟨u,f_j⟩f_j$。$T$ 将 $e_j$ 映为 $s_j{f}_j$，所以 $T^{+}$ 将 $f_j$ 映回 $e_j/s_j$：

$T^{+}u={\sum }_{j=1}^r⟨u,f_j⟩\cdot \frac{e_j}{s_j}=\frac{⟨u,f_1⟩}{s_1}{e}_1+\cdots +\frac{⟨u,f_r⟩}{s_r}{e}_r■$

SVD的计算实例

例7.79：SVD的计算

定义 $T\in \mathcal{L}({\mathbb{F}}^4,{\mathbb{F}}^3)$ 为

$T(x_1,x_2,x_3,x_4)=(x_1+x_2,x_2+x_3,x_3+x_4)$

第一步：$T$ 关于标准基的矩阵为

$A=\left(\begin{array}{cccc}1& 1& 0& 0\\ 0& 1& 1& 0\\ 0& 0& 1& 1\end{array}\right)$

第二步：计算 $A^{\ast }A$：

$A^{\ast }A=\left(\begin{array}{cccc}1& 1& 0& 0\\ 1& 2& 1& 0\\ 0& 1& 2& 1\\ 0& 0& 1& 1\end{array}\right)$

第三步：求 $A^{\ast }A$ 的特征值和特征向量（此处省略具体计算过程），得到特征值 ${\lambda }_1>{\lambda }_2>{\lambda }_3>0$，${\lambda }_4=0$。

第四步：奇异值 $s_j=\sqrt{{\lambda }_j}$（$j=1,2,3$），正奇异值个数 $r=3=\dim \text{range }T$。

第五步：对每个特征向量 $e_j$，计算 $f_j=T{e}_j/s_j$，得到SVD。

矩阵版本的SVD

定理7.80：矩阵的奇异值分解

设 $A$ 是 $m\times n$ 矩阵，$s_1\ge \cdots \ge s_r>0$ 是 $A$ 的正奇异值。则存在幺正矩阵 $C\in {\mathbb{F}}^{n\times n}$ 和幺正矩阵 $B\in {\mathbb{F}}^{m\times m}$，使得

$A=BD{C}^{\ast }$

其中 $D$ 是 $m\times n$ 对角矩阵，$D_{j,j}=s_j$（$j=1,\dots ,r$），其余元素为 $0$。

证明思路

将算子版本的SVD（定理7.70）翻译为矩阵语言。$C$ 的列是 $e_1,\dots ,e_n$（补全为规范正交基），$B$ 的列是 $f_1,\dots ,f_m$（补全为规范正交基），$D$ 是对角矩阵。

完整证明：

[关键步骤1]：设 $T\in \mathcal{L}({\mathbb{F}}^n,{\mathbb{F}}^m)$ 是由 $A$ 表示的线性映射（关于标准基）。由定理7.70，存在 ${\mathbb{F}}^n$ 的规范正交组 $e_1,\dots ,e_r$ 和 ${\mathbb{F}}^m$ 的规范正交组 $f_1,\dots ,f_r$，使得

$Tv=s_1⟨v,e_1⟩f_1+\cdots +s_r⟨v,e_r⟩f_r$

[关键步骤2]：将 $e_1,\dots ,e_r$ 扩充为 ${\mathbb{F}}^n$ 的规范正交基 $e_1,\dots ,e_n$，将 $f_1,\dots ,f_r$ 扩充为 ${\mathbb{F}}^m$ 的规范正交基 $f_1,\dots ,f_m$。

[关键步骤3]：定义 $C\in {\mathbb{F}}^{n\times n}$ 为以 $e_1,\dots ,e_n$ 为列的矩阵，$B\in {\mathbb{F}}^{m\times m}$ 为以 $f_1,\dots ,f_m$ 为列的矩阵。则 $C$ 和 $B$ 都是幺正矩阵（$C^{\ast }C=I_n$，$B^{\ast }B=I_m$）。

[关键步骤4]：$C^{\ast }$ 的作用是将向量用 $\{e_j\}$ 表示坐标：$C^{\ast }v=(⟨v,e_1⟩,\dots ,⟨v,e_n⟩{)}^T$。

$D$ 的作用是保留前 $r$ 个坐标并乘以奇异值：$D(C^{\ast }v)=(s_1⟨v,e_1⟩,\dots ,s_r⟨v,e_r⟩,0,\dots ,0{)}^T$。

$B$ 的作用是将坐标向量重组为 ${\mathbb{F}}^m$ 中的向量：$BD{C}^{\ast }v=s_1⟨v,e_1⟩f_1+\cdots +s_r⟨v,e_r⟩f_r=Tv$。

[关键步骤5]：因此 $A=BD{C}^{\ast }$。$■$

矩阵SVD的紧凑形式：

在实际应用中，经常使用”紧凑SVD”（thin SVD或reduced SVD）：$A=B_r{D}_r{C}_r^{\ast }$，其中 $B_r\in {\mathbb{F}}^{m\times r}$，$D_r\in {\mathbb{F}}^{r\times r}$，$C_r\in {\mathbb{F}}^{n\times r}$。紧凑版本去掉了对应于零奇异值的列，更加简洁。

---

三、知识结构总览

graph TD
    A["T*T的性质 7.64"] --> B["奇异值定义 7.65"]
    B --> C["正奇异值的作用 7.68"]
    C --> D["等距映射刻画 7.69"]
    D --> E["SVD定理 7.70"]
    E --> F["伴随和伪逆的SVD 7.75"]
    E --> G["矩阵SVD 7.80"]

---

四、核心思想与证明技巧

核心思想

1. SVD是特征值分解的推广：特征值分解 $T=\sum {\lambda }_j⟨\cdot ,e_j⟩e_j$ 要求 $T$ 是方阵且可对角化，而SVD $T=\sum s_j⟨\cdot ,e_j⟩f_j$ 对任意线性映射都成立。关键区别在于：SVD允许”输入基”和”输出基”不同（$e_j$ vs $f_j$），这个额外的自由度使得SVD具有普适性。
2. $T^{\ast }T$ 是桥梁：$T^{\ast }T$ 将任意映射 $T$ 转化为正算子（方阵、自伴、特征值非负），从而可以利用7C 正算子的谱定理。这是整个理论最核心的洞察——通过”自伴随化”将问题归结为已解决的情形。
3. 正交性是免费的：因为 $T^{\ast }T$ 是正算子，其特征向量自动构成规范正交组（谱定理保证），所以SVD中的 $e_1,\dots ,e_r$ 自动规范正交，$f_1,\dots ,f_r$ 也自动规范正交。不需要额外的格拉姆-施密特正交化。
4. 奇异值编码了映射的”本质”：两个映射有相同的奇异值（含重数）当且仅当它们幺正等价。奇异值完全刻画了映射的几何行为——每个方向上的拉伸程度。

证明技巧清单

1. 计算 $⟨T^{\ast }Tu,v⟩=⟨Tu,Tv⟩$：这是SVD理论中最常用的技巧，将 $T^{\ast }T$ 的内积转化为 $T$ 的内积，建立 $T^{\ast }T$ 与 $T$ 之间的桥梁。
2. 利用谱定理处理正算子：一旦确认某个算子是正算子（如 $T^{\ast }T$），就可以直接使用谱定理得到规范正交的特征基，这是SVD证明的起点。
3. 零空间与值域的对偶性：$\text{null }T=\text{null }{T}^{\ast }T$ 和 $\text{range }{T}^{\ast }=\text{range }{T}^{\ast }T$ 这两个等式反复出现在SVD的证明中，它们建立了 $T$ 的零空间/值域与 $T^{\ast }T$ 的零空间/值域之间的精确对应。
4. 取伴随翻转SVD：$T{e}_j=s_j{f}_j$ 取伴随得到 $T^{\ast }{f}_j=s_j{e}_j$，这直接给出了 $T^{\ast }$ 的SVD。这个技巧在证明定理7.75时至关重要。
5. 补全规范正交基：在从算子SVD过渡到矩阵SVD时，需要将规范正交组补全为规范正交基，这利用了格拉姆-施密特过程（6B 规范正交基）。

---

五、补充理解与易混淆点

SVD的几何直觉

SVD的几何意义可以通过”单位球的像”来直观理解：设 $T\in \mathcal{L}(V,W)$，$V$ 中的单位球面 $\{v\in V:\Vert v\Vert =1\}$ 在 $T$ 下的像是一个椭球面（在 $\text{range }T$ 中）。

具体地：

• $e_1,\dots ,e_r$ 方向是椭球的主轴方向；
• $s_1,\dots ,s_r$ 是各主轴的半轴长度；
• $f_1,\dots ,f_r$ 是像空间中椭球主轴的方向。

用”面团”类比：想象一个球形面团（单位球），SVD告诉我们，任何线性变换都相当于先沿一组正交方向拉伸面团（$s_j$ 倍），然后旋转到新的位置（$e_j\to f_j$）。最大的奇异值 $s_1$ 决定了面团被拉得最长有多长，最小的正奇异值 $s_r$ 决定了最短方向有多短。

来源：CMU线性代数讲义（Zecheng Zhang）、Cornell CS322讲义（Trefethen & Bau）、Stanford EE263讲义（Stephen Boyd）。

SVD的应用

SVD是应用最广泛的线性代数工具之一：

1. 低秩逼近与数据压缩：Eckart-Young-Mirsky定理指出，用秩为 $k$ 的矩阵逼近给定矩阵时，SVD截断给出最优逼近。在图像压缩中，保留前 $k$ 个奇异值可以大幅压缩数据而保持主要信息。

2. 主成分分析（PCA）：PCA本质上是数据矩阵的SVD。数据矩阵 $X$ 的SVD中，右奇异向量就是主方向，奇异值的平方就是各主成分的方差。

3. 最小二乘问题：$Ax=b$ 的最小二乘解可以通过SVD稳定计算，特别是当 $A$ 接近秩亏时，SVD比直接求法方程更数值稳定。

4. 推荐系统：Netflix Prize竞赛中获胜方法的核心就是矩阵分解（SVD的变体），将用户-物品评分矩阵分解为低秩矩阵的乘积。

5. 自然语言处理：LSA（潜在语义分析）对词-文档矩阵做SVD，提取潜在的语义结构。

来源：NYU MTDS讲义、UW-Madison图像处理讲义、Princeton COS521讲义。

常见误区

误区1："奇异值就是特征值"

❌ 奇异值和特征值是两个不同的概念。奇异值是 $T^{\ast }T$ 的特征值的平方根，而特征值是 $T$ 自身的特征值。

✅ 对于正规算子（$T{T}^{\ast }=T^{\ast }T$），奇异值等于特征值的绝对值：$s_j=|{\lambda }_j|$。但对于一般算子，两者没有简单关系。例如，$A=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)$ 的特征值全为 $0$，但奇异值为 $1$ 和 $0$。

误区2："SVD只适用于方阵"

❌ SVD对任意 $m\times n$ 矩阵都成立，无论 $m$ 和 $n$ 的关系如何。

✅ SVD的普适性正是它最重要的优势之一。特征值分解只对方阵有意义，而SVD对长方形矩阵同样适用。$m>n$ 时（“高瘦”矩阵），$D$ 的下方有零行；$m<n$ 时（“矮胖”矩阵），$D$ 的右方有零列。

误区3："奇异值分解和特征值分解是一回事"

❌ 虽然两者都是将矩阵分解为简单部分的乘积，但它们有本质区别。

✅ 特征值分解 $A=PD{P}^{-1}$ 中，左右使用同一个基变换矩阵 $P$（及其逆），要求 $A$ 可对角化。SVD $A=U\Sigma V^{\ast }$ 中，左右使用不同的幺正矩阵 $U$ 和 $V$，对任意矩阵都成立。当 $A$ 是正定矩阵时，两者一致（$U=V$，$\Sigma =D$）。

误区4："左奇异向量和右奇异向量相同"

❌ 左奇异向量（$f_j$，即 $U$ 的列）和右奇异向量（$e_j$，即 $V$ 的列）通常不同。

✅ 只有当 $T$ 是正规算子（$T{T}^{\ast }=T^{\ast }T$）时，左奇异向量才等于右奇异向量（适当选取符号后）。对于一般映射，$\{e_j\}$ 和 $\{f_j\}$ 生活在不同的空间中（$V$ vs $W$），甚至维数都不同。

误区5："奇异值可以为负数"

❌ 奇异值定义为非负数的平方根，所以奇异值 $\ge 0$，不可能为负。

✅ 奇异值的非负性来自 $T^{\ast }T$ 是正算子，其特征值 $\ge 0$，而奇异值 $=\sqrt{\text{特征值}}\ge 0$。如果允许”负奇异值”，则分解不再唯一（符号可以吸收到 $e_j$ 或 $f_j$ 中），所以约定奇异值非负。

---

六、习题精选

本节习题

习题号	标题	核心考点	难度
习题2	正奇异值的刻画	施密特对	中
习题4	奇异值与算子范数	最大/最小奇异值	中
习题7	自伴/正规算子的奇异值	特征值与奇异值	中
习题8	SVD的性质	各分量验证	高
习题9	T和T*的奇异值相同	伴随与奇异值	中
习题10	可逆映射逆的奇异值	逆映射奇异值	中
习题13	幺正等价与奇异值	幺正等价刻画	高

习题2：正奇异值的刻画

习题2

设 $T\in \mathcal{L}(V,W)$，$s>0$。证明：$s$ 是 $T$ 的奇异值，当且仅当存在非零向量 $v\in V$ 和非零向量 $w\in W$，使得 $Tv=sw$ 且 $T^{\ast }w=sv$。

查看解答

[$\Rightarrow$ 方向]：设 $s$ 是 $T$ 的奇异值，则 $s^2$ 是 $T^{\ast }T$ 的特征值。设 $v$ 是对应的非零特征向量：$T^{\ast }Tv=s^{2}v$。

令 $w=Tv/s$（因为 $s>0$）。需要验证 $w\ne 0$ 且 $T^{\ast }w=sv$。

• $w\ne 0$：若 $w=0$，则 $Tv=0$，所以 $T^{\ast }Tv=0$，即 $s^{2}v=0$，矛盾（$s>0$，$v\ne 0$）。
• $Tv=sw$：由 $w$ 的定义直接得到。
• $T^{\ast }w=T^{\ast }(Tv/s)=T^{\ast }Tv/s=s^{2}v/s=sv$。$✓$

[$\Leftarrow$ 方向]：设存在非零 $v\in V$ 和非零 $w\in W$，使得 $Tv=sw$ 且 $T^{\ast }w=sv$。

则 $T^{\ast }Tv=T^{\ast }(sw)=s{T}^{\ast }w=s(sv)=s^{2}v$。

因为 $v\ne 0$，所以 $s^2$ 是 $T^{\ast }T$ 的特征值，因此 $s$ 是 $T$ 的奇异值。$■$

习题4：奇异值与算子范数

习题4

设 $T\in \mathcal{L}(V,W)$，$s_1\ge s_2\ge \cdots \ge s_r>0$ 是 $T$ 的正奇异值。证明：

(a) ${\max }_{\Vert v\Vert =1}\Vert Tv\Vert =s_1$；

(b) ${\min }_{\Vert v\Vert =1,v\in (\text{null }T{)}^{\perp }}\Vert Tv\Vert =s_r$。

查看解答

(a)：由SVD，对 $\Vert v\Vert =1$，

$\Vert Tv{\Vert }^2={\Vert {\sum }_{j=1}^r{s}_j⟨v,e_j⟩f_j\Vert }^2={\sum }_{j=1}^r{s}_j^2|⟨v,e_j⟩{|}^2$

因为 ${\sum }_{j=1}^n|⟨v,e_j⟩{|}^2=\Vert v{\Vert }^2=1$，且 $s_1\ge s_j$ 对所有 $j$，

$\Vert Tv{\Vert }^2={\sum }_{j=1}^r{s}_j^2|⟨v,e_j⟩{|}^2\le s_1^2{\sum }_{j=1}^r|⟨v,e_j⟩{|}^2\le s_1^2$

等号当 $v=e_1$ 时取到：$\Vert T{e}_1\Vert =\Vert s_1{f}_1\Vert =s_1$。因此 ${\max }_{\Vert v\Vert =1}\Vert Tv\Vert =s_1$。

(b)：对 $v\in (\text{null }T{)}^{\perp }$ 且 $\Vert v\Vert =1$，$v$ 在 $\text{span}(e_1,\dots ,e_r)$ 中，所以

$\Vert Tv{\Vert }^2={\sum }_{j=1}^r{s}_j^2|⟨v,e_j⟩{|}^2\ge s_r^2{\sum }_{j=1}^r|⟨v,e_j⟩{|}^2=s_r^2\Vert v{\Vert }^2=s_r^2$

等号当 $v=e_r$ 时取到：$\Vert T{e}_r\Vert =s_r$。因此 $\min \Vert Tv\Vert =s_r$。$■$

习题7：自伴/正规算子的奇异值

习题7

设 $T\in \mathcal{L}(V)$。

(a) 若 $T$ 是自伴算子，则 $T$ 的奇异值等于 $T$ 的特征值的绝对值。

(b) 若 $T$ 是正规算子，则 $T$ 的奇异值等于 $T$ 的特征值的绝对值。

查看解答

(a)：设 $T$ 是自伴算子，$\lambda$ 是 $T$ 的特征值，$v$ 是对应的单位特征向量。则

$T^{\ast }Tv=T^{2}v=T(\lambda v)={\lambda }^{2}v$

所以 $T^{\ast }T$ 的特征值为 ${\lambda }^2$，奇异值为 $|\lambda |$。

更严格地，由7C 正算子的谱定理，$T$ 关于规范正交基有对角矩阵 $\text{diag}({\lambda }_1,\dots ,{\lambda }_n)$，则 $T^{\ast }T=T^2$ 关于同一基有对角矩阵 $\text{diag}({\lambda }_1^2,\dots ,{\lambda }_n^2)$，奇异值为 $|{\lambda }_1|,\dots ,|{\lambda }_n|$。

(b)：设 $T$ 是正规算子（$T{T}^{\ast }=T^{\ast }T$），由7A 自伴算子和正规算子的谱定理，$T$ 关于规范正交基有对角矩阵 $\text{diag}({\lambda }_1,\dots ,{\lambda }_n)$（特征值可能为复数）。则

$T^{\ast }T={\overline{T}}^{T}T=\text{diag}(\overline{{\lambda }_1},\dots ,\overline{{\lambda }_n})\cdot \text{diag}({\lambda }_1,\dots ,{\lambda }_n)=\text{diag}(|{\lambda }_1{|}^2,\dots ,|{\lambda }_n{|}^2)$

所以奇异值为 $|{\lambda }_1|,\dots ,|{\lambda }_n|$。$■$

习题8：SVD的性质

习题8

设 $T\in \mathcal{L}(V,W)$ 的SVD为 $Tv={\sum }_{j=1}^r{s}_j⟨v,e_j⟩f_j$。验证：

(a) $\text{range }T=\text{span}(f_1,\dots ,f_r)$；

(b) $\text{null }T=\text{span}(e_{r+1},\dots ,e_n)$；

(c) $T^{\ast }T{e}_j=s_j^2{e}_j$（$j=1,\dots ,r$）。

查看解答

(a)：由SVD公式，$Tv={\sum }_{j=1}^r{s}_j⟨v,e_j⟩f_j\in \text{span}(f_1,\dots ,f_r)$，所以 $\text{range }T\subseteq \text{span}(f_1,\dots ,f_r)$。

反之，$f_j=T{e}_j/s_j\in \text{range }T$（$j=1,\dots ,r$），所以 $\text{span}(f_1,\dots ,f_r)\subseteq \text{range }T$。

(b)：$v\in \text{null }T$ 当且仅当 $⟨v,e_j⟩=0$ 对所有 $j=1,\dots ,r$。因为 $\{e_1,\dots ,e_n\}$ 是规范正交基，这等价于 $v\in \text{span}(e_{r+1},\dots ,e_n)$。

(c)：$T^{\ast }T{e}_j=T^{\ast }(s_j{f}_j)=s_j{T}^{\ast }{f}_j$。由 $T{e}_j=s_j{f}_j$，取内积得 $⟨T^{\ast }{f}_j,e_k⟩=s_j{\delta }_{jk}$，所以 $T^{\ast }{f}_j=s_j{e}_j$。因此 $T^{\ast }T{e}_j=s_j\cdot s_j{e}_j=s_j^2{e}_j$。$■$

习题9：$T$ 和 $T^{\ast }$ 的奇异值相同

习题9

设 $T\in \mathcal{L}(V,W)$。证明 $T$ 和 $T^{\ast }$ 的非零奇异值完全相同（含重数）。

查看解答

$T$ 的非零奇异值是 $T^{\ast }T$ 的正特征值的平方根，$T^{\ast }$ 的非零奇异值是 $T{T}^{\ast }$ 的正特征值的平方根。

我们需要证明 $T^{\ast }T$ 和 $T{T}^{\ast }$ 的正特征值相同（含重数）。

方法一：设 $\lambda >0$ 是 $T^{\ast }T$ 的特征值，$v\ne 0$ 满足 $T^{\ast }Tv=\lambda v$。令 $w=Tv$，则 $w\ne 0$（否则 $\lambda v=0$，矛盾），且

$T{T}^{\ast }w=T{T}^{\ast }Tv=T(\lambda v)=\lambda Tv=\lambda w$

所以 $\lambda$ 也是 $T{T}^{\ast }$ 的特征值。同理可证反向。这个映射 $v\mapsto Tv$ 在特征空间之间建立了同构，所以重数也相同。

方法二：利用矩阵的迹。$\text{tr}((T^{\ast }T{)}^k)=\text{tr}((T{T}^{\ast }{)}^k)$ 对所有 $k\ge 1$ 成立（因为 $\text{tr}(AB)=\text{tr}(BA)$）。由牛顿恒等式，两个矩阵的特征多项式的非零根完全相同（含重数）。$■$

习题10：可逆映射逆的奇异值

习题10

设 $T\in \mathcal{L}(V,W)$ 是可逆映射，$s_1\ge \cdots \ge s_n>0$ 是 $T$ 的奇异值。证明 $T^{-1}$ 的奇异值为 $1/s_n\ge \cdots \ge 1/s_1$。

查看解答

因为 $T$ 可逆，所以 $\dim V=\dim W=n$，且 $T$ 没有零奇异值。

$T^{-1}\in \mathcal{L}(W,V)$，计算 $(T^{-1}{)}^{\ast }{T}^{-1}$：

$(T^{-1}{)}^{\ast }{T}^{-1}=(T^{\ast }{)}^{-1}{T}^{-1}=(T{T}^{\ast }{)}^{-1}$

$T{T}^{\ast }$ 的特征值为 $s_1^2,\dots ,s_n^2$（因为 $T$ 和 $T^{\ast }$ 的非零奇异值相同），所以 $(T{T}^{\ast }{)}^{-1}$ 的特征值为 $1/s_1^2,\dots ,1/s_n^2$。

因此 $T^{-1}$ 的奇异值为 $1/s_1,\dots ,1/s_n$。按降序排列：$1/s_n\ge 1/s_{n-1}\ge \cdots \ge 1/s_1$。$■$

习题13：幺正等价与奇异值

习题13

设 $S,T\in \mathcal{L}(V,W)$。证明 $S$ 和 $T$ 幺正等价（即存在幺正算子 $P\in \mathcal{L}(V)$ 和 $Q\in \mathcal{L}(W)$ 使得 $S=QTP$）当且仅当 $S$ 和 $T$ 有相同的奇异值（含重数）。

查看解答

[$\Rightarrow$ 方向]：设 $S=QTP$，其中 $Q$ 和 $P$ 是幺正算子。则

$S^{\ast }S=(QTP{)}^{\ast }(QTP)=P^{\ast }{T}^{\ast }{Q}^{\ast }QTP=P^{\ast }{T}^{\ast }TP=P^{-1}(T^{\ast }T)P$

所以 $S^{\ast }S$ 和 $T^{\ast }T$ 相似，特征值完全相同（含重数），因此奇异值相同。

[$\Leftarrow$ 方向]：设 $S$ 和 $T$ 有相同的奇异值 $s_1\ge \cdots \ge s_r>0$（含重数）。设 $S$ 的SVD为

$Sv={\sum }_{j=1}^r{s}_j⟨v,e_j^S⟩f_j^S$

$T$ 的SVD为

$Tv={\sum }_{j=1}^r{s}_j⟨v,e_j^T⟩f_j^T$

定义 $P\in \mathcal{L}(V)$ 为 $P{e}_j^T=e_j^S$（在零空间上任意延拓为幺正算子），$Q\in \mathcal{L}(W)$ 为 $Q{f}_j^T=f_j^S$（在值域的正交补上任意延拓为幺正算子）。则

$QTPv=QT\left({\sum }_{j=1}^r⟨v,e_j^T⟩e_j^T+\text{null部分}\right)=Q\left({\sum }_{j=1}^r{s}_j⟨v,e_j^T⟩f_j^T\right)={\sum }_{j=1}^r{s}_j⟨v,e_j^T⟩f_j^S$

另一方面，$Sv={\sum }_{j=1}^r{s}_j⟨v,e_j^S⟩f_j^S$。因为 $P{e}_j^T=e_j^S$，$⟨v,e_j^T⟩=⟨Pv,e_j^S⟩$（$P$ 是幺正的），所以

$QTPv={\sum }_{j=1}^r{s}_j⟨Pv,e_j^S⟩f_j^S=S(Pv)$

对所有 $v$ 成立，即 $S=QTP$。$■$

---

七、视频学习指南

视频资源

视频	时长	内容
P87 奇异值分解	~1:00:00	SVD的直觉、计算和应用
P88 7D习题	~47:00	习题讲解

---

八、教材原文

奇异值分解