7D 等距映射、幺正算子和矩阵分解

本节概览

本节是7C 正算子的自然延伸与深化,从等距映射出发,逐步引入幺正算子,最终导出两个最重要的矩阵分解——QR分解和科列斯基分解。

逻辑链条:等距映射定义(Def 7.44) 五个等价刻画(Thm 7.49) 幺正算子定义(Def 7.51) 六个等价刻画(Thm 7.53) 特征值模为1(Thm 7.54) 复空间谱描述(Thm 7.55) 幺正矩阵(Def 7.56/Thm 7.57) QR分解(Thm 7.58) 可逆正算子(Thm 7.61) 正定矩阵(Def 7.62) 科列斯基分解(Thm 7.63)。

前置依赖7C 正算子(推论7.43:)、6B 规范正交基(格拉姆-施密特过程6.32)、7A 自伴算子和正规算子(Thm 7.16:自伴算子且、正规算子)、7B 谱定理(复谱定理7.31)。

核心主线:等距映射(保持范数) 幺正算子(可逆等距映射) 幺正矩阵(矩阵表示) QR分解(格拉姆-施密特的矩阵版本) 科列斯基分解(正定矩阵的”平方根”)。


一、等距映射

等距映射(isometry)是本节的出发点。等距映射可以作用于两个不同的内积空间 ,其核心思想是”保持距离”——将 中的向量映射到 中且不改变向量的长度。

等距映射的定义

定义 7.44:等距映射(isometry)

是内积空间。线性映射 称为等距映射,如果对所有 都有

等距映射的基本性质

  1. 等距映射是单射:若 ,则 ,所以 。因此 是单射。
  2. 等距映射保持向量间的距离:对任意

等距映射的构造

例 7.45:将规范正交基映射到规范正交组

的规范正交基, 中的规范正交组。令 使得 (由3D 可逆性和同构的线性映射引理3.4确定)。则 是等距映射。

证明思路

[展开 ]:将 用规范正交基表示,利用规范正交性消去交叉项。 [展开 ] 表示,同样消去交叉项。 [比较得等式]:两者都等于

。由6B 规范正交基的公式6.30(a):

对所有 是等距映射。

证明技巧

这个证明的关键在于规范正交性使得范数的计算变得极其简洁,完全不需要交叉项。等距映射之所以能保持范数,正是因为它将一个规范正交组映射到另一个规范正交组,从而保持了这种”无交叉项”的结构。

等距映射的刻画

定理 7.49:等距映射的刻画

是内积空间,。则以下陈述等价:

  • (a) 是等距映射( 对所有
  • (b)
  • (c) 对所有
  • (d) 中的规范正交组( 的任意规范正交基)
  • (e) 的列形成 中的规范正交组(关于 的任意规范正交基)

证明循环


证明思路

[转化为内积形式]:将 通过伴随定义转化为 [构造自伴算子]:令 ,则 对所有 [利用 Thm 7.16] 自伴且

对任意

因此 对所有 。令 ,则 是自伴的(因为 ),且 对所有 。由7A 自伴算子和正规算子的 Thm 7.16(自伴算子且 ),得 ,即


证明思路

[伴随定义代入]

对任意

保持内积。


证明思路

[验证规范性][验证正交性])。

的规范正交基。由条件(c):

  • ,故

中的规范正交组。


证明思路

[矩阵列=基向量的坐标] 的第 列是 关于 的规范正交基的坐标向量。 规范正交蕴含坐标向量也规范正交。

的规范正交基, 的规范正交基。 的第 列是 关于 的坐标向量。由于 是规范正交组,规范正交性在坐标表示下保持, 的列向量也是规范正交的。


证明思路

[矩阵列规范正交蕴含像规范正交]:由条件(e), 是规范正交组。 [展开 ]:对任意 ,利用规范正交性消去交叉项,得

的规范正交基。由条件(e), 是规范正交组。对任意

对所有 是等距映射。

证明技巧

的关键步骤是将 转化为 ,然后利用==自伴算子且 ==(Thm 7.16)这一核心工具。这个技巧在正算子理论中反复出现。


二、幺正算子

幺正算子(unitary operator)是等距映射在 且可逆时的特殊情况。幺正算子是内积空间上”最好的”线性映射之一——它既保持范数,又是可逆的,其逆恰好等于其伴随。

幺正算子的定义

定义 7.51:幺正算子(unitary operator)

算子 称为幺正算子,如果 是可逆的等距映射。

等距映射 幺正算子

  • 等距映射 上的概念,只要求 ,不要求可逆,也不要求
  • 幺正算子 上可逆等距映射。

在有限维空间中,当 时,等距映射自动可逆(单射+等维双射),此时两者等价。

幺正算子的例子

例 7.52: 的旋转

对任意 ,矩阵 的列形成规范正交组(验证:),故 是幺正算子。

幺正算子的刻画

定理 7.53:幺正算子的刻画

。则以下陈述等价:

  • (a) 是幺正算子(可逆等距映射)
  • (b)
  • (c) 可逆且
  • (d) 的规范正交基( 的任意规范正交基)
  • (e) 的行形成 中的规范正交基
  • (f) 是幺正算子

证明循环


证明思路

[等距映射给出单向等式]:由 Thm 7.49(b),[可逆性提升为双向等式] 可逆,右乘 ,故

是等距映射,由 Thm 7.49(b), 可逆,故 。因此


证明思路

[可逆性与逆的定义] 说明 是左逆, 说明 是右逆,合起来 可逆且

说明 的左逆。 说明 的右逆。 可逆且


证明思路

[验证等距性] 蕴含 是等距映射。 [规范正交组]:由 Thm 7.49(d), 是规范正交组。 [升级为基] 可逆保持线性无关性, 个线性无关的规范正交向量构成规范正交基。

蕴含 ,故 是等距映射。由 Thm 7.49(d), 中的规范正交组。 可逆保持线性无关性, 个线性无关的规范正交向量构成 的规范正交基。


证明思路

[列规范正交] 是规范正交基意味着 的列形成规范正交基,即 [行规范正交] 可逆蕴含 ,从而 ,即 的行也规范正交(行是 列的复共轭)。

关于规范正交基 是规范正交基,故 的列形成规范正交基,即 蕴含 可逆且 ,从而 的行形成规范正交基。

证明技巧

这一步的关键是:方阵的列规范正交等价于行规范正交。这是因为 蕴含 可逆,从而 也成立。这个结果只对方阵成立。


证明思路

[行规范正交等价于 ] 的行形成规范正交基 [转化为 的列规范正交] 的列规范正交 的行规范正交。由 Thm 7.49(e) 反向应用, 是等距映射。 [可逆性] 蕴含 可逆,故 也可逆。

的行形成规范正交基 的列规范正交 的行规范正交。由 Thm 7.49(e) 反向应用, 是等距映射。 蕴含 可逆,故 也可逆。 是可逆的等距映射,即 是幺正算子。


证明思路

[ 幺正给出 ][ 可逆蕴含 可逆][推导 ] 可逆,,故

幺正 ,即 可逆 可逆(因为 )。 可逆,,故 说明 是等距映射。 可逆且是等距映射,所以 是幺正算子。

幺正算子的特征值

定理 7.54:幺正算子的特征值

是幺正算子。则 的每个特征值 都满足

证明思路

[特征方程两边取范数],利用范数的齐次性和等距性得 [消去 ]

的特征值, 是对应的非零特征向量。,两边取范数:

幺正算子与复数单位圆的类比

幺正算子的特征值都在==单位圆 == 上:

  • 在实空间中,特征值只能是
  • 在复空间中,特征值可以是单位圆上的任何复数

这与复数中 完全类比于

复空间上幺正算子的谱描述

定理 7.55:复空间上幺正算子的谱描述

。则以下陈述等价:

  • (a) 是幺正算子
  • (b) 存在 的由 的特征向量构成的规范正交基,且所有特征值的绝对值为 1

证明思路

(a)(b) 正规(),由7B 谱定理的复谱定理7.31, 存在由 的特征向量构成的规范正交基。由 Thm 7.54,特征值 (b)(a):在特征向量规范正交基下验证 ,由 Thm 7.53(d) 得 幺正。

(a)(b) 是正规算子。由7B 谱定理的复谱定理(Thm 7.31), 存在由 的特征向量构成的规范正交基。由 Thm 7.54,所有特征值 满足

(b)(a):设 的规范正交基,。对

的规范正交基。由 Thm 7.53(d), 是幺正算子。

实空间的局限

定理7.55只在复空间中成立。在实空间中,幺正算子(即正交算子)未必有特征向量——例如 中的旋转矩阵 (旋转90度)没有实特征值。

幺正矩阵

定义 7.56:幺正矩阵(unitary matrix)

方阵 称为幺正矩阵,如果 的列形成 中的规范正交组。

定理 7.57:幺正矩阵的刻画

方阵。则以下陈述等价:

  • (a) 是幺正矩阵( 的列形成规范正交组)
  • (b) 的行形成 中的规范正交组
  • (c) 对任一
  • (d)

这些条件都是 Thm 7.53 在矩阵语言下的重新表述。在实空间中,幺正矩阵就是正交矩阵)。


三、矩阵分解:QR分解与科列斯基分解

矩阵分解是线性代数中最重要的计算工具之一。本节介绍两个核心分解:QR分解和科列斯基分解。

QR分解

定理 7.58:QR分解(QR Factorization)

是各列线性无关的方阵。那么存在唯一一对矩阵 ,其中 是幺正的,而 是上三角的且对角线上仅有正数,使得

证明思路

[存在性]:对 的列 应用6B 规范正交基的格拉姆-施密特过程(6.32),得规范正交基 。令 。验证 上三角、正对角线、[唯一性]:设 ,则 。由6B习题10的唯一性得

存在性

的列为 。由于 的列线性无关, 线性无关。

[格拉姆-施密特正交化]:对 应用格拉姆-施密特过程,得到规范正交组 。由6B 规范正交基的公式6.30(a):

[构造 ]:令 幺正),令

[验证上三角性]:当 时,,故 ,即

[验证正对角线](格拉姆-施密特定义式中 的系数为正)。

[验证 ] 的第 列为 (由6.30(a))。

唯一性

,其中 幺正, 上三角正对角线。令 的列。 的第 ,故 。又 。由6B习题10的唯一性, 对所有 。从而

证明技巧

QR分解的存在性直接来自格拉姆-施密特过程。唯一性的关键在于: 蕴含 ,这恰好满足格拉姆-施密特过程中规范正交基的唯一性条件(6B习题10)。

QR分解的计算实例

例 7.60: 矩阵的QR分解

求矩阵 的QR分解。

的列为

格拉姆-施密特过程

规范化:

可逆正算子

定理 7.61:可逆正算子的刻画

是正算子。则 可逆当且仅当 对所有非零

证明思路

可逆正 (由7C 正算子的 Thm 7.43,)。 单射 可逆。

可逆,故 对所有非零 是正算子,。若存在非零 使 ,则由7C 正算子的 Thm 7.43 得 ,矛盾。故

对所有非零 。若 ),则 ,矛盾。 单射,故 可逆。

正定矩阵

定义 7.62:正定矩阵(positive definite matrix)

方阵 称为正定矩阵,如果 (自伴),且 对所有非零

正定矩阵的基本性质:

  1. 所有特征值都是正数(不仅是非负的)
  2. 行列式为正(特征值之积)
  3. 对角线元素都是正数(取
  4. 主子矩阵也是正定的

科列斯基分解

定理 7.63:科列斯基分解(Cholesky Factorization)

是正定矩阵。那么存在唯一一个对角线上仅含正数的上三角矩阵 使得

证明思路

[存在性] 正定 7C 正算子 Thm 7.38(f),取 )。(Thm 7.58),故 [唯一性]:设 可逆(3D习题11),。令 为存在性证明中的矩阵,则 幺正。,由QR唯一性得

存在性

是正定矩阵,由7C 正算子的 Thm 7.38(f),存在 使得 (可取 )。 可逆(因为 可逆)。对 应用 QR 分解(Thm 7.58):,其中 幺正, 上三角正对角线。

是上三角矩阵且对角线元素为正, 即为科列斯基分解。

唯一性

上三角正对角线。 可逆(3D习题11)。。令 为存在性证明中的矩阵,则:

幺正。,这是 的一个 QR 分解。由 QR 分解的唯一性(Thm 7.58),

科列斯基分解的核心意义

  1. 计算效率:科列斯基分解的计算量约为 次乘法,是LU分解的一半
  2. 数值稳定性:不需要选主元(正定性保证对角线元素为正)
  3. 求解正定方程组 等价于 ,两次回代
  4. 正定性的检验:科列斯基分解成功完成即说明矩阵正定

==科列斯基分解可以看作正定矩阵的”平方根”: 类比于 ==。

证明技巧

科列斯基分解的证明巧妙地结合了两个已有结果:正算子的平方根(Thm 7.38(f):)和 QR 分解(Thm 7.58:)。将两者结合:,幺正矩阵 被”消去”。这种组合已知定理得到新结果的策略在线性代数中非常常见。


四、知识结构总览

graph TD
    subgraph 等距映射理论
        A["定义7.44: 等距映射"] --> B["定理7.49: 五个等价条件"]
        B --> B1["a: 保持范数"]
        B --> B2["b: S星S等于I"]
        B --> B3["c: 保持内积"]
        B --> B4["d: 映射规范正交基为规范正交组"]
        B --> B5["e: 矩阵列规范正交"]
    end

    subgraph 幺正算子理论
        C["定义7.51: 可逆等距映射"] --> D["定理7.53: 六个等价条件"]
        D --> D1["a: 可逆等距映射"]
        D --> D2["b: S星S等于SS星等于I"]
        D --> D3["c: S逆等于S星"]
        D --> D4["d: Sej是规范正交基"]
        D --> D5["e: 矩阵行规范正交"]
        D --> D6["f: S星幺正"]
        D --> E["定理7.54: 特征值模为1"]
        D --> F["定理7.55: 复空间谱描述"]
    end

    subgraph 矩阵分解
        G["定义7.56: 幺正矩阵"] --> H["定理7.58: QR分解"]
        I["定理7.61: 可逆正算子"] --> J["定义7.62: 正定矩阵"]
        J --> K["定理7.63: 科列斯基分解"]
    end

    A -.->|"dimV等于dimW且可逆"| C
    B2 -.->|"双向等式"| D2
    H -.->|"正算子平方根加QR"| K
    B5 -.->|"列规范正交方阵"| G

五、核心思想与证明技巧

本节核心思想

  1. 等距映射 = 保持范数的线性映射:通过五个等价条件(保持范数、、保持内积、规范正交组、矩阵列规范正交)从不同角度描述了”保持距离”这一核心性质。保持范数等价于保持内积是其中最深刻的等价关系。

  2. 幺正算子 = 可逆等距映射:关键新增性质是 (双向等式),它蕴含 ,极大简化了计算。幺正算子类比于模为1的复数:

  3. QR分解 = 格拉姆-施密特的矩阵版本:将格拉姆-施密特正交化过程编码为矩阵等式 ,其中 的列是正交化后的规范正交基, 记录了正交化过程中的系数。

  4. 科列斯基分解 = 正定矩阵的平方根 是正定矩阵特有的分解,结合了正算子平方根理论和QR分解两个工具。计算量仅为LU分解的一半。

核心证明技巧

  1. 自伴算子且 (Thm 7.16): 的关键工具,将 转化为

  2. 伴随的定义 :在证明 等结果中反复使用,核心作用是将算子从内积的一侧"移到"另一侧

  3. 上三角且幺正 = 对角且幺正 = 单位矩阵:QR分解和科列斯基分解唯一性证明的核心事实。本质是:上三角矩阵的行(或列)规范正交则必须是对角矩阵。

  4. 格拉姆-施密特过程的矩阵化 精确记录了正交化的每一步,将向量级别的操作提升为矩阵级别的分解。

  5. 组合已知定理得到新结果:科列斯基分解的证明组合了正算子平方根(Thm 7.38(f))和 QR 分解(Thm 7.58),展示了”站在巨人的肩膀上”的证明策略。


六、补充理解与易混淆点

幺正算子与复数单位圆的类比

幺正算子与模为1的复数之间存在精确的类比关系,这一类比贯穿了本节的始终。

| 模为1的复数 ) | 幺正算子 | 对应定理 | |---|---|---| | | 幺正 | Thm 7.53(b) | | 特征值在单位圆上 | | Thm 7.54 | | 实数情形 | 实空间特征值 | Thm 7.54推论 | | 复数情形 | 复空间特征值 | Thm 7.55 | | (即 ) | | 习题14 | | 单位圆在乘法下构成群 | 幺正算子构成群 | 习题3 | | Cayley变换 将单位圆映到实数轴 | Cayley变换将幺正算子映到自伴算子 | 习题15 | | 实数)模为1 | 幺正( 自伴) | 量子力学应用 |

来源:UT Austin M346讲义(Lorenzo Sadun)、Oxford Part A线性代数讲义、Waterloo Math225讲义。

QR分解的应用与计算

QR分解不仅是理论结果,更是数值线性代数中最重要的计算工具之一。

QR算法求特征值:迭代 ,在适当条件下收敛到上三角矩阵(特征值在对角线上)。这是实际计算特征值最有效的方法。

最小二乘法 的解为 。相比正规方程 ,QR方法的条件数更小(不需要”平方”矩阵 ),数值稳定性更好。

求解线性方程组,用回代法 即可求解。

非方阵推广:瘦QR( 矩阵)和完全QR( 矩阵)。

实际计算:Householder变换比 Gram-Schmidt 过程数值稳定性更好,是实际软件中使用的标准方法。

来源:UCLA ECE133A/B讲义(L. Vandenberghe)、Stanford CME302讲义(Eric Darve)、UW-Madison Math535讲义(Sebastien Roch)。

科列斯基分解与正定方程组

科列斯基分解是求解正定方程组的首选方法,在优化、统计和机器学习中有广泛应用。

计算效率 次乘法(LU分解的一半),存储量也只需一半(对称矩阵只需存下三角部分, 个元素 vs 个)。

数值稳定性:不需要选主元(正定性保证对角线元素为正),这是相比LU分解的重要优势。

检验正定性:尝试科列斯基分解是检验正定性的高效方法——如果分解过程中出现零或负的对角线元素,则矩阵不是正定的。

与QR的比较:条件数大时QR更稳定;条件数适中时Cholesky更快( vs )。

应用:优化(牛顿法中Hessian矩阵求逆)、统计(协方差矩阵求逆)、机器学习(核矩阵计算)。

来源:Stanford EE263讲义(Stephen Boyd)、Stony Brook AMS526讲义(Xiangmin Jiao)、Cornell CS4210讲义。

常见误区

误区1:"等距映射就是幺正算子"

❌ 等距映射是 上的概念,幺正算子是 上可逆等距映射。两者作用的空间不同,且幺正算子额外要求可逆性。在有限维空间中,当 时等距映射自动可逆,此时两者等价;但在无限维空间中,存在等距但非幺正的算子(如 中的右移算子)。

误区2:"保持范数推出保持内积是显然的"

❌ 从 推出 并非平凡。在教材的证明中,这一步通过构造自伴算子 ,利用 (Thm 7.16)来实现。如果直接用极化恒等式,也需要额外的推导。

误区3:"幺正矩阵列正交推出行也正交是巧合"

❌ 两者等价,并非巧合。列规范正交即 ,蕴含 可逆且 ,从而 ,即行也规范正交。这源于 同时成立(Thm 7.53(b))。注意:这只对方阵成立。

误区4:"QR分解只适用于方阵"

❌ 教材 Thm 7.58 要求方阵(列线性无关的方阵),但长方形矩阵也有推广版本:瘦QR( 列规范正交矩阵)和完全QR( 幺正矩阵, 上三角矩阵)。

误区5:"科列斯基分解和QR分解一样"

❌ 两者结构不同:科列斯基分解 (对称结构, 上三角),QR分解 (幺正 上三角)。适用范围不同:科列斯基分解仅适用于正定矩阵,QR分解适用于列线性无关的方阵。计算复杂度也不同:科列斯基 ,QR


七、习题精选

本节习题

习题号标题核心考点难度
1等距映射的2维刻画Thm 7.49 的推广
2等距映射标量倍与保正交性极化恒等式的应用
5自伴幺正算子与反射正交投影、特征值
9特征值模1+压缩推出幺正正算子、谱定理
14幺正算子构造Cauchy-Schwarz、2维旋转
15Cayley变换幺正算子与自伴算子的转换
19离散傅里叶变换幺正矩阵验证、几何级数

习题1:等距映射的2维刻画

习题1

。证明: 是等距映射,当且仅当对于 中任一长度为 2 的规范正交组 ,都有 中的规范正交组。

习题2:等距映射标量倍与保正交性

习题2

。证明: 是一等距映射的标量倍,当且仅当 保持正交性()。

习题5:自伴幺正算子与反射

习题5

。证明以下等价:

  • (a) 是自伴的幺正算子
  • (b) ,其中 上的某个正交投影
  • (c) 存在 的子空间 ,使得 )而

习题9:特征值模1+压缩推出幺正

习题9

。设 的每个特征值的绝对值都是 1,且 对任一 都成立。证明: 是幺正算子。

习题14:幺正算子构造

习题14

。又设 。证明:存在幺正算子 使得 ,当且仅当

习题15:Cayley变换

习题15

上的幺正算子, 可逆。 (a) 证明: 是斜算子(等于其伴随的负) (b) 证明:如果 ,那么 是自伴算子

习题19:离散傅里叶变换

习题19

定义 上的算子 ,其中 。 (a) 证明 上的幺正算子 (b) 证明 (下标循环排列) (c) 证明


八、视频学习指南

视频资源

视频标题时长核心内容
P85等距同构1:06:49等距映射定义与五个等价条件、幺正算子与六个等价条件、QR分解预告
P867C习题47:37习题1-6, 9-10, 14-15, 18-19

学习建议

  1. 先复习7C 正算子,特别是推论7.43()和正算子的平方根理论。本节多处直接引用这些结果。
  2. 重点理解等距映射的五个等价条件(Thm 7.49),掌握它们之间的转换关系是理解本节的关键。
  3. 幺正算子的六个等价条件(Thm 7.53)是五个条件的升级版——增加了”可逆性”带来的额外性质。
  4. QR分解和科列斯基分解是本节的计算重点,建议自己动手计算几个例子。
  5. P85 视频覆盖了等距映射和幺正算子的核心理论,P86 视频覆盖了精选习题的讲解。

九、教材原文

等距映射