Gram-Schmidt 正交化（Gram-Schmidt Orthogonalization）

一句话定义

从任意线性无关向量组出发，构造两两正交的规范正交向量组，保持张成空间不变。这是内积空间中最基本的构造工具。

设 $v_{1}, \dots, v_{m}$ 为内积空间 $V$ 中线性无关向量组。令：

$f_{k} = v_{k} - \sum_{j = 1}^{k - 1} \frac{⟨ v _{k} , f _{j} ⟩}{∥ f _{j} ∥ ^{2}} f_{j}, e_{k} = \frac{f _{k}}{∥ f _{k} ∥}$

则 $e_{1}, \dots, e_{m}$ 是规范正交的，且 $span (e_{1}, \dots, e_{m}) = span (v_{1}, \dots, v_{m})$ 。

每一步的核心操作是减去投影：

$v_{k}$ 在已有正交向量 $f_{1}, \dots, f_{k - 1}$ 上的投影为 $\sum_{j = 1}^{k - 1} \frac{⟨ v _{k} , f _{j} ⟩}{∥ f _{j} ∥ ^{2}} f_{j}$
从 $v_{k}$ 中减去这个投影，剩下的 $f_{k}$ 就与所有 $f_{j}$ 正交
最后归一化 $∥ f_{k} ∥ = 1$ 得到 $e_{k}$

每个有限维内积空间都有规范正交基。

由 Gram-Schmidt 从任意基出发即可构造。

每个规范正交组都可以扩充为规范正交基。

谱定理：规范正交特征向量基可由 Gram-Schmidt 构造
SVD：左奇异向量 $f_{j}$ 和右奇异向量 $e_{j}$ 都是规范正交的
QR 分解（定理 7.58）： $A = QR$ ， $Q$ 的列是 $A$ 列空间的规范正交基， $R$ 是上三角正对角线——Gram-Schmidt 的矩阵形式
最小二乘法：正交投影到列空间 $\Rightarrow$ 用 Gram-Schmidt 求最优近似解

经典 Gram-Schmidt 在数值计算中不稳定（正交性可能严重丧失）。改进方法：

6B 节是内积空间的核心算法。Gram-Schmidt 保证规范正交基的存在性，是谱定理、SVD、最小二乘的基础。