6A 内积和范数
本节概览
本节是第6章”内积空间”的开篇,从 和 中向量长度与角度的直观概念出发,抽象出内积的一般定义,进而导出范数、正交、柯西-施瓦兹不等式、三角不等式和平行四边形等式等核心工具。整个理论环环相扣:内积定义范数,内积定义正交,正交分解推出柯西-施瓦兹不等式,柯西-施瓦兹推出三角不等式。
逻辑链条:内积(定义 6.2) 范数(定义 6.7) 正交(定义 6.10) 正交分解(命题 6.13) 柯西-施瓦兹不等式(定理 6.14) 三角不等式(定理 6.17) 平行四边形等式(定理 6.21)。
前置依赖:第4章 多项式(复数、复共轭 、绝对值 )、1B 向量空间的定义(向量空间、线性映射)、3F 对偶(对偶空间,习题 5 参考)。
核心主线:从欧几里得几何中的长度和角度出发,通过公理化方法建立适用于任意(实或复)向量空间的内积理论,最终得到数学中最重要的不等式之一——柯西-施瓦兹不等式。
一、内积的定义与基本性质
动机:从 、 的几何出发
在前五章中,我们研究了向量空间的代数结构——加法和标量乘法。但向量空间本身没有”长度”、“角度”、“垂直”这些几何概念。内积的引入正是为了在线性空间上赋予这些几何结构。
将 和 中的向量看成始于原点的箭头。向量 的长度(范数)记作 。对 ,有 。推广到 ,定义 的范数为 。
范数本身不是线性的。为了把线性引入讨论,我们引入点积。
定义 6.1:点积(dot product)
对 , 和 的点积记作 ,定义为 其中 ,。
点积满足以下性质:
- 对所有 ,
- 当且仅当
- 对固定的 ,映射 是线性的
- 对所有 ,
复数情况的考虑
为了将定义同时适用于实向量空间和复向量空间,需要考虑复数的情况。回忆 第4章 多项式 中的概念:
- ()的绝对值为
- 的复共轭为
对于 ,定义范数为 (需要绝对值以保证非负实数)。注意到
我们想将 视为 与自身的内积。于是 和 的内积应等于 。互换 和 的角色,上述表达式会被其复共轭替代。因此我们期望内积满足: 和 的内积等于 和 的内积的复共轭。
定义 6.2:内积(inner product)
上的内积是一个函数,它将 中元素构成的每个有序对 对应至一个数 ,并满足如下五条公理:
公理 名称 内容 1 正性(positivity) 对所有 , 2 定性(definiteness) 当且仅当 3 第一个位置上的可加性(additivity in first slot) 对所有 , 4 第一个位置上的齐次性(homogeneity in first slot) 对所有 和 , 5 共轭对称性(conjugate symmetry) 对所有 ,
为什么需要共轭对称性? 考虑 中的向量 。如果去掉共轭,直接要求对称性 ,用普通点积计算:
但 !这违反了定性公理。加上共轭后:
共轭对称性是复数域上保证正性的关键设计。
物理学家的约定
大部分数学家把内积定义如上(线性在第一个位置)。许多物理学家使用的定义中,要求齐次性在第二个位置上成立,而不是第一个位置。
例 6.3:内积实例
(a) 欧几里得内积:对 ,
(b) 加权内积:若 是正数,定义
(c) 连续函数积分内积:在 上的全体连续实值函数构成的向量空间上,
(d) 多项式积分内积:在 上,
(e) 多项式加权积分内积:在 上,
定义 6.4:内积空间(inner product space)
带有内积的向量空间称为内积空间。
当称 是内积空间时,除非另有说明,均假设其上定义的内积是欧几里得内积。
记号 6.5
在本章剩余部分和下章中, 和 都指代 上的内积空间。
命题 6.6:内积的基本性质
设 是内积空间,则:
- (a) 对每个固定的 ,将 对应到 的函数是 到 的线性映射。
- (b) 对每个 ,。
- (c) 对每个 ,。
- (d) 对所有 ,。
- (e) 对所有 和 ,。
证明思路
(a) 由内积定义中第一个位置上的可加性和齐次性直接可得。 (b) 每个线性映射都将 对应到 ,由 (a) 即得。 (c) 由共轭对称性和 (b):。 (d) 利用共轭对称性将第二位置的加法转到第一位置:。 (e) 类似地:。
内积的 sesquilinear 结构
性质 (a) 和 (d)(e) 合在一起说明:内积对第一个变元是线性的,对第二个变元是共轭线性的(conjugate-linear)。这种结构称为 sesquilinear(一元半线性)。这是复内积空间最本质的结构特征。
二、范数与正交
范数
定义 6.7:范数(norm)
对 , 的范数记作 ,定义为
例 6.8:范数实例
(a) 若 (欧几里得内积),则
(b) 在 上的连续实值函数空间(内积如例 6.3(c))中,
命题 6.9:范数的基本性质
设 :
- (a) 当且仅当 。
- (b) 对所有 ,。
证明思路
(a) 由定性公理直接可得:。 (b) 先处理范数的平方:,两边开平方根即得。
核心技巧:"处理范数的平方"
命题 6.9(b) 的证明展示了一个普遍适用的道理:处理范数的平方通常比直接处理范数来得容易。因为 是一个内积,可以利用内积的所有性质(线性、共轭对称性等)来操作,最后再开方。
正交
定义 6.10:正交(orthogonal)
称两个向量 是正交的,若 。
“orthogonal”一词来自希腊语”orthogonios”,意为”直角的”。在 中两个非零向量(在欧几里得内积下)正交,当且仅当它们之间夹角的余弦值为 0,即通常所说的两向量垂直。
命题 6.11:正交性和 0
(a) 与 中每个向量都正交。 (b) 是 中唯一与自身正交的向量。
证明思路
(a) 由命题 6.6(b),对每个 有 。 (b) 若 且 ,则由定性公理得 。
定理 6.12:毕达哥拉斯定理(Pythagorean theorem)
设 。若 和 是正交的,那么
证明思路
[展开范数的平方]: [利用内积的可加性完全展开]: [正交性消去交叉项]:因为 (且 ): 。
毕达哥拉斯定理的推广
若 两两正交,则 。证明方法完全类似——展开内积后,所有交叉项都因正交性而消失。
正交分解
设 且 。我们想将 写成 的标量倍加上正交于 的向量 的形式。令 为一标量,则 。我们需要选取 使得 与 正交:
因此应取 。
命题 6.13:一种正交分解
设 ,且 。取 及 。那么
证明思路
[验证正交性]:。 [分解式]: 由 的定义直接可得。
正交分解的几何意义
正交分解将 分成两部分:
- : 在 方向上的投影分量(平行于 )
- : 的正交分量(垂直于 )
正交分解是整个内积空间理论的枢纽。它直接导出柯西-施瓦兹不等式,而柯西-施瓦兹不等式又导出三角不等式。
三、柯西-施瓦兹不等式
定理 6.14:柯西-施瓦兹不等式(Cauchy-Schwarz inequality)
设 。那么 当且仅当 成标量倍数关系时,上述不等式取得等号。
证明思路
[情况 1:]:不等式两端都等于 ,成立。此时 与 成标量倍数关系。
[情况 2:]:利用正交分解 6.13,令 ,,则 。
[毕达哥拉斯定理]:因为 ( 推出 ),由定理 6.12:
[丢弃非负项]:因为 :
[整理并开方]:两边乘以 (正数),再开平方根:
[等号条件]:等号成立 ,即 是 的标量倍。
历史注记
1821 年,柯西(Cauchy, 1789-1857)证明了 中的版本。1859 年,布尼亚科夫斯基(Bunyakovsky, 1804-1889)证明了积分不等式版本。几十年后,施瓦兹(Schwarz, 1843-1921)发现了更一般的结论。柯西-施瓦兹不等式由此得名。
例 6.16:柯西-施瓦兹不等式实例
(a) 若 ,则 这是将柯西-施瓦兹不等式应用于 中向量 和 的结果。
(b) 若 是定义在 上的连续实值函数,则 这是将柯西-施瓦兹不等式应用于例 6.3(c) 的积分内积的结果。
四、三角不等式与平行四边形等式
三角不等式
定理 6.17:三角不等式(triangle inequality)
设 。那么 该不等式取得等号,当且仅当 中任意一者是另一者的非负实数倍。
证明思路
[展开范数的平方]:
[转化为实部]:利用 和 :
[实部放缩]:,所以
[柯西-施瓦兹放缩]:,所以
[开方得证]:两边开平方根,。
[等号条件]:等号成立 式 (6.18) 和 (6.19) 同时取等 。由柯西-施瓦兹等号条件, 成标量倍数关系;由 ,该标量必须是非负实数。
三角不等式 vs 柯西-施瓦兹的等号条件
柯西-施瓦兹不等式等号成立 成标量倍数关系(标量可以是任意复数)。 三角不等式等号成立 成非负实数倍关系(更严格)。 差别的原因:三角不等式的证明中多了一步 ,等号要求 是非负实数。
平行四边形等式
定理 6.21:平行四边形等式(parallelogram equality)
设 。那么
证明思路
[分别展开]:
[两式相加,交叉项抵消]:
平行四边形等式的深刻意义
几何解释:在平行四边形中,对角线的长度平方之和等于四条边的长度平方之和。
代数意义:平行四边形等式是内积空间的”指纹”。如果一个赋范空间满足平行四边形等式,那么它的范数一定来自某个内积(见习题 28)。反之亦然。因此,平行四边形等式是判断”范数是否来自内积”的充要条件。
五、知识结构总览
graph TD A[内积 定义6.2 五条公理] --> B[范数 定义6.7] A --> C[正交 定义6.10] B --> D[毕达哥拉斯定理 定理6.12] C --> D C --> E[正交分解 命题6.13] E --> F[柯西-施瓦兹不等式 定理6.14] F --> G[三角不等式 定理6.17] A --> H[平行四边形等式 定理6.21] F --> I[极化恒等式 习题26-27] H --> I H --> J[平行四边形等式逆命题 习题28]
六、核心思想与证明技巧
核心思想
- 内积是几何的代数编码:五条公理精确地编码了”长度”和”角度”的基本性质,使得我们可以在任意(实或复)向量空间上进行欧几里得几何推理。
- 正交分解是枢纽:从正交分解出发推出柯西-施瓦兹不等式,从柯西-施瓦兹推出三角不等式。核心链条:内积 正交 正交分解 柯西-施瓦兹 三角不等式。
- 柯西-施瓦兹不等式是基石:它是数学中最重要的不等式之一,连接了代数(内积)和几何(长度、角度),在几乎所有数学分支中都有应用。
- 平行四边形等式是内积空间的特征:它不仅是一个优美的等式,更是判断一个范数是否来自内积的充要条件。
证明技巧清单
- “处理范数的平方”技巧:涉及范数的证明中,先转化为 ,利用内积性质操作,最后再开方。这是本节最核心的技巧。
- 正交分解法:将向量分解为”投影分量 + 正交分量”,利用毕达哥拉斯定理消去交叉项。这是证明柯西-施瓦兹不等式的标准方法。
- 实部放缩法:在三角不等式的证明中,将 ,然后利用 放缩。
- 展开消去法:在平行四边形等式的证明中,展开两个范数的平方后交叉项恰好正负抵消。这种”展开后交叉项消去”的模式在内积空间中非常常见。
- 共轭对称性转换变元位置:当需要处理第二变元的性质时,先通过共轭对称性翻转到第一变元,利用已知的线性性质,再取共轭还原。
七、补充理解与易混淆点
内积的物理与几何直觉
在 和 中,内积有非常直观的几何意义:,其中 是 和 之间的夹角。这个公式告诉我们:
- 当 时,,内积为零——两个向量正交(垂直)
- 当 时,,内积最大——两个向量同向
- 当 时,,内积最小——两个向量反向
从物理角度看,内积对应于功的概念:力 沿位移 做的功为 。只有力在位移方向上的分量才做功,这与内积只”测量”一个向量在另一个向量方向上的投影是一致的。
在更一般的内积空间中(如函数空间),内积可以理解为”两个对象之间的相似度度量”。例如在积分内积 中,如果两条函数曲线在相同位置都大或都小,内积就大(正相似);如果一条大一条小,内积就小甚至为负(负相似);如果正负交替抵消,内积为零(正交/不相关)。
来源:Costin (Ohio State Math 5101) Inner Product Spaces and Orthogonality 讲义、Angenent (UW-Madison Math 341) Inner Product Spaces 讲义、Millson (UMD Math 405) Lecture 10: Inner Product Spaces 讲义。
柯西-施瓦兹不等式的广泛应用
柯西-施瓦兹不等式被誉为”数学中最重要的不等式之一”,其应用远超线性代数本身:
-
概率论与统计学:在概率空间中,取内积为 ,柯西-施瓦兹不等式变为 。取 和 ,即得 ,这就是相关系数的绝对值不超过 1 的原因。
-
信号处理:在 空间中,柯西-施瓦兹不等式给出积分形式的界,是能量不等式的基础。它保证了傅里叶级数的收敛性和各种正交展开的稳定性。
-
机器学习:余弦相似度 直接来自柯西-施瓦兹不等式(保证了分母不为零时分式的绝对值不超过 1)。在自然语言处理和推荐系统中,余弦相似度是衡量向量相似性的标准工具。
-
优化理论:柯西-施瓦兹不等式是证明各种极值结果的基础工具,例如在约束优化中确定目标函数的上界。
来源:Wikipedia “Cauchy-Schwarz inequality”、Roch (UW-Madison Math 535) Orthogonality in Data Science 讲义、UC Berkeley EE 16A Discussion 12 材料。
内积空间与希尔伯特空间
内积空间理论的一个自然推广是从有限维到无限维。有限维内积空间(如 )具有良好的性质——每个柯西序列都收敛(完备性)。但在无限维空间中,这个性质不一定成立。
希尔伯特空间(Hilbert space)就是完备的内积空间——其中的每个柯西序列都收敛到空间内的一个元素。希尔伯特空间的概念由 David Hilbert 在其关于无穷多变量的二次型工作中提出,是欧几里得空间到无限维的最自然推广。
希尔伯特空间在现代物理学中占据核心地位。在量子力学中,系统的状态由希尔伯特空间中的向量(波函数)表示,可观测量由自伴算子表示,测量结果由内积的概率幅给出。具体来说,量子态 处于状态 的概率幅为 ,而概率为 ——这正是柯西-施瓦兹不等式保证其不超过 1 的原因。
常见的希尔伯特空间例子包括:
- :区间 上平方可积函数构成的空间,内积为
- :平方可和数列构成的空间,内积为
来源:Vadim (UT Austin Physics) Hilbert Spaces 讲义、Xiao (UChicago REU) Introduction to Hilbert Spaces and the Heisenberg Uncertainty Principle、Washington (Cornell Math 6210) A Brief Introduction to Hilbert Space、Stanford Encyclopedia of Philosophy “Quantum Theory and Mathematical Rigor”。
常见误区
误区 1:"内积一定是对称的"
❌ 错误认知: 总成立。 ✅ 正确理解:在实向量空间上确实如此(因为实数的共轭就是自身)。但在复向量空间上,内积满足的是共轭对称性:。例如在 上,,但 ,两者相等只是巧合;一般地 而 。
来源:Dummit (Northeastern University) Linear Algebra Part 3: Inner Product Spaces 讲义、Donaldson (UC Irvine Math 121B) Inner Product Spaces 讲义。
误区 2:"内积在第二个位置是线性的"
❌ 错误认知:。 ✅ 正确理解:内积在第二个位置是共轭线性的:(命题 6.6(e))。标量从第二个位置提出时需要取共轭。这是由共轭对称性和第一位置的线性共同推出的。物理学家的约定(线性在第二个位置)与数学家的约定恰好相反,阅读物理文献时需特别注意。
来源:Donaldson (UC Irvine Math 121B) Inner Product Spaces 讲义、Ximera (Ohio State) The Complex Scalar Product in 教程。
误区 3:"柯西-施瓦兹不等式中等号总是成立的"
❌ 错误认知: 对任意 都成立。 ✅ 正确理解:等号成立当且仅当 和 成标量倍数关系(即 或 ,包含 或 的情形)。对于一般的两个向量,严格不等式成立。例如在 中取 , ,则 。
来源:Wikipedia “Cauchy-Schwarz inequality”、Costin (Ohio State Math 5101) Inner Product Spaces 讲义。
误区 4:"所有范数都来自内积"
❌ 错误认知:任何满足非负性、齐次性和三角不等式的函数都是某个内积导出的范数。 ✅ 正确理解:只有满足平行四边形等式的范数才来自内积(习题 28)。例如 范数 和 范数 都不满足平行四边形等式,因此它们不来自任何内积。只有欧几里得范数 来自内积。
来源:Angenent (UW-Madison Math 341) Inner Product Spaces 讲义、Roch (UW-Madison Math 535) Orthogonality in Data Science 讲义。
误区 5:"正交分解只适用于二维空间"
❌ 错误认知:正交分解的几何图示只在 中有意义。 ✅ 正确理解:正交分解(命题 6.13)是任意内积空间中的代数工具,不依赖于空间的维数或几何直观。它同样适用于 、、函数空间等。正交分解的代数证明完全不依赖几何图示,只使用了内积的基本性质。
来源:Costin (Ohio State Math 5101) Inner Product Spaces 讲义、Blomgren (SDSU Math 524) Inner Product Spaces 讲义。
误区 6:"三角不等式中等号条件与柯西-施瓦兹相同"
❌ 错误认知:三角不等式等号 成标量倍数关系。 ✅ 正确理解:三角不等式等号成立的条件更严格——要求 成非负实数倍关系。柯西-施瓦兹等号只要求成标量倍(标量可以是任意复数)。差别的原因在于三角不等式的证明中多了一步 ,等号要求 是非负实数。例如在 中取 , :柯西-施瓦兹等号成立(),但三角不等式等号不成立()。
来源:Costin (Ohio State Math 5101) Inner Product Spaces 讲义、Angenent (UW-Madison Math 341) Inner Product Spaces 讲义。
八、习题精选
本节习题
以下习题选自 LADR 第四版 6A 节,涵盖内积验证、正交性、柯西-施瓦兹不等式应用、极化恒等式和平行四边形等式等核心考点。
| 习题号 | 标题 | 核心考点 | 难度 |
|---|---|---|---|
| 2 | 单射算子诱导内积 | 内积定义验证、单射与定性 | 中 |
| 6 | 正交的范数刻画 | 正交 范数最小 | 中 |
| 8 | 柯西-施瓦兹的应用 | 不等式证明技巧 | 中 |
| 13 | 均值不等式 | 柯西-施瓦兹经典应用 | 低 |
| 15 | 中内积与夹角 | 几何直觉、余弦定理 | 中 |
| 26/27 | 极化恒等式 | 内积的范数表示 | 高 |
| 28 | 平行四边形等式 内积 | 范数来自内积的充要条件 | 高 |
习题 2:单射算子诱导内积
习题 2
设 。定义 为 对所有 成立。证明: 是 上的内积,当且仅当 是单射。
查看解答
() 假设 是内积。由定性公理,。但 。所以 ,即 ,这正是 为单射的定义。
() 假设 是单射。逐一验证五条公理:
- 正性:。
- 定性:( 单射)。
- 第一位置可加性:。
- 第一位置齐次性:。
- 共轭对称性:。
五条公理全部满足。
习题 6:正交的范数刻画
习题 6
设 。证明: 对所有 都有 。
查看解答
() 假设 。对任意 : 因为 ,所以 且 。因此 即 。
() 反证法。假设 。取 ( 时;若 则 ,矛盾)。则 这与假设 矛盾。
习题 8:柯西-施瓦兹的应用
习题 8
设 且 。证明:。
查看解答
在 中应用柯西-施瓦兹不等式。取 , 。则
由柯西-施瓦兹不等式:
等号成立当 和 成非负实数倍关系,即 且 ,,即 。
习题 13:均值不等式
习题 13
证明:均值的平方小于或等于平方的均值。更准确地说,如果 ,那么 的均值的平方小于或等于 的均值。
查看解答
即证 。
在 中取 , 。由柯西-施瓦兹不等式:
两边除以 :
等号成立当且仅当 与 成标量倍,即 。
习题 15: 中内积与夹角
习题 15
设 是 中的非零向量。证明: 其中 是 和 的夹角(将 和 视为从原点出发的箭头)。
查看解答
考虑由 和 构成的三角形。由余弦定理:
另一方面,展开内积:
(在实数域上 。)
比较两式:
因此 。
注:这个结果说明,柯西-施瓦兹不等式 等价于 ,这是三角学中最基本的不等式。
习题 26/27:极化恒等式
习题 26(实数域)
设 是实内积空间。证明: 对所有 成立。
查看解答
展开分子:
(在实数域上,,所以 。)
两式相减:
因此 。
习题 27(复数域)
设 是复内积空间。证明: 对所有 成立。
查看解答
分别展开四个范数的平方:
计算各项贡献:
两式相加:
因此 。
习题 28:平行四边形等式 内积
习题 28
设 是向量空间 上的范数(满足非负定性、齐次性 和三角不等式)。证明:若 满足平行四边形等式 对所有 成立,则 上存在内积 使得 对所有 成立。
查看解答
构造内积:利用极化恒等式的逆过程定义 (先处理实数域 的情况。)
验证内积公理:
对称性:(因为 )。
正性:,且等于零当且仅当 。
第一位置可加性(关键步骤):需要证明 。利用平行四边形等式,设 , ,则 类似地,设 , : 两式相减并除以 4,利用范数齐次性 ,整理可得
第一位置齐次性:先由可加性用数学归纳法证明 ()。再证 (由 )。对有理数 ,。对实数 ,取有理数列 ,利用范数的连续性取极限即得 。
复数域的处理:对 ,使用复极化恒等式(习题 27)定义内积,验证方法类似。
九、视频学习指南
视频资源
暂无对应视频。