6A 内积和范数

本节概览

本节是第6章”内积空间”的开篇,从 中向量长度与角度的直观概念出发,抽象出内积的一般定义,进而导出范数正交柯西-施瓦兹不等式三角不等式平行四边形等式等核心工具。整个理论环环相扣:内积定义范数,内积定义正交,正交分解推出柯西-施瓦兹不等式,柯西-施瓦兹推出三角不等式。

逻辑链条:内积(定义 6.2) 范数(定义 6.7) 正交(定义 6.10) 正交分解(命题 6.13) 柯西-施瓦兹不等式(定理 6.14) 三角不等式(定理 6.17) 平行四边形等式(定理 6.21)。

前置依赖第4章 多项式(复数、复共轭 、绝对值 )、1B 向量空间的定义(向量空间、线性映射)、3F 对偶(对偶空间,习题 5 参考)。

核心主线:从欧几里得几何中的长度和角度出发,通过公理化方法建立适用于任意(实或复)向量空间的内积理论,最终得到数学中最重要的不等式之一——柯西-施瓦兹不等式。


一、内积的定义与基本性质

动机:从 的几何出发

在前五章中,我们研究了向量空间的代数结构——加法和标量乘法。但向量空间本身没有”长度”、“角度”、“垂直”这些几何概念。内积的引入正是为了在线性空间上赋予这些几何结构。

中的向量看成始于原点的箭头。向量 长度(范数)记作 。对 ,有 。推广到 ,定义 的范数为

范数本身不是线性的。为了把线性引入讨论,我们引入点积。

定义 6.1:点积(dot product)

点积记作 ,定义为 其中

点积满足以下性质:

  • 对所有
  • 当且仅当
  • 对固定的 ,映射 是线性的
  • 对所有

复数情况的考虑

为了将定义同时适用于实向量空间和复向量空间,需要考虑复数的情况。回忆 第4章 多项式 中的概念:

  • )的绝对值
  • 复共轭

对于 ,定义范数为 (需要绝对值以保证非负实数)。注意到

我们想将 视为 与自身的内积。于是 的内积应等于 。互换 的角色,上述表达式会被其复共轭替代。因此我们期望内积满足: 的内积等于 的内积的复共轭。

定义 6.2:内积(inner product)

上的内积是一个函数,它将 中元素构成的每个有序对 对应至一个数 ,并满足如下五条公理:

公理名称内容
1正性(positivity)对所有
2定性(definiteness) 当且仅当
3第一个位置上的可加性(additivity in first slot)对所有
4第一个位置上的齐次性(homogeneity in first slot)对所有
5共轭对称性(conjugate symmetry)对所有

为什么需要共轭对称性? 考虑 中的向量 。如果去掉共轭,直接要求对称性 ,用普通点积计算:

!这违反了定性公理。加上共轭后:

共轭对称性是复数域上保证正性的关键设计

物理学家的约定

大部分数学家把内积定义如上(线性在第一个位置)。许多物理学家使用的定义中,要求齐次性在第二个位置上成立,而不是第一个位置。

例 6.3:内积实例

(a) 欧几里得内积:对

(b) 加权内积:若 是正数,定义

(c) 连续函数积分内积:在 上的全体连续实值函数构成的向量空间上,

(d) 多项式积分内积:在 上,

(e) 多项式加权积分内积:在 上,

定义 6.4:内积空间(inner product space)

带有内积的向量空间称为内积空间

当称 是内积空间时,除非另有说明,均假设其上定义的内积是欧几里得内积。

记号 6.5

在本章剩余部分和下章中, 都指代 上的内积空间。

命题 6.6:内积的基本性质

是内积空间,则:

  • (a) 对每个固定的 ,将 对应到 的函数是 的线性映射。
  • (b) 对每个
  • (c) 对每个
  • (d) 对所有
  • (e) 对所有

证明思路

(a) 由内积定义中第一个位置上的可加性和齐次性直接可得。 (b) 每个线性映射都将 对应到 ,由 (a) 即得。 (c) 由共轭对称性和 (b):(d) 利用共轭对称性将第二位置的加法转到第一位置:(e) 类似地:

内积的 sesquilinear 结构

性质 (a) 和 (d)(e) 合在一起说明:内积对第一个变元是线性的,对第二个变元是共轭线性的(conjugate-linear)。这种结构称为 sesquilinear(一元半线性)。这是复内积空间最本质的结构特征。


二、范数与正交

范数

定义 6.7:范数(norm)

范数记作 ,定义为

例 6.8:范数实例

(a)(欧几里得内积),则

(b) 上的连续实值函数空间(内积如例 6.3(c))中,

命题 6.9:范数的基本性质

  • (a) 当且仅当
  • (b) 对所有

证明思路

(a) 由定性公理直接可得:(b) 先处理范数的平方:,两边开平方根即得。

核心技巧:"处理范数的平方"

命题 6.9(b) 的证明展示了一个普遍适用的道理:处理范数的平方通常比直接处理范数来得容易。因为 是一个内积,可以利用内积的所有性质(线性、共轭对称性等)来操作,最后再开方。

正交

定义 6.10:正交(orthogonal)

称两个向量 正交的,若

“orthogonal”一词来自希腊语”orthogonios”,意为”直角的”。在 中两个非零向量(在欧几里得内积下)正交,当且仅当它们之间夹角的余弦值为 0,即通常所说的两向量垂直。

命题 6.11:正交性和 0

(a) 中每个向量都正交。 (b) 中唯一与自身正交的向量。

证明思路

(a) 由命题 6.6(b),对每个 (b),则由定性公理得

定理 6.12:毕达哥拉斯定理(Pythagorean theorem)

。若 是正交的,那么

证明思路

[展开范数的平方] [利用内积的可加性完全展开] [正交性消去交叉项]:因为 (且 ):

毕达哥拉斯定理的推广

两两正交,则 。证明方法完全类似——展开内积后,所有交叉项都因正交性而消失。

正交分解

。我们想将 写成 的标量倍加上正交于 的向量 的形式。令 为一标量,则 。我们需要选取 使得 正交:

因此应取

命题 6.13:一种正交分解

,且 。取 。那么

证明思路

[验证正交性][分解式] 的定义直接可得。

正交分解的几何意义

正交分解将 分成两部分:

  • 方向上的投影分量(平行于
  • 正交分量(垂直于

正交分解是整个内积空间理论的枢纽。它直接导出柯西-施瓦兹不等式,而柯西-施瓦兹不等式又导出三角不等式。


三、柯西-施瓦兹不等式

定理 6.14:柯西-施瓦兹不等式(Cauchy-Schwarz inequality)

。那么 当且仅当 成标量倍数关系时,上述不等式取得等号。

证明思路

[情况 1:]:不等式两端都等于 ,成立。此时 成标量倍数关系。

[情况 2:]:利用正交分解 6.13,令 ,则

[毕达哥拉斯定理]:因为 推出 ),由定理 6.12:

[丢弃非负项]:因为

[整理并开方]:两边乘以 (正数),再开平方根:

[等号条件]:等号成立 ,即 的标量倍。

历史注记

1821 年,柯西(Cauchy, 1789-1857)证明了 中的版本。1859 年,布尼亚科夫斯基(Bunyakovsky, 1804-1889)证明了积分不等式版本。几十年后,施瓦兹(Schwarz, 1843-1921)发现了更一般的结论。柯西-施瓦兹不等式由此得名。

例 6.16:柯西-施瓦兹不等式实例

(a),则 这是将柯西-施瓦兹不等式应用于 中向量 的结果。

(b) 是定义在 上的连续实值函数,则 这是将柯西-施瓦兹不等式应用于例 6.3(c) 的积分内积的结果。


四、三角不等式与平行四边形等式

三角不等式

定理 6.17:三角不等式(triangle inequality)

。那么 该不等式取得等号,当且仅当 中任意一者是另一者的非负实数倍

证明思路

[展开范数的平方]

[转化为实部]:利用

[实部放缩],所以

[柯西-施瓦兹放缩],所以

[开方得证]:两边开平方根,

[等号条件]:等号成立 式 (6.18) 和 (6.19) 同时取等 。由柯西-施瓦兹等号条件, 成标量倍数关系;由 ,该标量必须是非负实数。

三角不等式 vs 柯西-施瓦兹的等号条件

柯西-施瓦兹不等式等号成立 标量倍数关系(标量可以是任意复数)。 三角不等式等号成立 非负实数倍关系(更严格)。 差别的原因:三角不等式的证明中多了一步 ,等号要求 是非负实数。

平行四边形等式

定理 6.21:平行四边形等式(parallelogram equality)

。那么

证明思路

[分别展开]

[两式相加,交叉项抵消]

平行四边形等式的深刻意义

几何解释:在平行四边形中,对角线的长度平方之和等于四条边的长度平方之和。

代数意义:平行四边形等式是内积空间的”指纹”。如果一个赋范空间满足平行四边形等式,那么它的范数一定来自某个内积(见习题 28)。反之亦然。因此,平行四边形等式是判断”范数是否来自内积”的充要条件


五、知识结构总览

graph TD
    A[内积 定义6.2 五条公理] --> B[范数 定义6.7]
    A --> C[正交 定义6.10]
    B --> D[毕达哥拉斯定理 定理6.12]
    C --> D
    C --> E[正交分解 命题6.13]
    E --> F[柯西-施瓦兹不等式 定理6.14]
    F --> G[三角不等式 定理6.17]
    A --> H[平行四边形等式 定理6.21]
    F --> I[极化恒等式 习题26-27]
    H --> I
    H --> J[平行四边形等式逆命题 习题28]

六、核心思想与证明技巧

核心思想

  1. 内积是几何的代数编码:五条公理精确地编码了”长度”和”角度”的基本性质,使得我们可以在任意(实或复)向量空间上进行欧几里得几何推理。
  2. 正交分解是枢纽:从正交分解出发推出柯西-施瓦兹不等式,从柯西-施瓦兹推出三角不等式。核心链条:内积 正交 正交分解 柯西-施瓦兹 三角不等式
  3. 柯西-施瓦兹不等式是基石:它是数学中最重要的不等式之一,连接了代数(内积)和几何(长度、角度),在几乎所有数学分支中都有应用。
  4. 平行四边形等式是内积空间的特征:它不仅是一个优美的等式,更是判断一个范数是否来自内积的充要条件。

证明技巧清单

  1. “处理范数的平方”技巧:涉及范数的证明中,先转化为 ,利用内积性质操作,最后再开方。这是本节最核心的技巧。
  2. 正交分解法:将向量分解为”投影分量 + 正交分量”,利用毕达哥拉斯定理消去交叉项。这是证明柯西-施瓦兹不等式的标准方法。
  3. 实部放缩法:在三角不等式的证明中,将 ,然后利用 放缩。
  4. 展开消去法:在平行四边形等式的证明中,展开两个范数的平方后交叉项恰好正负抵消。这种”展开后交叉项消去”的模式在内积空间中非常常见。
  5. 共轭对称性转换变元位置:当需要处理第二变元的性质时,先通过共轭对称性翻转到第一变元,利用已知的线性性质,再取共轭还原。

七、补充理解与易混淆点

内积的物理与几何直觉

中,内积有非常直观的几何意义:,其中 之间的夹角。这个公式告诉我们:

  • 时,,内积为零——两个向量正交(垂直)
  • 时,,内积最大——两个向量同向
  • 时,,内积最小——两个向量反向

从物理角度看,内积对应于的概念:力 沿位移 做的功为 。只有力在位移方向上的分量才做功,这与内积只”测量”一个向量在另一个向量方向上的投影是一致的。

在更一般的内积空间中(如函数空间),内积可以理解为”两个对象之间的相似度度量”。例如在积分内积 中,如果两条函数曲线在相同位置都大或都小,内积就大(正相似);如果一条大一条小,内积就小甚至为负(负相似);如果正负交替抵消,内积为零(正交/不相关)。

来源:Costin (Ohio State Math 5101) Inner Product Spaces and Orthogonality 讲义、Angenent (UW-Madison Math 341) Inner Product Spaces 讲义、Millson (UMD Math 405) Lecture 10: Inner Product Spaces 讲义。

柯西-施瓦兹不等式的广泛应用

柯西-施瓦兹不等式被誉为”数学中最重要的不等式之一”,其应用远超线性代数本身:

  • 概率论与统计学:在概率空间中,取内积为 ,柯西-施瓦兹不等式变为 。取 ,即得 ,这就是相关系数的绝对值不超过 1 的原因。

  • 信号处理:在 空间中,柯西-施瓦兹不等式给出积分形式的界,是能量不等式的基础。它保证了傅里叶级数的收敛性和各种正交展开的稳定性。

  • 机器学习:余弦相似度 直接来自柯西-施瓦兹不等式(保证了分母不为零时分式的绝对值不超过 1)。在自然语言处理和推荐系统中,余弦相似度是衡量向量相似性的标准工具。

  • 优化理论:柯西-施瓦兹不等式是证明各种极值结果的基础工具,例如在约束优化中确定目标函数的上界。

来源:Wikipedia “Cauchy-Schwarz inequality”、Roch (UW-Madison Math 535) Orthogonality in Data Science 讲义、UC Berkeley EE 16A Discussion 12 材料。

内积空间与希尔伯特空间

内积空间理论的一个自然推广是从有限维无限维。有限维内积空间(如 )具有良好的性质——每个柯西序列都收敛(完备性)。但在无限维空间中,这个性质不一定成立。

希尔伯特空间(Hilbert space)就是完备的内积空间——其中的每个柯西序列都收敛到空间内的一个元素。希尔伯特空间的概念由 David Hilbert 在其关于无穷多变量的二次型工作中提出,是欧几里得空间到无限维的最自然推广。

希尔伯特空间在现代物理学中占据核心地位。在量子力学中,系统的状态由希尔伯特空间中的向量(波函数)表示,可观测量由自伴算子表示,测量结果由内积的概率幅给出。具体来说,量子态 处于状态 的概率幅为 ,而概率为 ——这正是柯西-施瓦兹不等式保证其不超过 1 的原因。

常见的希尔伯特空间例子包括:

  • :区间 上平方可积函数构成的空间,内积为
  • :平方可和数列构成的空间,内积为

来源:Vadim (UT Austin Physics) Hilbert Spaces 讲义、Xiao (UChicago REU) Introduction to Hilbert Spaces and the Heisenberg Uncertainty Principle、Washington (Cornell Math 6210) A Brief Introduction to Hilbert Space、Stanford Encyclopedia of Philosophy “Quantum Theory and Mathematical Rigor”。

常见误区

误区 1:"内积一定是对称的"

❌ 错误认知: 总成立。 ✅ 正确理解:在实向量空间上确实如此(因为实数的共轭就是自身)。但在复向量空间上,内积满足的是共轭对称性。例如在 上,,但 ,两者相等只是巧合;一般地

来源:Dummit (Northeastern University) Linear Algebra Part 3: Inner Product Spaces 讲义、Donaldson (UC Irvine Math 121B) Inner Product Spaces 讲义。

误区 2:"内积在第二个位置是线性的"

❌ 错误认知:。 ✅ 正确理解:内积在第二个位置是共轭线性的(命题 6.6(e))。标量从第二个位置提出时需要取共轭。这是由共轭对称性和第一位置的线性共同推出的。物理学家的约定(线性在第二个位置)与数学家的约定恰好相反,阅读物理文献时需特别注意。

来源:Donaldson (UC Irvine Math 121B) Inner Product Spaces 讲义、Ximera (Ohio State) The Complex Scalar Product in 教程。

误区 3:"柯西-施瓦兹不等式中等号总是成立的"

❌ 错误认知: 对任意 都成立。 ✅ 正确理解:等号成立当且仅当 成标量倍数关系(即 ,包含 的情形)。对于一般的两个向量,严格不等式成立。例如在 中取 , ,则

来源:Wikipedia “Cauchy-Schwarz inequality”、Costin (Ohio State Math 5101) Inner Product Spaces 讲义。

误区 4:"所有范数都来自内积"

❌ 错误认知:任何满足非负性、齐次性和三角不等式的函数都是某个内积导出的范数。 ✅ 正确理解:只有满足平行四边形等式的范数才来自内积(习题 28)。例如 范数 范数 都不满足平行四边形等式,因此它们不来自任何内积。只有欧几里得范数 来自内积。

来源:Angenent (UW-Madison Math 341) Inner Product Spaces 讲义、Roch (UW-Madison Math 535) Orthogonality in Data Science 讲义。

误区 5:"正交分解只适用于二维空间"

❌ 错误认知:正交分解的几何图示只在 中有意义。 ✅ 正确理解:正交分解(命题 6.13)是任意内积空间中的代数工具,不依赖于空间的维数或几何直观。它同样适用于 、函数空间等。正交分解的代数证明完全不依赖几何图示,只使用了内积的基本性质。

来源:Costin (Ohio State Math 5101) Inner Product Spaces 讲义、Blomgren (SDSU Math 524) Inner Product Spaces 讲义。

误区 6:"三角不等式中等号条件与柯西-施瓦兹相同"

❌ 错误认知:三角不等式等号 成标量倍数关系。 ✅ 正确理解:三角不等式等号成立的条件更严格——要求 非负实数倍关系。柯西-施瓦兹等号只要求成标量倍(标量可以是任意复数)。差别的原因在于三角不等式的证明中多了一步 ,等号要求 是非负实数。例如在 中取 , :柯西-施瓦兹等号成立(),但三角不等式等号不成立()。

来源:Costin (Ohio State Math 5101) Inner Product Spaces 讲义、Angenent (UW-Madison Math 341) Inner Product Spaces 讲义。


八、习题精选

本节习题

以下习题选自 LADR 第四版 6A 节,涵盖内积验证、正交性、柯西-施瓦兹不等式应用、极化恒等式和平行四边形等式等核心考点。

习题号标题核心考点难度
2单射算子诱导内积内积定义验证、单射与定性
6正交的范数刻画正交 范数最小
8柯西-施瓦兹的应用不等式证明技巧
13均值不等式柯西-施瓦兹经典应用
15 中内积与夹角几何直觉、余弦定理
26/27极化恒等式内积的范数表示
28平行四边形等式 内积范数来自内积的充要条件

习题 2:单射算子诱导内积

习题 2

。定义 对所有 成立。证明: 上的内积,当且仅当 是单射。

习题 6:正交的范数刻画

习题 6

。证明: 对所有 都有

习题 8:柯西-施瓦兹的应用

习题 8

。证明:

习题 13:均值不等式

习题 13

证明:均值的平方小于或等于平方的均值。更准确地说,如果 ,那么 的均值的平方小于或等于 的均值。

习题 15: 中内积与夹角

习题 15

中的非零向量。证明: 其中 的夹角(将 视为从原点出发的箭头)。

习题 26/27:极化恒等式

习题 26(实数域)

是实内积空间。证明: 对所有 成立。

习题 27(复数域)

是复内积空间。证明: 对所有 成立。

习题 28:平行四边形等式 内积

习题 28

是向量空间 上的范数(满足非负定性、齐次性 和三角不等式)。证明:若 满足平行四边形等式 对所有 成立,则 上存在内积 使得 对所有 成立。


九、视频学习指南

视频资源

暂无对应视频。


十、教材原文

内积与范数