第三章 多维随机变量及其分布 — 章节汇总
全章概览
本章将随机变量从一维推广到多维,核心是从联合分布出发,研究多个随机变量之间的概率结构。全章围绕”联合→边际→条件”三条主线展开:先建立联合分布函数、联合分布列和联合密度函数的统一框架(§3.1),再讨论边际分布与独立性(§3.2),然后研究多维随机变量函数的分布(§3.3),接着引入协方差和相关系数刻画变量间的线性关联(§3.4),最后建立条件分布与条件期望的完整理论(§3.5)。
全章逻辑主线:联合分布(整体描述)→ 边际分布与独立性(分解与简化)→ 函数的分布(变换工具)→ 数字特征(关联度量)→ 条件分布与条件期望(信息更新)
一、全章知识框架
graph TB A[第三章 多维随机变量及其分布] --> B[§3.1 联合分布] A --> C[§3.2 边际分布与独立性] A --> D[§3.3 函数的分布] A --> E[§3.4 特征数] A --> F[§3.5 条件分布与条件期望] B --> B1[联合分布函数] B --> B2[联合分布列] B --> B3[联合密度函数] B --> B4[多项分布] B --> B5[二维正态分布] C --> C1[边际分布函数] C --> C2[边际PMF与PDF] C --> C3[独立性判别] D --> D1[卷积公式] D --> D2[变量变换法] D --> D3[最大最小值分布] D --> D4[分布可加性] E --> E1[协方差] E --> E2[相关系数] E --> E3[方差展开] E --> E4[n维正态分布] F --> F1[条件分布律] F --> F2[条件密度] F --> F3[条件期望] F --> F4[全期望与全方差] B --> C C --> D B --> E B --> F E --> F
二、核心知识点与公式汇总
§3.1 多维随机变量及其联合分布
本节建立多维随机变量的基本框架。联合分布函数 是统一描述离散型和连续型多维随机变量的核心工具。二维正态分布和多项分布是两个最重要的多维分布模型。
| 编号 | 类型 | 名称 | 内容 |
|---|---|---|---|
| 3.1.1 | 定义 | 联合分布函数 | ,关于每个变量单调不减、右连续 |
| 3.1.2 | 定义 | 联合分布列 | 离散型:, |
| 3.1.3 | 定义 | 联合密度函数 | 连续型:,, |
| 3.1.4 | 定义 | 多项分布 | , |
| 3.1.5 | 定义 | 二维均匀分布 | 区域 上的均匀分布:, |
| 3.1.6 | 定义 | 二维正态分布 | ,五个参数完全确定分布 |
| 3.1.7 | 定义 | 边缘分布函数 | , |
| 3.1.8 | 定义 | 边缘密度函数 | , |
| 编号 | 类型 | 名称 | 内容 |
|---|---|---|---|
| 3.1.T1 | 定理 | 边缘密度公式 | 连续型: |
| 3.1.T2 | 定理 | 边缘分布列公式 | 离散型: |
| 3.1.T3 | 定理 | 联合→边缘唯一性 | 联合分布唯一确定边缘分布,但边缘分布一般不能唯一确定联合分布 |
| 3.1.T4 | 定理 | 二维正态边缘分布 | 时,, |
核心公式:
§3.2 边际分布与随机变量的独立性
边际分布是从联合分布中提取单个变量信息的过程。独立性是概率论中最重要的概念之一——当 与 独立时,联合分布等于边际分布的乘积,多维问题可以完全分解为一维问题。独立性有三种等价判别方法:分布函数法、密度函数法和因子分解法。
| 编号 | 类型 | 名称 | 内容 |
|---|---|---|---|
| 3.2.1 | 定义 | 边际分布函数 | , |
| 3.2.2 | 定义 | 边际PMF | 离散型: |
| 3.2.3 | 定义 | 边际PDF | 连续型: |
| 3.2.4 | 定义 | 独立性(分布函数法) | 与 独立 , |
| 3.2.5 | 定义 | 独立性(密度函数法) | 连续型独立 , |
| 3.2.6 | 定义 | 独立性(因子分解法) | ,且支撑集为矩形区域 |
| 3.2.7 | 定义 | 多维独立性 | 相互独立 |
| 3.2.8 | 定义 | 函数独立性 | 若 独立,则 与 独立 |
| 编号 | 类型 | 名称 | 内容 |
|---|---|---|---|
| 3.2.T1 | 定理 | 独立性充要条件 | 独立 联合分布等于边际分布的乘积(三种等价形式) |
| 3.2.T2 | 定理 | 二维正态独立性 | 时, |
| 3.2.T3 | 定理 | 函数独立性 | 独立 对任意可测函数 , |
核心公式:
§3.3 多维随机变量函数的分布
本节解决核心问题:已知 的联合分布,如何求 的分布?卷积公式是求 密度的基本工具;变量变换法(雅可比行列式)是处理多维变换的一般方法。分布的可加性(泊松、二项、正态、伽马)是重要的理论结论。
| 编号 | 类型 | 名称 | 内容 |
|---|---|---|---|
| 3.3.1 | 定义 | 离散函数分布 | |
| 3.3.2 | 定义 | 最大值分布 | ,(独立时) |
| 3.3.3 | 定义 | 最小值分布 | ,(独立时) |
| 3.3.4 | 定义 | 卷积公式 | (独立连续型 ) |
| 3.3.5 | 定义 | 变量变换法(雅可比) | ,$p_{UV}(u,v) = p_{XY}(x(u,v), y(u,v)) \cdot |
| 编号 | 类型 | 名称 | 内容 |
|---|---|---|---|
| 3.3.T1 | 定理 | 泊松可加性 | , 独立 |
| 3.3.T2 | 定理 | 二项可加性 | , 独立 |
| 3.3.T3 | 定理 | 正态可加性 | , 独立 |
| 3.3.T4 | 定理 | 伽马可加性 | , 独立 |
| 3.3.T5 | 定理 | 卡方构造 | 独立,则 |
| 3.3.T6 | 定理 | 变量变换法 | 一一变换 时,$p_{UV}(u,v) = p_{XY}(x,y) |
核心公式:
§3.4 多维随机变量的特征数
协方差 度量两个随机变量的线性关联方向和强度。相关系数 是标准化后的协方差,满足 , 当且仅当 与 以概率1呈线性关系。n维正态分布是正态分布向多维的自然推广,其线性变换仍为正态分布。
| 编号 | 类型 | 名称 | 内容 |
|---|---|---|---|
| 3.4.1 | 定义 | 函数期望(多维LOTUS) | |
| 3.4.2 | 定义 | 协方差 | |
| 3.4.3 | 定义 | 方差展开 | |
| 3.4.4 | 定义 | 相关系数 | ,$ |
| 3.4.5 | 定义 | n维正态分布 | ,由均值向量 和协方差矩阵 完全确定 |
| 编号 | 类型 | 名称 | 内容 |
|---|---|---|---|
| 3.4.T1 | 定理 | 期望线性性 | ,不要求独立性 |
| 3.4.T2 | 定理 | 独立乘积期望 | ,进而 |
| 3.4.T3 | 定理 | 独立方差可加 | |
| 3.4.T4 | 定理 | 协方差性质 | ; |
| 3.4.T5 | 定理 | 柯西-施瓦茨不等式 | ,等号当且仅当 与 线性相关 |
| 3.4.T6 | 定理 | 充要条件 | $ |
| 3.4.T7 | 定理 | 不相关与独立 | 独立 不相关(),反之不成立(二维正态除外) |
| 3.4.T8 | 定理 | n维正态线性变换 | ,,则 |
| 3.4.T9 | 定理 | n维正态分量独立性 | n维正态的分量独立 协方差矩阵为对角阵 分量两两不相关 |
| 3.4.T10 | 定理 | n维正态边缘分布 | n维正态的任何边缘分布(子向量)仍为正态分布 |
核心公式:
§3.5 条件分布与条件期望
条件分布是条件概率在随机变量上的推广,描述在已知一个变量取值后另一个变量的概率规律。条件期望 是条件分布的期望,是一个关于 的函数(随机变量)。全期望公式 和全方差公式是连接条件与边际的桥梁,在马尔可夫链、贝叶斯统计等领域有广泛应用。
| 编号 | 类型 | 名称 | 内容 |
|---|---|---|---|
| 3.5.1 | 定义 | 条件分布律 | 离散型:, |
| 3.5.2 | 定义 | 条件密度函数 | 连续型:, |
| 3.5.3 | 定义 | 条件期望 | ; 是关于 的随机变量 |
| 3.5.4 | 定义 | 条件方差 | $\text{Var}(X \mid Y) = E[(X - E(X |
| 编号 | 类型 | 名称 | 内容 |
|---|---|---|---|
| 3.5.T1 | 定理 | 贝叶斯公式(密度形式) | |
| 3.5.T2 | 定理 | 正态条件分布 | 时, |
| 3.5.T3 | 定理 | 条件期望线性性 | |
| 3.5.T4 | 定理 | 全期望公式 | ,即先对条件求期望再对条件变量求期望 |
| 3.5.T5 | 定理 | 随机和的期望 | ( 与 独立, 同分布) |
| 3.5.T6 | 定理 | 全方差公式 |
核心公式:
三、章节学习脉络
§3.1 多维随机变量及其联合分布
本节是第三章的起点,将一维随机变量的分布理论推广到多维情形。核心思想是用联合分布函数 统一描述两个随机变量的概率规律——它包含了关于 的所有概率信息。对于离散型使用联合分布列(如多项分布),对于连续型使用联合密度函数。二维正态分布 是最重要的连续多维分布,其五个参数各有明确含义。本节还引入了边缘分布的概念,揭示了联合分布与单个变量分布之间的关系,为后续的独立性讨论和条件分布奠定基础。
§3.2 边际分布与随机变量的独立性
本节深入探讨联合分布与边际分布之间的关系。核心结论是:联合分布唯一确定边际分布,但边际分布一般不能唯一确定联合分布——除非两个变量独立。独立性意味着联合分布等于边际分布的乘积,这使得多维问题可以完全分解为一维问题。独立性有三种等价判别方法(分布函数法、密度函数法、因子分解法),需要根据具体场景灵活选用。一个重要结论是:二维正态分布中 ,这是正态分布独有的优良性质。需要注意”不相关”()与”独立”的区别——不相关只意味着没有线性关联,而独立意味着没有任何关联。
§3.3 多维随机变量函数的分布
本节解决的核心问题是:已知 的联合分布,如何求 的分布?当 与 独立时,卷积公式是求 密度的基本工具;变量变换法(雅可比行列式)则适用于更一般的一一变换情形。最大值和最小值的分布在可靠性工程中有重要应用。本节的理论高潮是分布的可加性——泊松分布、二项分布、正态分布和伽马分布在独立和下保持分布族不变,这些结论在后续的统计推断中反复出现。卡方分布 作为 个独立标准正态变量平方和的分布,是连接正态分布与统计推断的桥梁。
§3.4 多维随机变量的特征数
本节将一维的期望和方差推广到多维,引入协方差和相关系数来刻画两个变量之间的线性关联。协方差的计算公式 在实际应用中最为常用。方差展开公式 是第二章方差性质的自然推广——当 时退化为可加性。相关系数 , 当且仅当 与 以概率1呈线性关系。n维正态分布 是本节的理论高峰——其线性变换仍为正态分布,分量独立等价于两两不相关,这些优良性质使得正态分布在多元统计分析中处于核心地位。
§3.5 条件分布与条件期望
本节是第三章的理论高峰,建立了条件分布与条件期望的完整理论。条件密度 是条件概率的连续版本,它描述了在已知 后 的概率规律。条件期望 不仅是 的函数,还是一个随机变量——这一双重身份是理解全期望公式和全方差公式的关键。全期望公式 是全概率公式的期望版本,全方差公式 将总方差分解为”组内方差的期望”和”组间方差”两部分。正态分布的条件分布仍为正态,且条件期望是 的线性函数,条件方差与 无关——这些性质在回归分析和贝叶斯推断中有重要应用。
四、补充理解与跨章展望
全章核心思想
本章的核心思想可以概括为三个层次:
- 描述层:用联合分布函数、联合分布列和联合密度函数统一描述多维随机变量的概率规律,实现从”一维”到”多维”的推广
- 特征层:用协方差和相关系数等数字特征概括多维分布中变量间的关联信息,实现从”联合分布函数”到”关键数字”的降维
- 变换层:通过条件分布与条件期望建立变量间的信息传递机制,全期望公式和全方差公式是连接”整体”与”局部”的桥梁
跨章关联表
| 关联方向 | 章节 | 关联内容 |
|---|---|---|
| 前置 | 第二章 随机变量及其分布 | 一维分布→联合分布,期望方差→协方差相关系数,函数的分布→多维函数的分布 |
| 前置 | 第一章 事件与概率 | 条件概率→条件分布,全概率公式→全期望公式,贝叶斯公式→贝叶斯密度形式 |
| 后续 | 大数定律与中心极限定理 | 多维正态→联合极限分布,协方差→协方差矩阵的渐近性质 |
| 后续 | 统计推断(参数估计、假设检验) | 二维正态→回归分析,分布→拟合优度检验,条件期望→贝叶斯估计 |
| 后续 | 马尔可夫链与随机过程 | 条件分布→转移概率,全期望公式→条件期望的鞅性质 |
全章学习建议
- 联合分布是起点:所有多维问题的分析都从联合分布出发。掌握联合分布→边际分布、联合分布→条件分布这两条分解路径,是理解本章内容的基础
- 独立性的三重判别:独立性是简化多维问题的关键。熟练掌握分布函数法、密度函数法和因子分解法三种判别方式,特别注意”不相关”与”独立”的区别
- 全期望公式是核心:全期望公式 和全方差公式是本章最重要的理论工具。理解条件期望作为随机变量的双重身份,掌握分层思考(先条件后边际)的分析方法
五、全章复习题
§3.1+§3.2 联合分布与边际分布基础
复习题 1 — 联合密度与边际密度
设 的联合密度为 。(1)求常数 ;(2)求边际密度 和 ;(3)判断 与 是否独立。
查看解答
(1)求常数 :
因此 。
(2)边际密度:
(3)独立性判别:
对一切 成立,且支撑集为矩形区域 ,因此 。
§3.2 独立性判别
复习题 2 — 独立性判别
设 的联合密度为 。判断 与 是否独立,并说明理由。
查看解答
求边际密度:
判别独立性:
而 ,显然 。
另一种判别方式:支撑集 是三角形区域,不是矩形区域,因此 与 不独立。
结论: 与 不独立。
§3.3 卷积公式求 的密度
复习题 3 — 卷积公式应用
设 ,, 与 独立。用卷积公式求 的密度函数,并指出 服从的分布。
查看解答
与 的密度分别为 (),()。
由卷积公式:
被积函数非零的条件: 且 ,即 。因此当 时:
这正是 (参数 的伽马分布)的密度函数。
结论:,即两个独立的 之和服从 ,验证了伽马分布的可加性。
§3.4 协方差与相关系数计算
复习题 4 — 协方差与相关系数
设 的联合密度为 (单位圆上的均匀分布)。求 、、 和 ,并判断 与 是否独立。
查看解答
求 和 :
由对称性,。
求 :
被积函数 关于 (或 )是奇函数,积分区域关于 (和 )对称,因此 。
求协方差:
求相关系数:
独立性判别:
虽然 (不相关),但 与 不独立。因为联合支撑集是单位圆(非矩形区域),且边际密度 (),而 。
结论:(不相关),但 与 不独立。这展示了”不相关不等于独立”的经典反例。
§3.4+§3.5 全期望公式应用
复习题 5 — 全期望公式
设某商店每天到达的顾客数 ,每位顾客的消费额 独立同分布,,,且 与 独立。设 为日总营业额。利用全期望公式和全方差公式求 和 。
查看解答
求 :利用全期望公式(随机和的期望):
给定 时,。
因此 ,进而:
求 :利用全方差公式:
给定 时:
因此:
结论:,。这一结果在排队论和保险精算中有广泛应用。
综合应用
复习题 6 — 二维正态分布的性质
设 。(1)求 的条件分布;(2)求 ;(3)求 和 。
查看解答
已知 ,即 ,,,,。
(1)条件分布 :
由正态条件分布公式:
代入 :
因此 。
(2)求 :
由正态可加性, 仍为正态分布。
因此 ,标准化 。
(3)协方差与相关系数:
六、各节笔记索引
| 节号 | 节标题 | 核心主题 | 误区数 | 习题数 |
|---|---|---|---|---|
| 3.1 | 3.1 多维随机变量及其联合分布 | 联合分布、多项分布、二维正态 | 4 | 10 |
| 3.2 | 3.2 边际分布与随机变量的独立性 | 边际分布、独立性判别、函数独立性 | 4 | 10 |
| 3.3 | 3.3 多维随机变量函数的分布 | 卷积公式、变量变换法、分布可加性 | 5 | 10 |
| 3.4 | 3.4 多维随机变量的特征数 | 协方差、相关系数、n维正态 | 5 | 10 |
| 3.5 | 3.5 条件分布与条件期望 | 条件分布、全期望公式、全方差公式 | 4 | 10 |
第三章 多维随机变量及其分布/章节汇总