第三章 多维随机变量及其分布 — 章节汇总

全章概览

本章将随机变量从一维推广到多维,核心是从联合分布出发,研究多个随机变量之间的概率结构。全章围绕”联合→边际→条件”三条主线展开:先建立联合分布函数、联合分布列和联合密度函数的统一框架(§3.1),再讨论边际分布独立性(§3.2),然后研究多维随机变量函数的分布(§3.3),接着引入协方差相关系数刻画变量间的线性关联(§3.4),最后建立条件分布条件期望的完整理论(§3.5)。

全章逻辑主线:联合分布(整体描述)→ 边际分布与独立性(分解与简化)→ 函数的分布(变换工具)→ 数字特征(关联度量)→ 条件分布与条件期望(信息更新)


一、全章知识框架

graph TB
    A[第三章 多维随机变量及其分布] --> B[§3.1 联合分布]
    A --> C[§3.2 边际分布与独立性]
    A --> D[§3.3 函数的分布]
    A --> E[§3.4 特征数]
    A --> F[§3.5 条件分布与条件期望]

    B --> B1[联合分布函数]
    B --> B2[联合分布列]
    B --> B3[联合密度函数]
    B --> B4[多项分布]
    B --> B5[二维正态分布]

    C --> C1[边际分布函数]
    C --> C2[边际PMF与PDF]
    C --> C3[独立性判别]

    D --> D1[卷积公式]
    D --> D2[变量变换法]
    D --> D3[最大最小值分布]
    D --> D4[分布可加性]

    E --> E1[协方差]
    E --> E2[相关系数]
    E --> E3[方差展开]
    E --> E4[n维正态分布]

    F --> F1[条件分布律]
    F --> F2[条件密度]
    F --> F3[条件期望]
    F --> F4[全期望与全方差]

    B --> C
    C --> D
    B --> E
    B --> F
    E --> F

二、核心知识点与公式汇总

§3.1 多维随机变量及其联合分布

本节建立多维随机变量的基本框架。联合分布函数 是统一描述离散型和连续型多维随机变量的核心工具。二维正态分布多项分布是两个最重要的多维分布模型。

编号类型名称内容
3.1.1定义联合分布函数,关于每个变量单调不减、右连续
3.1.2定义联合分布列离散型:
3.1.3定义联合密度函数连续型:
3.1.4定义多项分布
3.1.5定义二维均匀分布区域 上的均匀分布:
3.1.6定义二维正态分布,五个参数完全确定分布
3.1.7定义边缘分布函数
3.1.8定义边缘密度函数
编号类型名称内容
3.1.T1定理边缘密度公式连续型:
3.1.T2定理边缘分布列公式离散型:
3.1.T3定理联合→边缘唯一性联合分布唯一确定边缘分布,但边缘分布一般不能唯一确定联合分布
3.1.T4定理二维正态边缘分布 时,

核心公式


§3.2 边际分布与随机变量的独立性

边际分布是从联合分布中提取单个变量信息的过程。独立性是概率论中最重要的概念之一——当 独立时,联合分布等于边际分布的乘积,多维问题可以完全分解为一维问题。独立性有三种等价判别方法:分布函数法、密度函数法和因子分解法。

编号类型名称内容
3.2.1定义边际分布函数
3.2.2定义边际PMF离散型:
3.2.3定义边际PDF连续型:
3.2.4定义独立性(分布函数法) 独立
3.2.5定义独立性(密度函数法)连续型独立
3.2.6定义独立性(因子分解法),且支撑集为矩形区域
3.2.7定义多维独立性 相互独立
3.2.8定义函数独立性 独立,则 独立
编号类型名称内容
3.2.T1定理独立性充要条件 独立 联合分布等于边际分布的乘积(三种等价形式)
3.2.T2定理二维正态独立性 时,
3.2.T3定理函数独立性 独立 对任意可测函数

核心公式


§3.3 多维随机变量函数的分布

本节解决核心问题:已知 的联合分布,如何求 的分布?卷积公式是求 密度的基本工具;变量变换法(雅可比行列式)是处理多维变换的一般方法。分布的可加性(泊松、二项、正态、伽马)是重要的理论结论。

编号类型名称内容
3.3.1定义离散函数分布
3.3.2定义最大值分布(独立时)
3.3.3定义最小值分布(独立时)
3.3.4定义卷积公式(独立连续型
3.3.5定义变量变换法(雅可比),$p_{UV}(u,v) = p_{XY}(x(u,v), y(u,v)) \cdot
编号类型名称内容
3.3.T1定理泊松可加性 独立
3.3.T2定理二项可加性 独立
3.3.T3定理正态可加性 独立
3.3.T4定理伽马可加性 独立
3.3.T5定理卡方构造 独立,则
3.3.T6定理变量变换法一一变换 时,$p_{UV}(u,v) = p_{XY}(x,y)

核心公式


§3.4 多维随机变量的特征数

协方差 度量两个随机变量的线性关联方向和强度。相关系数 是标准化后的协方差,满足 当且仅当 以概率1呈线性关系。n维正态分布是正态分布向多维的自然推广,其线性变换仍为正态分布。

编号类型名称内容
3.4.1定义函数期望(多维LOTUS)
3.4.2定义协方差
3.4.3定义方差展开
3.4.4定义相关系数,$
3.4.5定义n维正态分布,由均值向量 和协方差矩阵 完全确定
编号类型名称内容
3.4.T1定理期望线性性,不要求独立性
3.4.T2定理独立乘积期望,进而
3.4.T3定理独立方差可加
3.4.T4定理协方差性质
3.4.T5定理柯西-施瓦茨不等式,等号当且仅当 线性相关
3.4.T6定理 充要条件$
3.4.T7定理不相关与独立独立 不相关(),反之不成立(二维正态除外)
3.4.T8定理n维正态线性变换,则
3.4.T9定理n维正态分量独立性n维正态的分量独立 协方差矩阵为对角阵 分量两两不相关
3.4.T10定理n维正态边缘分布n维正态的任何边缘分布(子向量)仍为正态分布

核心公式


§3.5 条件分布与条件期望

条件分布是条件概率在随机变量上的推广,描述在已知一个变量取值后另一个变量的概率规律。条件期望 是条件分布的期望,是一个关于 的函数(随机变量)。全期望公式 全方差公式是连接条件与边际的桥梁,在马尔可夫链、贝叶斯统计等领域有广泛应用。

编号类型名称内容
3.5.1定义条件分布律离散型:
3.5.2定义条件密度函数连续型:
3.5.3定义条件期望 是关于 的随机变量
3.5.4定义条件方差$\text{Var}(X \mid Y) = E[(X - E(X
编号类型名称内容
3.5.T1定理贝叶斯公式(密度形式)
3.5.T2定理正态条件分布 时,
3.5.T3定理条件期望线性性
3.5.T4定理全期望公式,即先对条件求期望再对条件变量求期望
3.5.T5定理随机和的期望 独立, 同分布)
3.5.T6定理全方差公式

核心公式


三、章节学习脉络

§3.1 多维随机变量及其联合分布

本节是第三章的起点,将一维随机变量的分布理论推广到多维情形。核心思想是用联合分布函数 统一描述两个随机变量的概率规律——它包含了关于 的所有概率信息。对于离散型使用联合分布列(如多项分布),对于连续型使用联合密度函数。二维正态分布 是最重要的连续多维分布,其五个参数各有明确含义。本节还引入了边缘分布的概念,揭示了联合分布与单个变量分布之间的关系,为后续的独立性讨论和条件分布奠定基础。

§3.2 边际分布与随机变量的独立性

本节深入探讨联合分布与边际分布之间的关系。核心结论是:联合分布唯一确定边际分布,但边际分布一般不能唯一确定联合分布——除非两个变量独立。独立性意味着联合分布等于边际分布的乘积,这使得多维问题可以完全分解为一维问题。独立性有三种等价判别方法(分布函数法、密度函数法、因子分解法),需要根据具体场景灵活选用。一个重要结论是:二维正态分布中 ,这是正态分布独有的优良性质。需要注意”不相关”()与”独立”的区别——不相关只意味着没有线性关联,而独立意味着没有任何关联。

§3.3 多维随机变量函数的分布

本节解决的核心问题是:已知 的联合分布,如何求 的分布?当 独立时,卷积公式是求 密度的基本工具;变量变换法(雅可比行列式)则适用于更一般的一一变换情形。最大值和最小值的分布在可靠性工程中有重要应用。本节的理论高潮是分布的可加性——泊松分布、二项分布、正态分布和伽马分布在独立和下保持分布族不变,这些结论在后续的统计推断中反复出现。卡方分布 作为 个独立标准正态变量平方和的分布,是连接正态分布与统计推断的桥梁。

§3.4 多维随机变量的特征数

本节将一维的期望和方差推广到多维,引入协方差相关系数来刻画两个变量之间的线性关联。协方差的计算公式 在实际应用中最为常用。方差展开公式 是第二章方差性质的自然推广——当 时退化为可加性。相关系数 当且仅当 以概率1呈线性关系。n维正态分布 是本节的理论高峰——其线性变换仍为正态分布,分量独立等价于两两不相关,这些优良性质使得正态分布在多元统计分析中处于核心地位。

§3.5 条件分布与条件期望

本节是第三章的理论高峰,建立了条件分布与条件期望的完整理论。条件密度 是条件概率的连续版本,它描述了在已知 的概率规律。条件期望 不仅是 的函数,还是一个随机变量——这一双重身份是理解全期望公式和全方差公式的关键。全期望公式 是全概率公式的期望版本,全方差公式 将总方差分解为”组内方差的期望”和”组间方差”两部分。正态分布的条件分布仍为正态,且条件期望是 的线性函数,条件方差与 无关——这些性质在回归分析和贝叶斯推断中有重要应用。


四、补充理解与跨章展望

全章核心思想

本章的核心思想可以概括为三个层次:

  1. 描述层:用联合分布函数、联合分布列和联合密度函数统一描述多维随机变量的概率规律,实现从”一维”到”多维”的推广
  2. 特征层:用协方差和相关系数等数字特征概括多维分布中变量间的关联信息,实现从”联合分布函数”到”关键数字”的降维
  3. 变换层:通过条件分布与条件期望建立变量间的信息传递机制,全期望公式和全方差公式是连接”整体”与”局部”的桥梁

跨章关联表

关联方向章节关联内容
前置第二章 随机变量及其分布一维分布→联合分布,期望方差→协方差相关系数,函数的分布→多维函数的分布
前置第一章 事件与概率条件概率→条件分布,全概率公式→全期望公式,贝叶斯公式→贝叶斯密度形式
后续大数定律与中心极限定理多维正态→联合极限分布,协方差→协方差矩阵的渐近性质
后续统计推断(参数估计、假设检验)二维正态→回归分析,分布→拟合优度检验,条件期望→贝叶斯估计
后续马尔可夫链与随机过程条件分布→转移概率,全期望公式→条件期望的鞅性质

全章学习建议

  1. 联合分布是起点:所有多维问题的分析都从联合分布出发。掌握联合分布→边际分布、联合分布→条件分布这两条分解路径,是理解本章内容的基础
  2. 独立性的三重判别:独立性是简化多维问题的关键。熟练掌握分布函数法、密度函数法和因子分解法三种判别方式,特别注意”不相关”与”独立”的区别
  3. 全期望公式是核心:全期望公式 和全方差公式是本章最重要的理论工具。理解条件期望作为随机变量的双重身份,掌握分层思考(先条件后边际)的分析方法

五、全章复习题

§3.1+§3.2 联合分布与边际分布基础

复习题 1 — 联合密度与边际密度

的联合密度为 。(1)求常数 ;(2)求边际密度 ;(3)判断 是否独立。

查看解答

(1)求常数

因此

(2)边际密度

(3)独立性判别

对一切 成立,且支撑集为矩形区域 ,因此


§3.2 独立性判别

复习题 2 — 独立性判别

的联合密度为 。判断 是否独立,并说明理由。

查看解答

求边际密度

判别独立性

,显然

另一种判别方式:支撑集 是三角形区域,不是矩形区域,因此 不独立。

结论 不独立。


§3.3 卷积公式求 的密度

复习题 3 — 卷积公式应用

独立。用卷积公式求 的密度函数,并指出 服从的分布。

查看解答

的密度分别为 ),)。

由卷积公式:

被积函数非零的条件:,即 。因此当 时:

这正是 (参数 的伽马分布)的密度函数。

结论,即两个独立的 之和服从 ,验证了伽马分布的可加性。


§3.4 协方差与相关系数计算

复习题 4 — 协方差与相关系数

的联合密度为 (单位圆上的均匀分布)。求 ,并判断 是否独立。

查看解答

由对称性,

被积函数 关于 (或 )是奇函数,积分区域关于 (和 )对称,因此

求协方差

求相关系数

独立性判别

虽然 (不相关),但 不独立。因为联合支撑集是单位圆(非矩形区域),且边际密度 ),而

结论(不相关),但 不独立。这展示了”不相关不等于独立”的经典反例。


§3.4+§3.5 全期望公式应用

复习题 5 — 全期望公式

设某商店每天到达的顾客数 ,每位顾客的消费额 独立同分布,,且 独立。设 为日总营业额。利用全期望公式和全方差公式求

查看解答

:利用全期望公式(随机和的期望):

给定 时,

因此 ,进而:

:利用全方差公式:

给定 时:

因此:

结论。这一结果在排队论和保险精算中有广泛应用。


综合应用

复习题 6 — 二维正态分布的性质

。(1)求 的条件分布;(2)求 ;(3)求

查看解答

已知 ,即

(1)条件分布

由正态条件分布公式:

代入

因此

(2)求

由正态可加性, 仍为正态分布。

因此 ,标准化

(3)协方差与相关系数


六、各节笔记索引

节号节标题核心主题误区数习题数
3.13.1 多维随机变量及其联合分布联合分布、多项分布、二维正态410
3.23.2 边际分布与随机变量的独立性边际分布、独立性判别、函数独立性410
3.33.3 多维随机变量函数的分布卷积公式、变量变换法、分布可加性510
3.43.4 多维随机变量的特征数协方差、相关系数、n维正态510
3.53.5 条件分布与条件期望条件分布、全期望公式、全方差公式410

第三章 多维随机变量及其分布/章节汇总