大数定律

概述

大数定律（Law of Large Numbers）描述的是：当独立同分布（或满足一定条件）的随机变量个数趋于无穷时，其算术平均值趋向于其数学期望。是概率论最核心的极限定理之一，也是统计推断的理论基础。

---

一、大数定律概述

直观含义

设 $X_1,X_2,\cdots$ 为独立随机变量序列，${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$。大数定律的核心结论是：

${\bar{X}}_n\stackrel{P}{\to }E({\bar{X}}_n)$

即当 $n$ 足够大时，样本均值 ${\bar{X}}_n$ 会以概率收敛到真实期望。

历史脉络

时期	人物	贡献
1713	雅各布·伯努利	伯努利大数定律（最早的大数定律）
1866	切比雪夫	切比雪夫不等式 → 切比雪夫大数定律
1897	马尔科夫	马尔科夫大数定律（最一般的形式）
1920s	辛钦	辛钦大数定律（弱大数定律的里程碑）
1930s	科尔莫哥洛夫	强大数定律的建立

---

二、大数定律的几种形式

1. 伯努利大数定律

伯努利大数定律

设 $n$ 次独立重复试验中，事件 $A$ 出现的次数为 $n\cdot \hat{p}$，则对任意 $\epsilon >0$： ${\lim }_{n\to \infty }P\left(\left|\frac{n\cdot \hat{p}}{n}-p\right|<\epsilon \right)=1$ 即频率依概率收敛于概率 $p$。

意义：从数学上严格证明了”频率稳定于概率”的直观想法。

---

2. 切比雪夫大数定律

切比雪夫大数定律

设 $\{X_n\}$ 为两两不相关的随机变量序列，且 $D(X_i)⩽C$（方差有界），则： ${\bar{X}}_n-E({\bar{X}}_n)\stackrel{P}{\to }0$ 即 \lim_{n \to \infty} P(|ar{X}_n - E(\bar{X}_n)| < \varepsilon) = 1。

条件：两两不相关 + 方差有界，比独立要求更弱。

---

3. 马尔科夫大数定律

马尔科夫大数定律

设 $\{X_n\}$ 为随机变量序列，满足 $\frac{1}{n^2}\mathrm{Var}\left({\sum }_{i=1}^n{X}_i\right)\to 0$（马尔科夫条件），则： ${\bar{X}}_n-E({\bar{X}}_n)\stackrel{P}{\to }0$

意义：马尔科夫条件是迄今最一般的大数定律条件。

---

4. 辛钦大数定律

辛钦大数定律（Khintchine LLN）

设 $\{X_n\}$ 为独立同分布的随机变量序列，且 $E(X_i)=\mu$ 存在有限，则： ${\bar{X}}_n\stackrel{P}{\to }\mu$

条件：独立同分布 + 数学期望存在（最简洁的条件）。

辛钦 vs 切比雪夫

• 辛钦：同分布，条件弱，只要求 $E(X_i)$ 存在
• 切比雪夫：非同分布，但要求方差有界

---

5. 科尔莫哥洛夫强大数定律

科尔莫哥洛夫强大数定律

设 $\{X_n\}$ 为独立随机变量序列，若 ${\sum }_{n=1}^{\infty }\frac{\mathrm{Var}(X_n)}{n^2}<\infty$，则： ${\bar{X}}_n-E({\bar{X}}_n)\stackrel{a.s.}{\to }0$ 即几乎处处收敛。

---

三、大数定律条件对比

定律	独立性	同分布	矩条件	收敛类型
伯努利	✅ 独立	—	—	依概率
切比雪夫	两两不相关	否	$\mathrm{Var}$ 有界	依概率
马尔科夫	独立	否	$\frac{1}{n^2}\mathrm{Var}\sum \to 0$	依概率
辛钦	独立同分布	✅	$E(X_i)$ 存在	依概率
科尔莫哥洛夫	独立	否	$\sum \mathrm{Var}/n^2<\infty$	几乎处处

---

四、大数定律与中心极限定理的关系

大数定律（LLN）          中心极限定理（CLT）
    ↓                        ↓
样本均值 → 常数         样本均值的标准化 → 正态分布
(收敛速度: O(1/n)?)      (收敛速度: O(1/√n)

两者是互补关系：

• 大数定律：描述 ${\bar{X}}_n$ 本身收敛到 $\mu$
• 中心极限定理：描述标准化后的 $\sqrt{n}({\bar{X}}_n-\mu )$ 的分布收敛到 $N(0,{\sigma }^2)$

---

五、应用场景

• 统计估计：样本均值是总体期望的相合估计（大数定律保证）
• 蒙特卡洛方法：用大量随机模拟逼近积分值（辛钦定律的理论依据）
• 保险精算：大量独立风险的总损失近似正态（大数定律 + CLT）
• 机器学习：经验风险最小化（大数定律保证经验风险趋于期望风险）

---

六、相关章节

• 第一章 随机事件与概率 — 章节汇总 — 概率基础（第1章）
• 第二章 随机变量及其分布 — 章节汇总 — 数学期望（第2章）
• 第四章 随机变量序列的极限定理 — 章节汇总 — 大数定律原文（第4章）
• 中心极限定理 — CLT 与 LLN 的互补关系
• 2.2 数学期望 — 大数定律的研究对象