4.4 中心极限定理

本节概览

本节系统建立中心极限定理(Central Limit Theorem, CLT)的理论体系。CLT是概率论中最重要的定理之一,它揭示了:大量独立随机因素的叠加结果,无论各因素服从什么分布,其标准化和的极限分布都是正态分布。这一结论深刻解释了正态分布在自然界和工程实践中广泛存在的原因。

逻辑链条:CLT概述 → 独立随机变量和的引例 → 林德伯格-列维CLT → 棣莫弗-拉普拉斯CLT → 正态近似与连续性修正 → 林德伯格条件与李雅普诺夫CLT → 林德伯格条件与李雅普诺夫CLT → Delta方法

前置依赖§4.1(依分布收敛)、§4.2(特征函数、连续性定理)、§4.3(大数定律)、§2.3(方差)

核心主线:从i.i.d.到独立不同分布,CLT体系的核心是”标准化和的极限分布为正态分布”。林德伯格-列维CLT处理i.i.d.情形,棣莫弗-拉普拉斯CLT是其二项分布特例,林德伯格条件与李雅普诺夫条件则推广到独立不同分布情形。


一、中心极限定理概述

直观含义

中心极限定理描述了一个惊人的事实:大量独立随机因素的叠加结果,无论每个因素本身服从什么分布,其标准化和的分布都会趋近于标准正态分布

生活化类比:加工误差的来源

假设要加工一根轴,其直径误差由大量微小独立因素叠加而成:

  • 机床振动(随机微小偏移)
  • 刀具磨损(随机微小变化)
  • 材料成分不均匀(随机微小差异)
  • 操作者情绪波动(随机微小影响)
  • 环境温度变化(随机微小膨胀/收缩)
  • 测量仪器精度(随机微小误差)

每个因素单独来看都微小、独立、随机,但它们的叠加效果却服从正态分布。这就是CLT的直观含义——正态分布是大量独立随机因素叠加的”自然归宿”。

与大数定律的区别

大数定律和CLT都研究独立随机变量和的极限行为,但回答的是完全不同的问题:

对比维度大数定律中心极限定理
核心问题”准不准”——均值是否收敛到期望?“波动像什么”——波动的分布是什么?
收敛对象(收敛到常数(收敛到分布
收敛类型依概率收敛依分布收敛
信息量只告诉你”最终稳定在 附近”进一步告诉你”波动的概率结构是正态的”
衰减速率不提供波动以 的速率衰减

关键理解:CLT比大数定律提供更丰富的信息。大数定律说 会稳定在 附近,CLT进一步量化了”附近”的具体含义——偏差 乘以 后近似服从

标准化思想

为了研究随机变量和 的极限分布,需要先进行标准化,消除分布中心的漂移和方差的膨胀:

标准化后的 满足 ,CLT研究的就是 的极限分布。


二、林德伯格-列维CLT

引例:误差分析

例 4.4.1 — 加工轴的误差分析

某车间加工一根轴,其总误差 由大量微小独立因素叠加而成:

其中每个 代表一个独立的误差因素(机床振动、刀具磨损、材料不均匀等)。虽然每个 的分布可能各不相同(有的均匀、有的偏态、有的离散),但根据CLT,当 充分大时,标准化后的总误差 的分布趋近于标准正态分布。

引例:均匀分布卷积

例 4.4.2 — 均匀分布卷积的密度演化

独立同分布,。考察 的密度函数随 的变化:

  • :在 上为常数 (均匀分布)
  • :在 上为三角形分布(两个均匀分布的卷积)
  • :在 上为二次曲线(三个均匀分布的卷积)
  • :在 上为三次曲线(四个均匀分布的卷积)

随着 增大, 的密度函数逐渐呈现”中间高、两边低、左右对称”的钟形曲线,趋近于正态分布 的密度函数。这一现象正是CLT的直观体现。

定理陈述

定理 4.4.1 — 林德伯格-列维中心极限定理(Lindeberg-Lévy CLT)

为独立同分布的随机变量序列,且 (有限),则对任意实数

其中 为标准正态分布的分布函数。即

理解要点

  • 条件:i.i.d. + 期望有限 + 方差有限且大于零
  • 结论:标准化和的极限分布为标准正态分布
  • 等价形式:,即
  • 大数定律的关系:CLT蕴含大数定律(依分布收敛到正态 ⇒ 依概率收敛到

证明(特征函数法)

证明(特征函数法)

证明

第一步:写出标准化和的特征函数。 的特征函数为 ,则标准化变量

由 i.i.d. 和特征函数的乘法性质(定理4.2.1(4)), 的特征函数为

(这里 的特征函数为 ,但更简洁的做法是直接对中心化变量 的特征函数做展开,见下一步。)

第二步:展开中心化变量的特征函数。(中心化),则 的特征函数为

处做 Taylor 展开(利用方差有限保证二阶导数存在):

逐项计算:

  • ,故 (因为
  • ,故

因此:

第三步:代入 并取 次幂。 注意 ,其特征函数为

第四步:取对数求极限。

利用 ,当 ,故

第五步:识别极限分布。 ,这正是标准正态分布 的特征函数。由Lévy连续性定理(极限函数 处连续),

应用:正态随机数的产生

例 4.4.3 — 正态随机数的产生

计算机通常只能直接产生均匀分布 的随机数。如何利用CLT产生近似标准正态分布的随机数?

独立同分布,,则

,则

由CLT, 近似服从 。这是一种简单实用的正态随机数生成方法(精度足够用于一般模拟)。

应用:数值计算中的误差分析

例 4.4.4 — 数值计算中的误差分析

在数值计算中,对 个数各作四舍五入,产生的取整误差

粗略估计(利用切比雪夫不等式):总误差

例如 。这个估计非常粗糙。

CLT估计:由CLT,,即

若要求 ,则

可见CLT估计比切比雪夫不等式精确得多。


三、棣莫弗-拉普拉斯CLT

棣莫弗-拉普拉斯CLT是林德伯格-列维CLT在二项分布场合下的特例,也是历史上最早被发现的中心极限定理(1733年)。

定理 4.4.2 — 棣莫弗-拉普拉斯中心极限定理(De Moivre-Laplace CLT)

重伯努利试验中事件 发生的次数,),,则对任意实数

理解要点

  • 这是定理4.4.1在 时的特例:
  • 正态近似的使用条件:当 时,正态近似效果较好
  • 接近 0 或 1 时(偏态严重),需要更大的 才能保证近似精度

证明

证明

第一步:建立二项分布的 i.i.d. 表示。 i.i.d.,,则 ,且

第二步:验证林德伯格-列维中心极限定理(Lindeberg-Lévy CLT)的条件。 i.i.d.,期望有限(),方差有限且大于零(),完全满足林德伯格-列维CLT的条件。

第三步:代入定理4.4.1的结论。 标准化和为

由定理4.4.1,,即对任意实数


四、正态近似与连续性修正

连续性修正的原理

二项分布是离散分布(只取非负整数值),而正态分布是连续分布。直接用正态分布近似二项分布时,需要引入连续性修正(continuity correction)来弥补离散与连续之间的差异。

连续性修正的直观理解

二项分布中, 对应正态密度曲线在 附近的一个”面积”。更准确地说,离散概率 应该对应连续正态分布在区间 上的面积(即概率)。

类比:如果把正态曲线想象成一座光滑的山丘,二项分布的每个概率值就像山丘上等间距的”柱子”。每根柱子的面积近似等于山丘在柱子左右各延伸0.5范围内的面积。

修正公式

点概率近似

方向规则

  • :用 (向右扩展0.5)
  • :用 (向左扩展0.5)
  • :用 (两端各扩展0.5)

三类计算问题

利用正态近似,可以解决三类典型问题:

类型已知方法
1(区间)(概率)直接代入正态近似公式
2(概率)(分位数)反查标准正态分布表
3(概率)(样本量)解不等式求最小

例题

例 4.4.5 — 部件可靠性问题(求概率)

某系统有100个部件,每个部件正常工作的概率为 ,各部件独立工作。求至少85个部件正常工作的概率。

:设 为正常工作的部件数,

验证正态近似条件:,满足。

使用连续性修正:

查表

例 4.4.6 — 药厂治愈率检验

某药厂声称其新药治愈率为 。现对200名患者进行试验。

情形一:实际治愈率确实为 。求治愈人数不超过150人的概率。

情形二:实际治愈率只有 。求治愈人数超过150人的概率。

这说明:如果实际治愈率为70%,观察到超过150人治愈的概率仅约5.26%,这是一个小概率事件,可以据此对药厂的声明提出质疑。

例 4.4.7 — 供电量问题(求分位数)

某车间有200台机床,每台机床工作时耗电10kW,每台机床独立工作,开工率为70%。问:供电量至少为多少kW,才能以95%的概率保证所有机床正常工作?

:设 为同时工作的机床数,

设供电量需支持 台机床同时工作,即供电量 kW。

要求 ,使用连续性修正:

查表 ,故

(向上取整),供电量至少为 kW。

(注:若不使用连续性修正,,取 ,结果相同。但当精度要求更高时,连续性修正的差异会更明显。)

例 4.4.8 — 收视率调查(求样本量)

某电视节目收视率调查,要求以90%的把握使调查结果与真实收视率的差异不超过5%。问至少需要调查多少户?

:设真实收视率为 ,调查 户中收看该节目的户数为

要求

等价于

由CLT,,使用连续性修正:

,查表

由于 未知,取 (此时 最大,得到最保守的估计):

,则 ,即

解得

,取

(注:若不使用连续性修正,,取 。此处连续性修正使结果更精确。)


五、林德伯格条件与李雅普诺夫CLT

独立不同分布的动机

林德伯格-列维CLT要求 独立同分布。但在实际应用中,诸 往往独立但不同分布。例如:

  • 不同精度的测量值取平均
  • 不同风险水平的保险索赔
  • 不同难度试题的得分之和

这就需要将CLT推广到独立不同分布的情形。

“均匀地小”的要求

为了让标准化和的极限分布仍然是正态分布,需要每个 对总和的贡献”均匀地小”——不能有某个 主导了整个和。数学上,这要求:

其中 。即对任意

林德伯格条件

条件 4.4.1 — 林德伯格条件(Lindeberg Condition)

为独立的随机变量序列,。若对任意

则称 满足林德伯格条件

理解要点

  • 林德伯格条件的直观含义:每个 偏离其均值超过 的”尾部贡献”在总方差中的占比趋于零
  • 这保证了没有单个 能主导总和的波动
  • 林德伯格条件蕴含”均匀地小”的要求

林德伯格CLT

定理 4.4.3 — 林德伯格中心极限定理

为独立的随机变量序列,若满足林德伯格条件,则对任意实数

即标准化和依分布收敛到

定理4.4.1是定理4.4.3的特例:当 i.i.d. 且方差有限时,林德伯格条件自动满足。

证明(i.i.d. 满足林德伯格条件)

证明:设 i.i.d.,,则

第一步:写出林德伯格条件的左端。 由于 i.i.d.,每个 的密度函数相同为 ,故

第二步:分析积分的极限行为。。当 时, 不断扩大(阈值 ),但

第三步:利用方差有限性。 由于

两个积分都非负,当 时第一个积分趋于 (因为积分区域趋于全空间),故第二个积分趋于

因此林德伯格条件的左端 ,条件满足。

故 i.i.d. + 方差有限 满足林德伯格条件 由林德伯格中心极限定理得到林德伯格-列维中心极限定理(Lindeberg-Lévy CLT)。

李雅普诺夫条件

林德伯格条件虽然是最一般的条件,但验证起来往往比较困难(需要知道每个 的分布)。李雅普诺夫提出了一个更容易验证的充分条件。

条件 4.4.2 — 李雅普诺夫条件(Lyapunov Condition)

为独立的随机变量序列,若存在 ,使得

则称 满足李雅普诺夫条件

定理 4.4.4 — 李雅普诺夫中心极限定理

为独立的随机变量序列,若满足李雅普诺夫条件,则标准化和依分布收敛到

李雅普诺夫条件蕴含林德伯格条件:利用切比雪夫不等式可以证明。简要说明:

证明(李雅普诺夫条件 林德伯格条件)

证明

第一步:在尾部区域建立不等式。 在林德伯格条件的积分区域 上,有

因此

第二步:逐项放缩。 对每个

(第二步放缩去掉了积分区域的限制,因为被积函数非负,扩大积分区域只会增大积分值。)

第三步:求和并除以

第四步:取极限。 右端正是李雅普诺夫条件(除以正常数 )。由李雅普诺夫条件成立(右端 ),左端也 ,即林德伯格条件成立。

例题

例 4.4.9 — 不等概率考试通过率

一份试卷有99道判断题,第 题答对的概率为 (题目越靠后越难)。设各题答对与否相互独立,求通过考试(答对至少60题)的概率。

:设 为第 题的得分(答对 ,答错 ),则

计算期望和方差:

验证李雅普诺夫条件(取 ):由于 ,因此

满足李雅普诺夫条件,可以应用CLT。

使用连续性修正:

通过考试的概率仅约0.71%,几乎不可能通过。这说明题目难度递增的设计使得通过率极低。


六、Delta方法

Delta方法是CLT的重要推广,它解决了”样本均值的函数的渐近分布”这一问题。

一阶Delta方法

定理 4.4.5 — 一阶Delta方法

,函数 处可导且 ,则

理解要点

  • Delta方法的本质是对 做 Taylor 展开,保留线性项
  • 渐近方差为 ,即”导数的平方乘以原始方差”
  • 前提 保证线性项是主导项

证明

证明

第一步:对 做 Taylor 展开。 处展开到一阶:

其中 介于 之间。由于 处可导,余项可以写成

第二步:确定余项的阶。 由条件 ,知 (依分布收敛意味着”有界概率”意义下的阶为 )。因此

第三步:两边乘以

第四步:应用 Slutsky 定理。 Slutsky 定理说:若 (常数),则

这里 。由 Slutsky 定理:

二阶Delta方法

时,一阶Delta方法失效(线性项消失),需要展开到二阶项。

二阶Delta方法

,函数 处二阶可导且 ,则

理解要点

  • 时,线性项消失,需要保留二阶项
  • 二阶项涉及 ,乘以 (因为 ,平方后
  • 极限分布是卡方分布而非正态分布,这是一个重要的区别

证明

证明

第一步:Taylor 展开到二阶。 处展开:

第二步:利用 消去线性项。

第三步:两边乘以 (注意不是 )。

由于 ,故 ,因此

第四步:分析主项的极限。,由条件 ,故 。而

第五步:应用 Slutsky 定理。

应用场景

Delta方法在统计学中有广泛应用:

  1. MLE的渐近正态性:若 的MLE,则 (Fisher信息矩阵的逆)。对 的MLE 应用Delta方法即可得到其渐近分布。

  2. 样本比例的函数:设 为样本比例,。则对 (logit变换),,由Delta方法:


七、知识结构总览

graph TD
    A["中心极限定理"] --> B["林德伯格列维CLT<br/>独立同分布"]
    A --> C["棣莫弗拉普拉斯CLT<br/>二项分布"]
    B --> D["正态近似<br/>连续性修正"]
    C --> D
    A --> E["林德伯格条件<br/>独立不同分布"]
    E --> F["李雅普诺夫条件<br/>矩条件"]
    B --> G["Delta方法<br/>函数的渐近分布"]
    style A fill:#f5f5f5,color:#424242
    style B fill:#e8f5e9,color:#2e7d32
    style C fill:#e8f5e9,color:#2e7d32
    style D fill:#fff3e0,color:#e65100
    style E fill:#e3f2fd,color:#1565c0
    style F fill:#e3f2fd,color:#1565c0
    style G fill:#fce4ec,color:#c62828

八、核心思想与证明技巧

CLT的本质

CLT之所以成立,核心在于两个操作的配合:

  1. 标准化消除了漂移和膨胀 将均值归零、方差归一,使得不同分布的随机变量和在同一个尺度下比较
  2. 特征函数展开利用了”方差有限”这一关键条件:特征函数在零点附近的展开 中,二次项系数恰好是方差。取 次幂后,,这一极限过程只依赖于方差的存在性

连续性修正的原理

连续性修正的本质是离散概率到连续面积的对应

  • 二项分布中, 是一个点概率(零测集上的概率)
  • 正态分布中,单点的概率为零,必须用区间上的面积来近似
  • 将整数 对应到区间 ,使得离散概率的总和等于连续面积的总和

Delta方法的思想

Delta方法的核心是Taylor展开

  • 一阶Delta方法:,将函数的渐近分布归结为线性项的渐近分布
  • 二阶Delta方法:当 时,,将函数的渐近分布归结为二次项的渐近分布

证明技巧总结

技巧说明应用场景
特征函数展开法,取 次幂后利用 林德伯格-列维CLT的证明
标准化技巧,消除均值和方差的影响所有CLT的标准化步骤
Taylor展开Delta方法的证明
连续性修正离散整数 → 连续区间 二项分布的正态近似
李雅普诺夫条件验证计算 $\sum EX_i - \mu_i
切比雪夫不等式用于证明李雅普诺夫条件蕴含林德伯格条件CLT条件的推导

九、补充理解与易混淆点

误区1:“CLT保证原始数据趋近正态”

来源:茆诗松教材§4.4(p210) + 卡方核心笔记(p17-24) + CSDN”中心极限定理从数学原理到生活案例” + 自习人”样本量n大于30一定是正态分布” + CSDN”AB实验的统计学内核”

误区1:"CLT说样本量大了数据就变成正态分布"

❌ CLT的对象是样本均值的抽样分布,不是原始数据的分布。原始数据 的分布永远是总体的分布(如均匀、指数),不会因为 增大而改变。

✅ CLT保证的是 的分布趋近 ,而非 本身趋近正态。例如,无论 多大, 的密度函数始终是 ),永远不会变成钟形曲线。

误区2:“n>30就一定可以用正态近似”

来源:茆诗松教材§4.4(p215) + 卡方核心笔记(p20) + CSDN”AB实验的统计学内核正态分布的迷思与CLT” + CSDN”AP统计真题讲解常见技术问题” + 自习人”样本量n大于30一定是正态分布”

误区2:"只要n>30,正态近似就一定足够好"

只是对中等偏度分布的粗略经验法则。对极度偏态分布(如指数分布、彩票金额),可能需要 甚至更大。

✅ 收敛速度取决于原始分布的偏度和峰度。偏度越大、尾部越重,所需样本量越大。判断正态近似质量应检查 是否都 。对于连续分布,可以用Q-Q图或正态性检验来验证近似效果。

误区3:“大数定律与CLT说的是同一件事”

来源:茆诗松教材§4.3-§4.4 + 卡方核心笔记(p17) + CSDN”大数定律与中心极限定理概率论的双子星” + CSDN文库”深入解析CLT与大数定律的本质区别” + 百科”中心极限定理”

误区3:"大数定律和CLT都是说n大了就收敛,差不多"

❌ 两者回答完全不同的问题。LLN(收敛到常数,回答”准不准”)。CLT:(收敛到分布,回答”波动像什么”)。

✅ LLN描述中心趋势(均值收敛到哪里),CLT描述分布形态(波动的概率结构)。LLN是CLT的基础但不等价。CLT进一步量化了波动的衰减速率是 ,这意味着要将精度提高10倍,样本量需要增加100倍。

误区4:“正态近似二项分布不需要连续性修正”

来源:茆诗松教材§4.4(p215-216) + 卡方核心笔记(p20) + face2ai”概率论分布连续性修正” + CSDN”统计学读书笔记正态分布近似二项分布” + HansPub”二项分布的正态近似若干条件”

误区4:"用正态近似二项分布时直接代入就行,不需要加0.5"

❌ 二项分布是离散的(只取整数值),正态分布是连续的。不加0.5的修正会产生系统性误差,尤其 不太大或 接近0或1时。

✅ 连续性修正的本质是将离散整数 对应到连续区间 。方向规则:。当 很大(如 )且 不接近0或1时,修正的影响较小,但原则上不应省略。

误区5:“CLT的独立性假设可以忽略”

来源:茆诗松教材§4.4(p219) + 卡方核心笔记(p22) + CSDN”AB实验的统计学内核正态分布的迷思与CLT” + CSDN”机器学习数学教程大数定律与中心极限定理” + CSDN”中心极限定理从数学原理到生活案例”

误区5:"只要样本量大,CLT就自动生效,独立性不重要"

❌ CLT要求i.i.d.三要素缺一不可:独立、同分布、有限方差。在时间序列、空间数据、社交网络中,样本间往往存在相关性,违反独立性假设会导致方差估计偏小,假阳性增加。

✅ 独立性是CLT三个前提中最容易被违反且最难检验的。例如在A/B测试中,如果用户之间存在社交影响(网络效应),则观测值之间不独立,直接套用CLT会低估方差,导致显著性检验的假阳性率偏高。实际应用中应首先检查数据是否满足独立性假设,而非盲目套用CLT。


十、习题精选

习题概览

编号题目来源知识点难度
1教材4.4-1棣莫弗-拉普拉斯CLT应用★★☆
2教材4.4-4林德伯格-列维CLT应用★★☆
3教材4.4-11取整误差与CLT★★★
4教材4.4-16频率与概率的偏差估计★★★
5教材4.4-20备件数量的确定★★★
6教材4.4-27CLT证明极限等式★★★★
72021北京大学432二项分布正态近似★★★
82023清华大学432CLT+Delta方法+MLE★★★
92022中国药科大学432李雅普诺夫条件验证★★★
102019上海财经大学808二阶Delta方法★★★★

习题1 — 教材4.4-1:棣莫弗-拉普拉斯CLT应用

习题1 — 教材4.4-1

某保险公司有100个索赔户,每个索赔户被盗索赔的概率为20%。求被盗索赔户数在14到30之间的概率。

习题2 — 教材4.4-4:林德伯格-列维CLT应用

习题2 — 教材4.4-4

掷100颗均匀骰子,求点数平均值 落在3到4之间的概率。

习题3 — 教材4.4-11:取整误差与CLT

习题3 — 教材4.4-11

对1500个数进行四舍五入取整,每个数的取整误差 ,各误差独立。 (1) 求总误差绝对值超过15的概率; (2) 最多对多少个数取整,才能使总误差绝对值小于10的概率不小于90%?

习题4 — 教材4.4-16:频率与概率的偏差估计

习题4 — 教材4.4-16

在1000次独立试验中,事件 每次发生的概率为 。以95%的把握,事件 发生的频率与概率 的偏差不超过多少?

习题5 — 教材4.4-20:备件数量的确定

习题5 — 教材4.4-20

某种元件的平均寿命为100小时,标准差为30小时。现有一台设备需要连续运行2000小时,应准备多少个备件才能以95%的概率保证设备不因元件损坏而停机?

习题6 — 教材4.4-27:用CLT证明极限等式

习题6 — 教材4.4-27

利用中心极限定理证明:

习题7 — 2021北京大学432:剧院座位问题

习题7 — 2021北京大学432(题33)

某城市有两家剧院A和B,各拥有 个座位。有1000名顾客,每名顾客独立地以概率0.5选择剧院A(否则选B)。若某剧院顾客数超过其座位数,超出部分视为”流失”。 (1) 写出流失人数的二项分布表达式; (2) 若要求流失率不超过1%(即流失人数不超过10人)的概率至少为90%,求 的最小值。

习题8 — 2023清华大学432:CLT+Delta方法+MLE

习题8 — 2023清华大学432(题37)

独立同分布,)。 (1) 求 的最大似然估计 ; (2) 证明 的相合估计; (3) 求 的极限分布; (4) 利用Delta方法求 的极限分布。

习题9 — 2022中国药科大学432:李雅普诺夫条件验证

习题9 — 2022中国药科大学432(题41)

为独立随机变量序列,。验证 满足李雅普诺夫条件。

习题10 — 2019上海财经大学808:二阶Delta方法

习题10 — 2019上海财经大学808(题42)

(1) 设 ,函数 处二阶可导且 。证明:

(2) 设 。求 的极限分布。


十一、教材原文

以下为教材扫描版原文,可点击翻阅。

第四章 随机变量序列的极限定理/中心极限定理