参数估计

概述

参数估计（Parameter Estimation）是统计推断的核心内容。当总体的分布形式已知但参数未知时，需要用样本数据对参数进行估计。分为点估计和区间估计两大类。

---

一、点估计

点估计

用一个具体的数值 $\hat{\theta }$ 来估计未知参数 $\theta$。

常用估计方法

方法	原理	优点	缺点
矩估计	样本矩 = 总体矩	简单直观	效率可能不高
最大似然估计（MLE）	似然函数最大化	渐近有效/一致	计算复杂
贝叶斯估计	后验分布均值	利用先验信息	需要先验分布
最小二乘估计	残差平方和最小	无需分布假设	只适用于回归

---

二、估计量的评判标准

1. 无偏性

无偏估计

若 $E(\hat{\theta })=\theta$，则称 $\hat{\theta }$ 为 $\theta$ 的无偏估计。

2. 有效性

有效性

若 ${\hat{\theta }}_1$ 和 ${\hat{\theta }}_2$ 都是 $\theta$ 的无偏估计，且 $\mathrm{Var}({\hat{\theta }}_1)<\mathrm{Var}({\hat{\theta }}_2)$，则 ${\hat{\theta }}_1$ 更有效。

克拉美-罗不等式：无偏估计量方差的理论下界： $\mathrm{Var}(\hat{\theta })⩾\frac{1}{nI(\theta )}$

其中 $I(\theta )=E{\left[\frac{\partial \ln f(X;\theta )}{\partial \theta }\right]}^2$ 为 Fisher 信息量。

3. 相合性（一致性）

相合估计

若 ${\hat{\theta }}_n\stackrel{P}{\to }\theta$（当 $n\to \infty$），则称 ${\hat{\theta }}_n$ 为 $\theta$ 的相合估计。

---

三、最大似然估计（MLE）

最大似然估计

设似然函数为 $L(\theta ;\mathbf{x})$，满足 $L(\hat{\theta };\mathbf{x})={\max }_{\theta \in \Theta }L(\theta ;\mathbf{x})$ 的 $\hat{\theta }$ 称为 $\theta$ 的最大似然估计。

MLE 的渐近性质

MLE 的大样本性质

在正则条件下，MLE ${\hat{\theta }}_n$ 满足：

1. 相合性：${\hat{\theta }}_n\stackrel{P}{\to }\theta$
2. 渐近正态性：$\sqrt{n}({\hat{\theta }}_n-\theta )\stackrel{d}{\to }N(0,I^{-1}(\theta ))$
3. 渐近有效性：方差达到克拉美-罗下界

---

四、区间估计

置信区间

设 $\theta$ 为未知参数，若存在统计量 ${\hat{\theta }}_L$ 和 ${\hat{\theta }}_U$，使 $P({\hat{\theta }}_L⩽\theta ⩽{\hat{\theta }}_U)=1-\alpha$ 则称 $[{\hat{\theta }}_L,{\hat{\theta }}_U]$ 为 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间。

正态总体参数的置信区间

参数	条件	置信区间
$\mu$	${\sigma }^2$ 已知	$\bar{X}\pm z_{\alpha /2}\cdot \sigma /\sqrt{n}$
$\mu$	${\sigma }^2$ 未知	$\bar{X}\pm t_{\alpha /2}(n-1)\cdot S/\sqrt{n}$
${\sigma }^2$	—	$\left[\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)}\right]$

---

五、相关章节

• 第六章 参数估计 — 章节汇总
• 统计量与抽样分布 — 估计量的抽样分布
• 三大抽样分布 — 置信区间的理论基础
• 假设检验 — 置信区间与假设检验的对偶关系
• 大数定律 — 相合性的理论基础