协方差与相关系数

概述

协方差（Covariance）和相关系数（Correlation Coefficient）用于描述两个随机变量之间的线性相关程度，是多维随机变量分析的核心工具。

---

一、协方差

定义

协方差

设 $(X,Y)$ 为二维随机变量，$E(X)$、$E(Y)$ 存在，称 $\mathrm{Cov}(X,Y)=E[(X-E(X))(Y-E(Y))]$ 为 $X$ 与 $Y$ 的协方差。

计算公式

$\mathrm{Cov}(X,Y)=E(XY)-E(X)E(Y)$

性质

性质	公式
对称性	$\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$
与方差的关系	$\mathrm{Cov}(X,X)=\mathrm{Var}(X)$
线性性	$\mathrm{Cov}(aX+b,Y)=a\mathrm{Cov}(X,Y)$
相加性	$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\mathrm{Cov}(X,Y)$

---

二、相关系数

定义

皮尔逊相关系数

设 $\mathrm{Var}(X)>0$，$\mathrm{Var}(Y)>0$，称 ${\rho }_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{\mathrm{Var}(X)}\sqrt{\mathrm{Var}(Y)}}$ 为 $X$ 与 $Y$ 的相关系数。

性质

性质	说明
取值范围	$-1⩽{\rho }_{XY}⩽1$
$\rho =\pm 1$	完全线性相关（$Y=aX+b$）
$\rho =0$	不相关（无线性关系）
$\rho >0$	正相关
$\rho <0$	负相关

---

三、独立性与不相关

关键区别

• 独立 $\Rightarrow$ 不相关（对任意分布都成立）
• 不相关 $\nRightarrow$ 独立（一般情况下）

唯一例外：二维正态分布中，不相关 $\iff$ 独立。

---

四、协方差矩阵

对于 $n$ 维随机变量 $\mathbf{X}=(X_1,\cdots ,X_n{)}^T$，定义协方差矩阵： $\Sigma =\mathrm{Cov}(\mathbf{X})=E[(\mathbf{X}-\mathbf{\mu })(\mathbf{X}-\mathbf{\mu }{)}^T]$

性质：

• 对称半正定矩阵
• 对角线元素为各分量的方差
• 非对角线元素为两两协方差

---

五、相关章节

• 第三章 多维随机变量及其分布 — 章节汇总
• 随机变量 — 协方差的研究对象
• 独立性 — 不相关 ≠ 独立（除正态分布外）
• 正态分布 — 二维正态分布中不相关等价于独立
• 中心极限定理 — 协方差矩阵在多维CLT中的作用