充分统计量

专业知识 · 20-Knowledge/统计推断/充分统计量.md

# 充分统计量

概念解释

充分统计量是对样本的压缩：在给定这个统计量之后，原始样本对参数 $\theta$ 不再提供额外信息。它回答的问题是：能不能把一堆样本压缩成一个较小的量，同时不损失关于参数的推断信息？

公式与计算

因子分解定理是最常用判别工具。若联合密度可写成：

$$ f(x_1,\dots,x_n;\theta)=g(T(x),\theta)h(x) $$

其中 $h(x)$ 不含 $\theta$，则 $T(X)$ 是 $\theta$ 的充分统计量。

例：若 $X_i\sim \mathrm{Bernoulli}(p)$，

$$ P(X=x)=p^{\sum x_i}(1-p)^{n-\sum x_i} $$

因此 $T(X)=\sum_i X_i$ 对 $p$ 充分。

与其他名词的关联

• 最大似然估计：MLE 常只依赖充分统计量，例如伯努利分布中 $\hat p=\bar X$ 只依赖 $\sum X_i$。
• 假设检验：基于充分统计量可以构造更简洁的检验统计量。
• 置信区间：很多精确区间只需要充分统计量，例如二项分布比例区间。
• ../人工智能/模型评估：充分统计量提醒我们区分“保留关键信息”和“无意义保存全部数据”。

典型应用场景

• 参数估计前先压缩样本，减少计算量。
• 证明某个统计量已经包含全部参数信息。
• 在指数族模型中识别自然统计量，如正态、泊松、二项分布。

易错点

• 充分不等于无偏，也不等于最优。
• 一个充分统计量可以不是唯一的。
• 统计量越大不代表越充分，充分性关注是否保留关于参数的信息。

课后习题

1. 设 $X_i\sim \mathrm{Poisson}(\lambda)$，说明 $\sum_i X_i$ 对 $\lambda$ 充分。
2. 正态总体 $N(\mu,\sigma^2)$ 中，若 $\sigma^2$ 已知，哪个统计量对 $\mu$ 充分？
3. “样本均值和样本方差一定是任意分布的充分统计量”对吗？

答案

1. 联合概率为 $e^{-n\lambda}\lambda^{\sum X_i}/\prod X_i!$，可按因子分解定理分解。
2. $\bar X$ 或等价的 $\sum_i X_i$。
3. 不对。它们在正态模型中很重要，但对任意分布不一定充分。