TTiti的学习笔记
首页 / 专业知识 / 05-Courses/数理统计/02-Notes/统计推断/03_点估计/章节学习页.md

章节学习页

专业知识 · 05-Courses/数理统计/02-Notes/统计推断/03_点估计/章节学习页.md

# 第 3 章 点估计

本章在学什么

一句话：本章学习如何用样本构造一个数来估计未知总体参数，并判断这个估计值是否可靠。

在统计学习链条中的位置：


总体参数未知 -> 从样本构造估计量 -> 评价估计量好坏 -> 为区间估计和假设检验做准备

课程和工作用途：当你想估计平均成绩、转化率、故障率、到达率、波动强度、模型参数时，本章提供“怎么算”和“怎么算得好”的基本语言。

教材目录

  • 3.1 引言
  • 3.2 矩估计
  • 3.3 极大似然估计
  • 3.4 一致最小方差无偏估计
  • 3.5 Cramer-Rao 不等式
  • 3.6 概率密度函数的核估计
  • 习题 3

必须掌握的概念

  • [x] 点估计
  • [x] 估计量
  • [x] 估计值
  • [x] 矩估计
  • [x] 极大似然估计 MLE
  • [x] 无偏性
  • [x] 偏差 Bias
  • [x] 方差 Variance
  • [x] 均方误差 MSE
  • [x] 有效性
  • [x] Cramer-Rao 下界直觉

了解即可的内容

  • [ ] UMVUE：知道它是在无偏估计类中方差最小的估计量，不要求熟练证明。
  • [ ] 核密度估计：知道它是不先假设分布形式的密度估计方法。
  • [ ] Cramer-Rao 不等式证明：先掌握直觉和用途，证明可后续补。

概念填充区

点估计 point estimation

  • 一句话定义：点估计是用一个由样本计算出的数来估计未知参数。
  • 直觉解释：总体参数看不见，我们用样本给出一个“最合理的猜测值”。
  • 专业表达：设参数为 \(\theta\)，用统计量 \(\hat\theta=T(X_1,\dots,X_n)\) 估计 \(\theta\)。
  • 常见符号：\(\theta\)、\(\hat\theta\)、\(\hat\mu\)、\(\hat p\)、\(\hat\lambda\)。
  • 典型场景：用样本均值估计总体均值，用样本比例估计总体比例。
  • 容易混淆的点：点估计只给一个数，不直接说明不确定性；不确定性要靠区间估计。
  • 和后续章节的关系：第 4 章会在点估计基础上给出置信区间，第 5 章会用估计思想构造检验统计量。
  • 给 AI 的高质量提示词：请判断这个问题要估计的参数是什么，并给出一个合理的点估计量及其直觉解释。

估计量 estimator 与估计值 estimate

  • 一句话定义：估计量是抽样前的随机函数，估计值是代入观测数据后得到的具体数。
  • 直觉解释：公式本身叫估计量，算出来的结果叫估计值。
  • 专业表达：\(\hat\theta=T(X_1,\dots,X_n)\) 是估计量；\(T(x_1,\dots,x_n)\) 是估计值。
  • 典型场景：\(\bar X\) 是估计量；某次样本算出 72.3 是估计值。
  • 容易混淆的点：估计量有分布，估计值只是一个数字。

矩估计 method of moments

  • 一句话定义：矩估计是用样本矩去匹配总体矩，从而求出参数估计。
  • 直觉解释：总体均值、方差等理论特征由参数决定；样本也能算均值、方差，于是让二者相等来反推参数。
  • 专业表达：令样本矩 \(\frac1n\sum X_i^k\) 等于总体矩 \(E(X^k)\)，解出参数。
  • 常见符号：\(m_k=E(X^k)\)、\(a_k=\frac1n\sum X_i^k\)。
  • 典型场景：估计 Poisson 分布的 \(\lambda\)，因为 \(E(X)=\lambda\)，所以 \(\hat\lambda=\bar X\)。
  • 容易混淆的点：矩估计通常简单，但不一定最有效，也不一定满足参数约束。
  • 和后续章节的关系：矩估计提供快速估计值，也常作为复杂模型数值优化的初始值。
  • 给 AI 的高质量提示词：请用矩估计方法求这个分布的参数估计，并解释用到了哪些总体矩和样本矩。

极大似然估计 MLE

  • 一句话定义：MLE 选择最能让已观察样本出现的参数值。
  • 直觉解释：不同参数像不同“解释方案”，MLE 选择让当前数据最像是由它生成的那个参数。
  • 专业表达：若样本密度或概率质量函数为 \(f(x;\theta)\)，似然函数为 \(L(\theta)=\prod_{i=1}^n f(x_i;\theta)\)，MLE 为 \(\hat\theta=\arg\max_\theta L(\theta)\)。
  • 常见符号：\(L(\theta)\)、\(\ell(\theta)=\log L(\theta)\)、\(\hat\theta_{MLE}\)。
  • 典型场景：估计 Bernoulli 的成功概率、Poisson 到达率、正态分布均值和方差。
  • 容易混淆的点：似然是参数的函数，不是“参数的概率”。
  • 和后续章节的关系：似然比检验、AIC/BIC、很多机器学习损失函数都和 MLE 有关。
  • 给 AI 的高质量提示词：请写出这个模型的似然函数和对数似然函数，然后逐步求 MLE。

无偏性 unbiasedness

  • 一句话定义：如果估计量的期望等于被估计参数，它就是无偏估计量。
  • 专业表达：若 \(E(\hat\theta)=\theta\)，则 \(\hat\theta\) 是 \(\theta\) 的无偏估计量。
  • 直觉解释：重复抽样很多次，估计量的平均值不会系统性偏高或偏低。
  • 容易混淆的点：无偏不等于每次都准确，也不等于方差小。

偏差 Bias、方差 Variance、均方误差 MSE

  • 一句话定义：Bias 衡量系统性偏离，Variance 衡量估计量波动，MSE 综合二者。
  • 专业表达：

\[ Bias(\hat\theta)=E(\hat\theta)-\theta \]

\[ MSE(\hat\theta)=E[(\hat\theta-\theta)^2]=Var(\hat\theta)+Bias(\hat\theta)^2 \]

  • 直觉解释：一个估计量可能平均不偏但波动很大；另一个可能略有偏差但更稳定。MSE 用来综合比较。
  • 典型场景：机器学习里的 bias-variance tradeoff 就是这个思想的延伸。

有效性 efficiency

  • 一句话定义：在同类估计量中，方差更小的估计量更有效。
  • 专业表达：若两个无偏估计量 \(T_1,T_2\) 都估计 \(\theta\)，且 \(Var(T_1)<Var(T_2)\)，则 \(T_1\) 更有效。
  • 直觉解释：都能瞄准靶心时，散得更小的估计更好。

Cramer-Rao 下界直觉

  • 一句话定义：Cramer-Rao 不等式给出无偏估计量方差能达到的理论下限。
  • 直觉解释：它告诉你“再怎么聪明地估计，方差也不可能低于某个界”。
  • 专业表达：在正则条件下，任意无偏估计量 \(T\) 满足

\[ Var(T)\ge \frac{1}{I(\theta)} \]

  • 学习要求：本阶段先知道它用于评价估计量是否接近理论最优，不必强行掌握完整证明。

    • 其中 \(I(\theta)\) 是 Fisher 信息量。

核密度估计 kernel density estimation

  • 一句话定义：核密度估计是不预设具体分布族，直接用样本估计概率密度函数的方法。
  • 直觉解释：每个样本点周围放一个小“平滑包”，所有小包叠加起来就是密度曲线。
  • 典型场景：探索数据分布形状，判断是否偏态、多峰或重尾。
  • 容易混淆的点：核密度估计估计的是密度函数，不是某个有限维参数。

公式与推导

矩估计一般步骤

  1. 写出总体矩：\(E(X),E(X^2),\dots\)。
  2. 写出样本矩：\(\bar X,\frac1n\sum X_i^2,\dots\)。
  3. 令总体矩等于样本矩。
  4. 解方程得到参数估计。

例：若 \(X\sim Poisson(\lambda)\)，则 \(E(X)=\lambda\)。令 \(\bar X=\lambda\)，得到：

\[ \hat\lambda=\bar X \]

似然函数与对数似然函数

若 \(X_1,\dots,X_n\) 独立同分布，密度或概率质量函数为 \(f(x;\theta)\)，则：

\[ L(\theta)=\prod_{i=1}^n f(x_i;\theta) \]

对数似然为：

\[ \ell(\theta)=\log L(\theta)=\sum_{i=1}^n \log f(x_i;\theta) \]

为什么常用对数似然：乘积容易很小、计算不稳定；取对数后乘积变求和，更容易求导和计算。

Bernoulli 分布的 MLE

若 \(X_i\sim Bernoulli(p)\)，则：

\[ L(p)=\prod_{i=1}^n p^{x_i}(1-p)^{1-x_i}=p^{\sum x_i}(1-p)^{n-\sum x_i} \]

对数似然：

\[ \ell(p)=\sum x_i\log p+(n-\sum x_i)\log(1-p) \]

求导并令其为 0，可得：

\[ \hat p=\bar X \]

Poisson 分布的 MLE

若 \(X_i\sim Poisson(\lambda)\)，则：

\[ L(\lambda)=\prod_{i=1}^n e^{-\lambda}\frac{\lambda^{x_i}}{x_i!} \]

对数似然忽略与 \(\lambda\) 无关项：

\[ \ell(\lambda)=-n\lambda+(\sum x_i)\log\lambda + C \]

求导得：

\[ \hat\lambda=\bar X \]

Normal 分布的 MLE

若 \(X_i\sim N(\mu,\sigma^2)\)，则：

\[ \hat\mu=\bar X \]

\[ \hat\sigma^2_{MLE}=\frac1n\sum_{i=1}^n (X_i-\bar X)^2 \]

注意：这里分母是 \(n\)，不是 \(n-1\)。分母为 \(n-1\) 的样本方差是无偏估计量，但不是正态方差的 MLE。

代码任务 1：Bernoulli 参数估计


import numpy as np  # 导入 numpy，用于随机数生成和数值计算



np.random.seed(42)  # 固定随机种子，保证每次运行结果一致



true_p = 0.3  # 设置真实成功概率 p，现实中这个参数通常未知



sample = np.random.binomial(n=1, p=true_p, size=100)  # 生成 100 个 Bernoulli 样本，取值为 0 或 1



p_hat = np.mean(sample)  # Bernoulli 分布中，样本均值就是 p 的 MLE，也是矩估计



print("真实 p:", true_p)  # 输出真实参数，现实研究中通常看不到

print("估计 p_hat:", p_hat)  # 输出从样本计算出的估计值

print("成功次数:", np.sum(sample))  # 输出样本中 1 的个数，帮助理解 p_hat 的来源

结果解释：如果 100 次中大约 30 次成功，\(\hat p\) 就会接近 0.3。样本量越大，估计通常越稳定。

代码任务 2：Poisson 参数估计


import numpy as np  # 导入 numpy



np.random.seed(42)  # 固定随机种子



true_lambda = 4  # 设置真实 Poisson 参数 lambda，表示平均发生次数



sample = np.random.poisson(lam=true_lambda, size=200)  # 生成 200 个 Poisson 样本



lambda_hat = np.mean(sample)  # Poisson 分布中，样本均值是 lambda 的矩估计和 MLE



print("真实 lambda:", true_lambda)  # 输出真实参数

print("估计 lambda_hat:", lambda_hat)  # 输出估计值

print("样本前 10 个观测:", sample[:10])  # 查看前 10 个样本，理解数据形态

结果解释：Poisson 模型常用于单位时间内事件发生次数，如一天订单数、每分钟到达人数、单位区域缺陷数。

代码任务 3：Normal 参数 MLE


import numpy as np  # 导入 numpy



np.random.seed(42)  # 固定随机种子



true_mu = 70  # 设置真实总体均值

true_sigma = 10  # 设置真实总体标准差



sample = np.random.normal(loc=true_mu, scale=true_sigma, size=50)  # 从正态总体抽取 50 个样本



mu_hat = np.mean(sample)  # 正态均值的 MLE 是样本均值



sigma2_mle = np.mean((sample - mu_hat) ** 2)  # 正态方差的 MLE，分母相当于 n



sigma2_unbiased = np.var(sample, ddof=1)  # 无偏样本方差，分母相当于 n-1



print("真实 mu:", true_mu)  # 输出真实均值

print("估计 mu_hat:", mu_hat)  # 输出均值估计

print("真实 sigma^2:", true_sigma ** 2)  # 输出真实方差

print("MLE 方差估计:", sigma2_mle)  # 输出 MLE 方差估计

print("无偏方差估计:", sigma2_unbiased)  # 输出无偏方差估计

结果解释：\(\hat\mu=\bar X\)；方差估计有两个常见版本，MLE 分母为 \(n\)，无偏样本方差分母为 \(n-1\)。二者用途不同，不能混为一谈。

代码任务 4：比较估计量的 Bias、Variance、MSE


import numpy as np  # 导入 numpy



np.random.seed(42)  # 固定随机种子



true_mu = 0  # 真实均值

true_sigma = 1  # 真实标准差

n = 10  # 每次抽样的样本量

repeat = 5000  # 重复抽样次数



estimates = []  # 保存每次抽样得到的样本均值



for i in range(repeat):  # 重复抽样

    sample = np.random.normal(true_mu, true_sigma, size=n)  # 从标准正态总体抽取 n 个样本

    estimates.append(np.mean(sample))  # 用样本均值估计总体均值，并保存



estimates = np.array(estimates)  # 把列表转成 numpy 数组，方便计算



bias = np.mean(estimates) - true_mu  # 计算估计量的模拟偏差



variance = np.var(estimates, ddof=1)  # 计算估计量在重复抽样中的方差



mse = np.mean((estimates - true_mu) ** 2)  # 计算均方误差



print("Bias:", bias)  # 输出偏差

print("Variance:", variance)  # 输出方差

print("MSE:", mse)  # 输出均方误差

结果解释：样本均值估计正态总体均值是无偏的，所以 Bias 应接近 0；Variance 约为 \(\sigma^2/n=0.1\)；MSE 在无偏时约等于 Variance。

课后作业与答案

题 1：什么是点估计？

答案：点估计是用一个统计量的观测值来估计未知参数。

解释：例如用 \(\bar X\) 估计 \(\mu\)，用样本比例估计总体比例 \(p\)。

题 2：估计量和估计值有什么区别？

答案：估计量是随机变量函数，估计值是代入具体样本后的数值。

解释：\(\bar X\) 是估计量；如果样本算出 \(\bar x=72.3\)，72.3 是估计值。

题 3：设 \(X_i\sim Bernoulli(p)\)，求 \(p\) 的 MLE。

答案：\(\hat p=\bar X\)。

解释：似然函数为 \(p^{\sum x_i}(1-p)^{n-\sum x_i}\)，最大化后得到样本均值。

题 4：设 \(X_i\sim Poisson(\lambda)\)，求 \(\lambda\) 的矩估计。

答案：\(\hat\lambda=\bar X\)。

解释：因为 \(E(X)=\lambda\)，令总体均值等于样本均值即可。

题 5：判断题：无偏估计量一定比有偏估计量好。

答案：错误。

解释：无偏只说明平均不偏，不说明方差小。有些有偏估计量 MSE 更小，实际预测可能更稳定。

题 6：正态总体方差的 MLE 为什么不是无偏样本方差？

答案：正态方差 MLE 为 \(\frac1n\sum (X_i-\bar X)^2\)，无偏样本方差为 \(\frac1{n-1}\sum (X_i-\bar X)^2\)。

解释：MLE 来自最大化似然；无偏样本方差来自让期望等于 \(\sigma^2\)。二者优化目标不同。

题 7：代码题：估计一次网站转化率。


import numpy as np  # 导入 numpy



clicks = np.array([1, 0, 0, 1, 0, 1, 0, 0, 0, 1])  # 1 表示转化，0 表示未转化



p_hat = np.mean(clicks)  # 样本均值就是转化率估计



print("转化率估计:", p_hat)  # 输出估计结果

答案解释：10 个用户中 4 个转化，所以转化率点估计为 0.4。

题 8：报告表达题：如何专业描述 MLE 的使用？

答案：

设样本来自参数为 \(\theta\) 的统计模型。我们构造样本似然函数 \(L(\theta)\)，并选择使观测样本出现可能性最大的参数值作为极大似然估计。该方法提供了参数的点估计，但其不确定性仍需通过标准误、置信区间或重复抽样进一步评估。

报告可写表达

  • “本节将目标参数记为 \(\theta\)，并基于样本构造估计量 \(\hat\theta\)。”
  • “矩估计通过匹配样本矩与总体矩得到参数估计，优点是计算简单，缺点是不一定最有效。”
  • “极大似然估计通过最大化样本似然函数选择最能解释观测数据的参数值。”
  • “估计量的优劣不能只看是否无偏，还应结合方差和均方误差综合判断。”

可以追问老师/同学的问题

  • 这门课里矩估计和 MLE 哪一种更常用于考试推导？
  • 无偏性、有效性、一致性这三个性质在本课程中的优先级是什么？
  • Cramer-Rao 不等式需要掌握证明，还是只需要会用？
  • 正态方差的 MLE 和无偏样本方差在作业里应该如何区分？

给 AI 的高质量提示词

请帮我对这个参数估计题进行完整拆解：先判断参数和样本分布；再分别尝试矩估计和极大似然估计；然后说明估计量是否无偏、方差或 MSE 如何理解；最后给出适合课程报告的中文表达。

反向链接

README
统计推断_自测题与答案索引
统计推断
统计推断核心概念索引