最大似然估计

专业知识 · 20-Knowledge/统计推断/最大似然估计.md

# 最大似然估计

概念解释

最大似然估计（Maximum Likelihood Estimation, MLE）是在给定统计模型后，选择最能解释当前样本的参数值。它不直接说“参数发生的概率最大”，而是说：在不同参数假设下，哪一个参数让已经观察到的数据最可能出现。

公式与计算

若样本 $X_1,\dots,X_n$ 独立同分布，密度或概率质量函数为 $f(x;\theta)$，似然函数为：

$$ L(\theta)=\prod_{i=1}^n f(X_i;\theta) $$

通常最大化对数似然：

$$ \ell(\theta)=\sum_{i=1}^n \log f(X_i;\theta) $$

例：若 $X_i\sim N(\mu,\sigma^2)$ 且 $\sigma^2$ 已知，则 $\hat\mu_{\mathrm{MLE}}=\bar X$。

与其他名词的关联

• 充分统计量：如果似然函数可通过某个统计量压缩样本信息，这个统计量常是充分统计量。
• 假设检验：似然比检验直接比较两个参数空间下的最大似然值。
• 渐近正态性：在常规条件下，MLE 近似服从正态分布，可用于构造 置信区间。
• ../人工智能/损失函数：机器学习中最小化负对数似然等价于最大化似然，例如交叉熵损失。
• ../极值理论/广义极值分布 与 ../极值理论/广义帕累托分布：极值模型的参数常通过 MLE 拟合。

典型应用场景

• 估计正态分布、泊松分布、二项分布等基础模型参数。
• 训练逻辑回归、朴素贝叶斯和概率模型。
• 拟合极值分布，估计极端降雨、金融损失或设备故障风险。

易错点

• 似然是“参数的函数”，不是样本的概率分布。
• MLE 不一定无偏，例如正态总体方差的 MLE 是 $\frac{1}{n}\sum(X_i-\bar X)^2$。
• 复杂模型中局部最大值不一定是全局最大值，需要检查优化结果。

课后习题

1. 设 $X_1,\dots,X_n\sim \mathrm{Bernoulli}(p)$，求 $p$ 的 MLE。
2. 为什么机器学习中常说“最小化交叉熵”等价于最大似然？
3. 正态总体 $N(\mu,\sigma^2)$ 中，若 $\mu$ 已知，求 $\sigma^2$ 的 MLE。

答案

1. $L(p)=p^{\sum X_i}(1-p)^{n-\sum X_i}$，$\hat p=\bar X$。
2. 分类模型给真实类别分配的概率越大，样本对数似然越大；交叉熵正是负对数似然的样本平均。
3. $\hat\sigma^2=\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2$。