模型评估

专业知识 · 20-Knowledge/人工智能/模型评估.md

模型评估

概念解释

模型评估是用独立数据和合适指标判断模型在真实任务中的表现。核心不是“训练得多好”，而是“部署后能不能稳定解决问题”。

公式与计算

分类常见指标：

$$ \mathrm{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN} $$

$$ \mathrm{Precision}=\frac{TP}{TP+FP},\quad \mathrm{Recall}=\frac{TP}{TP+FN} $$

$$ F1=\frac{2PR}{P+R} $$

回归常见指标：

$$ \mathrm{MSE}=\frac{1}{n}\sum_i(\hat y_i-y_i)^2 $$

与其他名词的关联

• 监督学习：评估验证监督模型是否泛化。
• 损失函数：训练损失是优化目标，评估指标是任务目标，两者可能不同。
• 过拟合与正则化：训练/验证/测试表现差距是识别过拟合的主要证据。
• ../统计推断/置信区间：指标应给出不确定性范围。
• ../统计推断/假设检验：两个模型指标差异是否显著，需要统计判断。
• ../极值理论/POT 方法：若任务关注极端风险，评估指标应覆盖尾部样本。

典型应用场景

• 分类：准确率、精确率、召回率、F1、AUC。
• 回归：MSE、MAE、$R^2$。
• 风险预测：召回率、尾部误差、极端事件命中率。
• 线上系统：A/B 测试和业务指标监控。

易错点

• 类别极不平衡时，准确率可能误导。
• 测试集不能反复用于调参，否则会泄漏。
• 指标必须匹配业务代价，例如漏报异常和误报异常的成本不同。

课后习题

1. 一个数据集中正例只有 1%，模型永远预测负例，准确率是多少？这个模型好吗？
2. $TP=80, FP=20, FN=40$，求 Precision、Recall。
3. 为什么模型评估需要置信区间？

答案

1. 准确率 99%，但模型很差，因为完全找不到正例。
2. Precision=$80/(80+20)=0.8$，Recall=$80/(80+40)=0.667$。
3. 指标来自有限样本，需要表达抽样波动。