过拟合与正则化

专业知识 · 20-Knowledge/人工智能/过拟合与正则化.md

过拟合与正则化

概念解释

过拟合是模型把训练数据中的噪声、偶然模式也学进去，导致训练表现很好但新数据表现差。正则化是在训练目标或模型结构中加入约束，降低模型复杂度，提升泛化能力。

公式与计算

带 $L_2$ 正则的训练目标：

$$ \min_\theta \frac{1}{n}\sum_{i=1}^n L(f_\theta(x_i),y_i)+\lambda\|\theta\|_2^2 $$

带 $L_1$ 正则：

$$ \min_\theta \frac{1}{n}\sum_i L(f_\theta(x_i),y_i)+\lambda\|\theta\|_1 $$

$L_2$ 倾向于让参数变小，$L_1$ 倾向于产生稀疏参数。

与其他名词的关联

• 损失函数：正则项通常直接加到损失函数中。
• 模型评估：过拟合需要通过验证集、测试集或交叉验证发现。
• 监督学习：监督学习中模型越灵活，越需要泛化控制。
• ../统计推断/置信区间：模型不确定性越大，估计和预测区间越值得关注。

典型应用场景

• 线性模型中用 Ridge/Lasso 控制参数。
• 神经网络中用权重衰减、dropout、早停、数据增强。
• 小样本高维数据中优先考虑正则化。

易错点

• 正则化不是越强越好，$\lambda$ 过大会欠拟合。
• 只看训练误差无法判断过拟合。
• 数据泄漏会让测试效果虚高，掩盖过拟合。

课后习题

1. 训练准确率 99%，测试准确率 70%，最可能是什么问题？
2. $L_1$ 和 $L_2$ 正则的主要差异是什么？
3. 早停为什么可以看作正则化？

答案

1. 过拟合。
2. $L_1$ 倾向稀疏，$L_2$ 倾向平滑收缩参数。
3. 它限制训练过程继续贴合训练集噪声。