损失函数

专业知识 · 20-Knowledge/人工智能/损失函数.md

损失函数

概念解释

损失函数衡量模型预测 $\hat y$ 与真实标签 $y$ 的差异。训练模型时，优化器通常通过最小化平均损失来调整参数。

公式与计算

平方损失用于回归：

$$ L(\hat y,y)=(\hat y-y)^2 $$

二分类交叉熵用于概率分类：

$$ L(\hat p,y)=-[y\log \hat p+(1-y)\log(1-\hat p)] $$

多分类交叉熵：

$$ L(\hat{\mathbf p},y)=-\log \hat p_y $$

与其他名词的关联

• 监督学习：损失函数定义学习目标。
• 过拟合与正则化：正则项常被加到损失后面，如 $\lambda\|\theta\|_2^2$。
• 模型评估：训练损失不等于最终业务指标，需要单独评估。
• ../统计推断/最大似然估计：负对数似然是一类核心损失函数。
• ../统计推断/假设检验：比较损失差异是否稳定时可用统计检验。

典型应用场景

• 回归任务用均方误差或平均绝对误差。
• 分类任务用交叉熵。
• 排序任务用 pairwise/listwise 损失。
• 风险预测中可对尾部错误加权，强调极端样本。

易错点

• 损失函数决定模型优化方向，指标选择错误会学偏。
• 训练损失下降不一定代表测试表现提升。
• 类别不平衡时，普通交叉熵可能忽视少数类。

课后习题

1. 真实值为 3，预测值为 5，平方损失是多少？
2. 二分类中真实标签 $y=1$，模型预测 $\hat p=0.8$，交叉熵是多少？
3. 为什么异常检测中可能需要加权损失？

答案

1. $(5-3)^2=4$。
2. $-\log 0.8\approx 0.223$。
3. 异常样本少但重要，普通损失可能被大量正常样本主导。