监督学习

专业知识 · 20-Knowledge/人工智能/监督学习.md

监督学习

概念解释

监督学习是从带标签数据 $(x_i,y_i)$ 中学习输入到输出的映射 $f(x)$。如果 $y$ 是类别，就是分类；如果 $y$ 是连续数值，就是回归。

公式与计算

监督学习通常写成经验风险最小化：

$$ \hat f=\arg\min_{f\in\mathcal F}\frac{1}{n}\sum_{i=1}^n L(f(x_i),y_i) $$

其中 $L$ 是 损失函数，$\mathcal F$ 是候选模型集合。

例：线性回归用平方损失：

$$ \min_\beta \sum_{i=1}^n(y_i-x_i^\top\beta)^2 $$

逻辑回归用负对数似然，也就是二分类交叉熵。

与其他名词的关联

• 损失函数：定义“预测错得多严重”。
• 过拟合与正则化：监督学习需要控制训练误差与泛化误差之间的差距。
• 模型评估：用测试集、交叉验证和指标判断模型是否真正学到了规律。
• ../统计推断/最大似然估计：许多监督模型训练可解释为最大似然估计。
• ../统计推断/假设检验：比较两个模型是否显著不同可以用检验思想。

典型应用场景

• 医学影像分类、垃圾邮件识别、信用风险评分。
• 房价预测、销量预测、极端负荷预测。
• 异常检测中用有标签异常样本训练分类器。

易错点

• 训练集准确率高不代表泛化好。
• 标签质量决定上限，错误标签会直接污染学习目标。
• 监督学习依赖训练分布与未来应用分布相近。

课后习题

1. 判断任务类型：预测明日最高气温。
2. 为什么监督学习需要独立测试集？
3. 写出监督学习经验风险最小化的一般形式。

答案

1. 回归。
2. 防止只评估模型对训练数据的记忆能力。
3. $\arg\min_{f\in\mathcal F}\frac{1}{n}\sum_i L(f(x_i),y_i)$。