模拟组会：第 05 次

综合实践 · 06_论文与组会/模拟组会_第05次.md

主题

从分类任务理解评价指标、数据泄漏和结果解释。

大家好，我这次准备的是机器学习分类任务中的评价和结果解释。

我目前的理解是，拿到一个数据分析任务后，第一步不是直接跑模型，而是先判断任务类型。如果结果变量是类别，比如是否故障、是否高风险、是否流失，那么它就是分类任务。分类任务通常需要先明确标签、特征、训练测试划分和评价指标。

评价分类模型时，准确率是最直观的指标，但它不总是可靠。尤其在类别不平衡时，比如高风险样本只占 1%，一个模型即使全部预测为低风险，也可能有很高准确率。因此我会进一步看混淆矩阵，判断模型主要是误报还是漏报。

AUC 则更多反映模型的排序能力。它可以帮助比较模型是否能把正例排在负例前面，但如果要真正部署或做决策，还需要选择阈值，并结合 precision、recall 和混淆矩阵解释。

另一个需要特别注意的是数据泄漏。如果模型训练时使用了预测时不可能获得的信息，比如未来数据或目标变量的变体，那么测试表现会虚高。时间序列任务和复杂数据管道里尤其容易出现这个问题。

所以我现在处理机器学习作业时，会按流程检查：任务定义、数据质量、训练测试划分、特征工程、基准模型、评价指标、结果解释和局限。这样即使模型不复杂，报告也会比较稳。

因为准确率只看整体预测对了多少，不能说明模型在哪类样本上犯错。如果类别不平衡，准确率可能虚高。

它展示真实类别和预测类别的对应关系，可以看出误报和漏报。对于风险预警任务，漏报可能比误报更严重。

不一定。AUC 主要衡量排序能力，不直接说明某个阈值下的实际错误结构。还需要结合混淆矩阵和业务目标。

数据泄漏是训练时使用了现实预测时不可获得的信息，导致评估表现虚高。

不一定。异常值可能是数据错误，也可能是真实极端事件。极值方向尤其不能简单删除极端样本。