稳健性与不确定性报告手册

综合实践 · 08_资料库/稳健性与不确定性报告手册.md

稳健性与不确定性报告手册

目标

课程作业和组会中，不要只报告“模型结果”。要能说明结果是否稳定、不确定性在哪里、哪些结论不能过度解释。

什么时候需要写不确定性

几乎所有统计和机器学习结果都需要：

• 参数估计。
• 模型评价指标。
• 风险指标。
• 曲线或预测结果。
• 小样本分析。
• 极端事件分析。

常见不确定性表达

置信区间

• 均值、回归系数、风险指标等单个数值。

适合：

稳妥表达：

点估计为……，但置信区间显示估计仍存在一定不确定性。

Bootstrap

• 理论标准误不好推导。
• 指标或统计量较复杂。

适合：

稳妥表达：

为评估结果稳定性，我使用 Bootstrap 重抽样估计该指标的不确定性。

置信带

• 曲线、趋势、预测路径。

适合：

稳妥表达：

曲线中部估计相对稳定，但尾部置信带较宽，因此尾部解释需要谨慎。

稳健性检查怎么设计

至少从 5 个方向选 2 个：

• 换模型：线性回归 vs 随机森林。
• 换指标：accuracy vs recall vs AUC。
• 换样本：全样本 vs 子样本。
• 换阈值：95% vs 97.5% vs 99%。
• 换变量定义：不同特征构造或清洗规则。

敏感性分析怎么写

结构：

1. 哪个设定可能影响结果。
2. 改变这个设定的范围。
3. 结果是否变化。
4. 主要结论是否仍成立。

稳妥表达：

敏感性分析显示，主要结论在……范围内基本一致，但当……时结果变化较大，说明该设定对结论有明显影响。

AI 结果常见问题

• 只给点估计，不给不确定性。
• 只报告一个模型，不做对比。
• 不说明阈值选择依据。
• 把 Bootstrap 结果说得过于确定。
• 忽略样本偏差和数据质量问题。

报告中的标准段落

为避免结论依赖单一设定，本文进行了稳健性检查。具体包括……。结果显示……。因此，主要结论在……条件下相对稳定。但需要注意，结论仍受到……限制，后续可通过……进一步验证。

不建议写

• 结果完全可靠。
• 模型证明了……
• Bootstrap 证明结论一定成立。
• 换了一个指标结果差不多，所以没有问题。

建议写

• 结果在当前设定下较为稳定。
• 该分析支持……，但不能证明……。
• 不确定性主要来自……
• 后续需要更多数据或更严格设计验证。