模拟组会：第 07 次

综合实践 · 06_论文与组会/模拟组会_第07次.md

主题

如何让模型结果更可信：不确定性、稳健性和敏感性。

大家好，我这次准备的是统计和机器学习结果的可靠性问题，重点是不确定性、稳健性检查和敏感性分析。

我目前的理解是，一个模型输出的点估计或单个评价指标通常不够支撑完整结论。比如一个模型的准确率、一个风险指标或一个回归系数，都需要进一步说明不确定性和稳定性。否则结果可能只是当前样本、当前模型或当前参数设定下的偶然表现。

Bootstrap 是一种常见的不确定性估计方法。它通过从已有样本中反复有放回抽样，得到统计量的经验分布，从而估计标准误或置信区间。它的优点是直观、实现方便，但也依赖样本本身能代表总体。

稳健性检查关注的是，换一种合理设定后，主要结论是否仍成立。比如换模型、换指标、换样本范围，或者改变变量定义。如果结论在这些设定下大体一致，就更可信；如果变化很大，就要谨慎解释。

敏感性分析更关注结果对某些关键参数或假设的敏感程度。比如极值模型中的阈值选择、机器学习中的分类阈值、复杂系统仿真中的个体规则，都会影响最终结果。

所以我现在写报告时，会尽量避免“模型证明了”这种表达，而是说“在当前数据和模型设定下，结果支持……”。如果能补充不确定性、稳健性和局限，结论会更专业，也更能承受追问。

Bootstrap 通常从已有样本中重抽样，用来估计统计量不确定性；蒙特卡洛更多是基于设定的随机机制反复模拟，用来近似概率、期望或模型行为。

稳健性检查看结论在不同合理设定下是否仍成立；敏感性分析更关注某些参数或假设变化时结果如何变化。

点估计没有说明不确定性。样本变化、模型变化或参数变化都可能导致结果变化。

如果原始样本有偏，Bootstrap 只是围绕有偏样本重抽样，不能自动修正数据来源问题。

因为仿真结果可能高度依赖个体规则、初始条件和参数设置。敏感性分析能帮助判断结论是否只是特定设定下的结果。