概念卡：数据清洗 Data Cleaning
概念卡：数据清洗 Data Cleaning
一句话定义
数据清洗是发现并处理缺失、重复、异常、格式错误和不一致数据的过程。
它解决什么问题
它保证后续统计分析和机器学习模型建立在相对可靠的数据基础上。
典型使用场景
- 处理缺失值和异常值。
- 统一变量格式和单位。
- 删除重复记录或修正错误标签。
需要知道的关键词
- Missing Value
- Outlier
- Duplicate
- Data Type
- Imputation
和导师方向的关系
大数据和应用统计中，数据清洗往往决定分析结果是否可信。极值任务尤其要谨慎，因为极端值可能既是错误，也可能是研究对象。
交流时可以怎么说
我会先区分异常值是数据错误，还是研究中的极端事件。
清洗规则需要记录下来，否则模型结果很难复现和解释。
可以追问的问题
- 缺失值是随机缺失还是有机制的缺失？
- 极端值应该删除、修正，还是单独建模？
- 清洗规则是否会改变尾部分布？
给 AI 的提示词
请帮我为一个统计建模任务设计数据清洗流程。要求特别说明缺失值、异常值、重复值、变量类型和清洗记录。
我的理解边界
- 已理解：数据清洗不是简单删异常值。
- 还不确定：不同缺失机制如何处理。
- 下次需要补：缺失值插补方法。