概念卡：数据管道 Data Pipeline

综合实践 · 01_专业概念地图/概念卡_数据管道.md

概念卡：数据管道 Data Pipeline

一句话定义

数据管道是把数据从采集、清洗、转换、建模到输出结果串起来的流程。

它解决什么问题

它让数据分析和机器学习任务可复现、可维护、可扩展。

典型使用场景

• 批量处理日志数据。
• 自动化特征生成和模型训练。
• 课程项目或论文复现中的数据流程整理。

需要知道的关键词

• ETL
• Workflow
• Reproducibility
• Automation
• Data Version

和导师方向的关系

大数据研究中，数据管道是把数据资源转化为可分析结果的基础。

交流时可以怎么说

我会先把数据处理流程整理成管道，保证每一步可复现，而不是手工零散处理。

如果后续数据规模变大，可以把本地流程迁移到 Spark 或其他分布式工具。

可以追问的问题

• 数据从哪里来，如何更新？
• 每一步处理是否可复现？
• 中间结果是否需要保存和版本管理？

给 AI 的提示词

请解释数据管道在大数据和机器学习中的作用。请给一个从原始数据到模型报告的流程示例。

我的理解边界

• 已理解：数据管道强调流程和复现。
• 还不确定：生产级工具。
• 下次需要补：ETL。