概念卡：Spark

综合实践 · 01_专业概念地图/概念卡_Spark.md

概念卡：Spark

一句话定义

Spark 是用于大规模数据处理和分布式计算的计算框架。

它解决什么问题

它让数据处理任务可以分布到多台机器上执行，从而处理单机难以承受的数据规模。

典型使用场景

• 大规模日志处理。
• 数据清洗和特征工程。
• 分布式机器学习流程。

需要知道的关键词

• Distributed Computing
• DataFrame
• RDD
• Cluster
• PySpark

和导师方向的关系

如果研究涉及大数据，Spark 是常见工程工具。入门阶段不需要深挖底层，只要理解它解决的是规模和计算问题。

交流时可以怎么说

如果数据规模超出单机 pandas 的处理能力，可以考虑用 Spark 做分布式数据处理。

我目前更关注 Spark 的 DataFrame 操作和数据管道，不先深入底层调度。

可以追问的问题

• 当前数据量是否真的需要 Spark？
• 任务瓶颈在 I/O、计算还是模型训练？
• 是否可以先用小样本 pandas 跑通逻辑，再迁移到 Spark？

给 AI 的提示词

请解释 Spark 和 pandas 的区别。要求说明什么时候需要 Spark、PySpark DataFrame 的基本思路，以及学习优先级。

我的理解边界

• 已理解：Spark 解决大规模数据处理问题。
• 还不确定：集群配置和性能优化。
• 下次需要补：PySpark DataFrame 基础。