Spark 以统一计算引擎处理大规模数据，DataFrame 与 Spark SQL 是最常用入口，Structured Streaming、MLlib 和图计算扩展了实时与机器学习场景。它可运行在本地、YARN、Kubernetes 等环境。
性能并不只取决于内存大小。数据分区、shuffle、文件格式、倾斜、缓存和 Catalyst 执行计划都会改变结果，Python UDF 还可能绕开优化。
学习时应从 DataFrame 和执行计划开始，再根据场景使用流或机器学习模块。查文档要对应版本，生产升级尤其要核对 SQL 行为、连接器和序列化兼容性。