《大规模分布式计算深入解析·批处理引擎:Spark 内核》全 45 篇,是《大规模分布式计算深入解析》系列的卷二。卷一以 MapReduce 与 HDFS 为对象建立「任务级重放」的框架,本卷把镜头转向内存批处理引擎:以 RDD 的血缘重算为主线,依次展开分区与依赖、DAG 调度、Shuffle、内存管理、执行与容错、Catalyst 优化器、算子实现、结构化流,最后收口于资源、调优、存储与引擎比较;每节配一个可运行的 Java 最小验证,复现该机制的语义。
本页是《大规模分布式计算深入解析·批处理引擎:Spark 内核》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。
系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核(本卷) · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核
全书概览
| 项目 | 内容 |
|---|---|
| 书稿 | 《大规模分布式计算深入解析·批处理引擎:Spark 内核》 |
| 篇数 | 45 篇(15 章 × 3 节) |
| 领域 | 分布式系统原理 × 真实引擎(Spark 内核:RDD / DAG / Shuffle / 内存 / Catalyst / 结构化流) |
| 实验工程 | bd-spark-lab,纯 Java 8,javac -d out $(find src -name '*.java') && java -cp out lab.RunAll,109 用例全过 |
| 上级专题 | 书稿专题 |
全书目录
前置
| 节 | 文章 |
|---|---|
| — | 目录与学习路径 |
第 1 章 从 MapReduce 到 RDD
| 节 | 文章 |
|---|---|
| 1.1 | 1.1 为什么需要 RDD(弹性分布式数据集) |
| 1.2 | 1.2 惰性求值与血缘(lineage) |
| 1.3 | 1.3 Driver-Executor 架构与作业生命周期 |
第 2 章 RDD 核心抽象
| 节 | 文章 |
|---|---|
| 2.1 | 2.1 分区与并行度 |
| 2.2 | 2.2 窄依赖与宽依赖(narrow/wide) |
| 2.3 | 2.3 持久化级别与检查点 |
第 3 章 DAG 调度
| 节 | 文章 |
|---|---|
| 3.1 | 3.1 作业、阶段与任务划分 |
| 3.2 | 3.2 阶段提交与流水线化 |
| 3.3 | 3.3 调度模式:FIFO/FAIR 与本地化等待 |
第 4 章 Shuffle
| 节 | 文章 |
|---|---|
| 4.1 | 4.1 shuffle write/read 路径 |
| 4.2 | 4.2 Hash/排序/合并(Tungsten Sort) |
| 4.3 | 4.3 动态分配与 Shuffle 服务 |
第 5 章 内存管理
| 节 | 文章 |
|---|---|
| 5.1 | 5.1 统一内存:执行/存储分区 |
| 5.2 | 5.2 溢出(spill)与外存存储 |
| 5.3 | 5.3 内存压力、GC 与调参 |
第 6 章 任务执行
| 节 | 文章 |
|---|---|
| 6.1 | 6.1 任务运行与序列化 |
| 6.2 | 6.2 任务失败重试与重算 |
| 6.3 | 6.3 推测执行与黑名单 |
第 7 章 执行容错与精确一次
| 节 | 文章 |
|---|---|
| 7.1 | 7.1 血缘重算 vs 检查点 |
| 7.2 | 7.2 块丢失与重新计算 |
| 7.3 | 7.3 精确一次与任务级容错 |
第 8 章 Catalyst 与物理执行
| 节 | 文章 |
|---|---|
| 8.1 | 8.1 DataFrame/Dataset 与逻辑计划 |
| 8.2 | 8.2 优化规则:谓词下推/列裁剪/常量折叠 |
| 8.3 | 8.3 物理计划与代码生成(Tungsten) |
第 9 章 算子实现
| 节 | 文章 |
|---|---|
| 9.1 | 9.1 join 实现:hash/sort/broadcast |
| 9.2 | 9.2 聚合与窗口:两阶段聚合与窗口帧 |
| 9.3 | 9.3 分区修剪与自适应执行(AQE) |
第 10 章 结构化流(微批)
| 节 | 文章 |
|---|---|
| 10.1 | 10.1 微批模型:把流切成小批 |
| 10.2 | 10.2 状态与水印:乱序、迟到与状态清理 |
| 10.3 | 10.3 输出模式与端到端精确一次 |
第 11 章 资源与动态分配
| 节 | 文章 |
|---|---|
| 11.1 | 11.1 动态分配:按需增减执行器 |
| 11.2 | 11.2 执行器扩缩容:申请、槽位与回收 |
| 11.3 | 11.3 与 K8s/YARN 协同:容器里的 Spark |
第 12 章 性能调优
| 节 | 文章 |
|---|---|
| 12.1 | 12.1 性能调优之一:分区数与并行度 |
| 12.2 | 12.2 性能调优之二:数据倾斜(加盐与热点分离) |
| 12.3 | 12.3 性能调优之三:Shuffle 与 IO |
第 13 章 与文件系统/数据湖集成
| 节 | 文章 |
|---|---|
| 13.1 | 13.1 读源与分区发现:Spark 眼里的文件 |
| 13.2 | 13.2 写出语义:覆盖、追加与幂等 |
| 13.3 | 13.3 列式存储与谓词下推:Parquet/ORC 为什么快 |
第 14 章 引擎比较
| 节 | 文章 |
|---|---|
| 14.1 | 14.1 与 MapReduce/Tez 比较:三代批引擎 |
| 14.2 | 14.2 与 Flink 的定位差异:微批 vs 连续流 |
| 14.3 | 14.3 统一批流:Lambda、Kappa 与表格式 |
第 15 章 卷二收口:通向连续流
| 节 | 文章 |
|---|---|
| 15.1 | 15.1 Spark 的设计空间:五个轴上的取舍 |
| 15.2 | 15.2 卷二主线回顾:血缘重算是怎么贯穿全书的 |
| 15.3 | 15.3 微批的局限与 Flink 的动机:卷三入口 |
相关阅读
- 书稿专题 :站内全部书稿的入口。
- 卷二 目录与学习路径 :45 篇的三条阅读路线、十五章依赖关系与逐节索引。
- 卷一 计算模型与分布式文件系统 :任务级重放、HDFS 与 YARN 的完整框架,是本卷的直接前驱。
- 卷三 流计算与状态引擎:Flink 内核 :本卷 15.3 立起的微批局限与连续流动机,将在卷三展开为状态检查点与水印。
- 卷四 调度、数据湖与分布式训练 :本卷 13.3 的列式存储与表格式讨论,将在卷四展开为数据湖目录事务。