posts

《大规模分布式计算深入解析·批处理引擎:Spark 内核》 · 全书目录与章节索引(45 篇)

《大规模分布式计算深入解析》卷二的 45 篇全书索引:从 RDD 的动机、惰性求值与血缘,到分区依赖、DAG 调度与流水线、Shuffle 路径与实现、统一内存与 spill,再到任务执行与序列化、重试与推测、块丢失与提交协议,随后是 Catalyst 逻辑/物理计划与 codegen、join 与聚合实现、分区修剪与 AQE,最后是结构化流的微批、状态与水印、输出模式,以及与资源管理、性能调优、存储集成、引擎比较和卷二收口;每节配一个可运行的 Java 最小验证,共 109 用例。

《大规模分布式计算深入解析·批处理引擎:Spark 内核》全 45 篇,是《大规模分布式计算深入解析》系列的卷二。卷一以 MapReduce 与 HDFS 为对象建立「任务级重放」的框架,本卷把镜头转向内存批处理引擎:以 RDD 的血缘重算为主线,依次展开分区与依赖、DAG 调度、Shuffle、内存管理、执行与容错、Catalyst 优化器、算子实现、结构化流,最后收口于资源、调优、存储与引擎比较;每节配一个可运行的 Java 最小验证,复现该机制的语义。

本页是《大规模分布式计算深入解析·批处理引擎:Spark 内核》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。

系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核(本卷) · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核

下载本卷 Java 8 教学实验 · 下载原生实验

全书概览

项目内容
书稿《大规模分布式计算深入解析·批处理引擎:Spark 内核》
篇数45 篇(15 章 × 3 节)
领域分布式系统原理 × 真实引擎(Spark 内核:RDD / DAG / Shuffle / 内存 / Catalyst / 结构化流)
实验工程bd-spark-lab,纯 Java 8,javac -d out $(find src -name '*.java') && java -cp out lab.RunAll,109 用例全过
上级专题书稿专题

全书目录

前置

节文章
—目录与学习路径

第 1 章 从 MapReduce 到 RDD

节文章
1.11.1 为什么需要 RDD(弹性分布式数据集)
1.21.2 惰性求值与血缘(lineage)
1.31.3 Driver-Executor 架构与作业生命周期

第 2 章 RDD 核心抽象

节文章
2.12.1 分区与并行度
2.22.2 窄依赖与宽依赖(narrow/wide)
2.32.3 持久化级别与检查点

第 3 章 DAG 调度

节文章
3.13.1 作业、阶段与任务划分
3.23.2 阶段提交与流水线化
3.33.3 调度模式:FIFO/FAIR 与本地化等待

第 4 章 Shuffle

节文章
4.14.1 shuffle write/read 路径
4.24.2 Hash/排序/合并(Tungsten Sort)
4.34.3 动态分配与 Shuffle 服务

第 5 章 内存管理

节文章
5.15.1 统一内存:执行/存储分区
5.25.2 溢出(spill)与外存存储
5.35.3 内存压力、GC 与调参

第 6 章 任务执行

节文章
6.16.1 任务运行与序列化
6.26.2 任务失败重试与重算
6.36.3 推测执行与黑名单

第 7 章 执行容错与精确一次

节文章
7.17.1 血缘重算 vs 检查点
7.27.2 块丢失与重新计算
7.37.3 精确一次与任务级容错

第 8 章 Catalyst 与物理执行

节文章
8.18.1 DataFrame/Dataset 与逻辑计划
8.28.2 优化规则:谓词下推/列裁剪/常量折叠
8.38.3 物理计划与代码生成(Tungsten)

第 9 章 算子实现

节文章
9.19.1 join 实现:hash/sort/broadcast
9.29.2 聚合与窗口:两阶段聚合与窗口帧
9.39.3 分区修剪与自适应执行(AQE)

第 10 章 结构化流(微批)

节文章
10.110.1 微批模型:把流切成小批
10.210.2 状态与水印:乱序、迟到与状态清理
10.310.3 输出模式与端到端精确一次

第 11 章 资源与动态分配

节文章
11.111.1 动态分配:按需增减执行器
11.211.2 执行器扩缩容:申请、槽位与回收
11.311.3 与 K8s/YARN 协同:容器里的 Spark

第 12 章 性能调优

节文章
12.112.1 性能调优之一:分区数与并行度
12.212.2 性能调优之二:数据倾斜(加盐与热点分离)
12.312.3 性能调优之三:Shuffle 与 IO

第 13 章 与文件系统/数据湖集成

节文章
13.113.1 读源与分区发现:Spark 眼里的文件
13.213.2 写出语义:覆盖、追加与幂等
13.313.3 列式存储与谓词下推:Parquet/ORC 为什么快

第 14 章 引擎比较

节文章
14.114.1 与 MapReduce/Tez 比较:三代批引擎
14.214.2 与 Flink 的定位差异:微批 vs 连续流
14.314.3 统一批流:Lambda、Kappa 与表格式

第 15 章 卷二收口:通向连续流

节文章
15.115.1 Spark 的设计空间:五个轴上的取舍
15.215.2 卷二主线回顾:血缘重算是怎么贯穿全书的
15.315.3 微批的局限与 Flink 的动机:卷三入口

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python
books

《大规模分布式计算深入解析》2.1 分区与并行度

分区是 Spark 并行的最小单位:一个分区一个任务,分区数决定「有多少活可并行」,槽位数决定「同时能干多少」。本节讲分区数从哪来(文件分片、shuffle 分区数、repartition/coalesce)、分区太多太少的代价、以及分区器如何决定数据落在哪个分区。lab 复现分区切分、并行度上限与分区函数。

7 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》1.3 Driver-Executor 架构与作业生命周期

Driver 负责规划与调度,Executor 负责执行与缓存,Cluster Manager 负责供货——三个角色把「一张血缘图」变成「一批并行任务」。本节的作业生命周期:行动触发 → DAG 划分 → Stage → TaskSet → 任务执行 → 结果回收;并解释 Driver 单点、Executor 可替换的失败语义。lab 复现并行度与阶段划分。

8 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》1.1 为什么需要 RDD(弹性分布式数据集)

卷二开篇:MapReduce 把计算做成可重放的任务,却把「中间结果」锁在磁盘上。RDD 把抽象从「任务」抬到「数据集」——分区、依赖、不可变、血缘、可缓存,五个特征共同回答了「迭代计算怎么既不落盘又不丢」。lab 用分区切分与并行度复现 RDD 的第一层抽象。

8 分钟阅读
书稿 大数据 分布式计算