posts

《大规模分布式计算深入解析·批处理引擎:Spark 内核》 · 全书目录与章节索引(45 篇)

《大规模分布式计算深入解析》卷二的 45 篇全书索引:从 RDD 的动机、惰性求值与血缘,到分区依赖、DAG 调度与流水线、Shuffle 路径与实现、统一内存与 spill,再到任务执行与序列化、重试与推测、块丢失与提交协议,随后是 Catalyst 逻辑/物理计划与 codegen、join 与聚合实现、分区修剪与 AQE,最后是结构化流的微批、状态与水印、输出模式,以及与资源管理、性能调优、存储集成、引擎比较和卷二收口;每节配一个可运行的 Java 最小验证,共 109 用例。

《大规模分布式计算深入解析·批处理引擎:Spark 内核》全 45 篇,是《大规模分布式计算深入解析》系列的卷二。卷一以 MapReduce 与 HDFS 为对象建立「任务级重放」的框架,本卷把镜头转向内存批处理引擎:以 RDD 的血缘重算为主线,依次展开分区与依赖、DAG 调度、Shuffle、内存管理、执行与容错、Catalyst 优化器、算子实现、结构化流,最后收口于资源、调优、存储与引擎比较;每节配一个可运行的 Java 最小验证,复现该机制的语义。

本页是《大规模分布式计算深入解析·批处理引擎:Spark 内核》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。

系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核(本卷) · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核

下载本卷 Java 8 教学实验 · 下载原生实验

全书概览

项目内容
书稿《大规模分布式计算深入解析·批处理引擎:Spark 内核》
篇数45 篇(15 章 × 3 节)
领域分布式系统原理 × 真实引擎(Spark 内核:RDD / DAG / Shuffle / 内存 / Catalyst / 结构化流)
实验工程bd-spark-lab,纯 Java 8,javac -d out $(find src -name '*.java') && java -cp out lab.RunAll,109 用例全过
上级专题书稿专题

全书目录

前置

节文章
—目录与学习路径

第 1 章 从 MapReduce 到 RDD

节文章
1.11.1 为什么需要 RDD(弹性分布式数据集)
1.21.2 惰性求值与血缘(lineage)
1.31.3 Driver-Executor 架构与作业生命周期

第 2 章 RDD 核心抽象

节文章
2.12.1 分区与并行度
2.22.2 窄依赖与宽依赖(narrow/wide)
2.32.3 持久化级别与检查点

第 3 章 DAG 调度

节文章
3.13.1 作业、阶段与任务划分
3.23.2 阶段提交与流水线化
3.33.3 调度模式:FIFO/FAIR 与本地化等待

第 4 章 Shuffle

节文章
4.14.1 shuffle write/read 路径
4.24.2 Hash/排序/合并(Tungsten Sort)
4.34.3 动态分配与 Shuffle 服务

第 5 章 内存管理

节文章
5.15.1 统一内存:执行/存储分区
5.25.2 溢出(spill)与外存存储
5.35.3 内存压力、GC 与调参

第 6 章 任务执行

节文章
6.16.1 任务运行与序列化
6.26.2 任务失败重试与重算
6.36.3 推测执行与黑名单

第 7 章 执行容错与精确一次

节文章
7.17.1 血缘重算 vs 检查点
7.27.2 块丢失与重新计算
7.37.3 精确一次与任务级容错

第 8 章 Catalyst 与物理执行

节文章
8.18.1 DataFrame/Dataset 与逻辑计划
8.28.2 优化规则:谓词下推/列裁剪/常量折叠
8.38.3 物理计划与代码生成(Tungsten)

第 9 章 算子实现

节文章
9.19.1 join 实现:hash/sort/broadcast
9.29.2 聚合与窗口:两阶段聚合与窗口帧
9.39.3 分区修剪与自适应执行(AQE)

第 10 章 结构化流(微批)

节文章
10.110.1 微批模型:把流切成小批
10.210.2 状态与水印:乱序、迟到与状态清理
10.310.3 输出模式与端到端精确一次

第 11 章 资源与动态分配

节文章
11.111.1 动态分配:按需增减执行器
11.211.2 执行器扩缩容:申请、槽位与回收
11.311.3 与 K8s/YARN 协同:容器里的 Spark

第 12 章 性能调优

节文章
12.112.1 性能调优之一:分区数与并行度
12.212.2 性能调优之二:数据倾斜(加盐与热点分离)
12.312.3 性能调优之三:Shuffle 与 IO

第 13 章 与文件系统/数据湖集成

节文章
13.113.1 读源与分区发现:Spark 眼里的文件
13.213.2 写出语义:覆盖、追加与幂等
13.313.3 列式存储与谓词下推:Parquet/ORC 为什么快

第 14 章 引擎比较

节文章
14.114.1 与 MapReduce/Tez 比较:三代批引擎
14.214.2 与 Flink 的定位差异:微批 vs 连续流
14.314.3 统一批流:Lambda、Kappa 与表格式

第 15 章 卷二收口:通向连续流

节文章
15.115.1 Spark 的设计空间:五个轴上的取舍
15.215.2 卷二主线回顾:血缘重算是怎么贯穿全书的
15.315.3 微批的局限与 Flink 的动机:卷三入口

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python
books

《大规模分布式计算深入解析·批处理引擎:Spark 内核》目录与学习路径

《大规模分布式计算深入解析·批处理引擎:Spark 内核》的目录与学习路径:45 篇逐节索引、三条阅读路线、十五章依赖关系,以及本卷与卷一、数据工程专题、Flink 专题的分工边界;每节配一个可运行的 Java 最小验证,正文以 RDD、DAG、Shuffle、内存管理、Catalyst 与结构化流为对象讲分布式批处理引擎内核。

7 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》15.3 微批的局限与 Flink 的动机:卷三入口

微批的四个局限都是结构性的:延迟有「批间隔」下界、状态只在批边界更新、事件时间处理以批为单位、每批都有固定开销。这些无法靠调优消除,只能换模型。Flink 的动机正在于此:连续处理、屏障式一致点、逐条状态更新。本节收束卷二,并给出卷三的问题清单。

5 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》15.1 Spark 的设计空间:五个轴上的取舍

回顾全书,Spark 的每个设计都能放进五个轴:抽象层次(RDD → DataFrame)、执行模型(DAG + 流水线)、数据传递(内存/落盘)、容错(血缘/检查点)、资源(动态分配)。每个轴上它都选了一个「折中位置」,而不是极值。本节把卷二的整体设计空间收成一张图,并指出每个选择的代价。

6 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》14.3 统一批流:Lambda、Kappa 与表格式

Lambda 架构用两条链路(批 + 流)分别保证准确与实时,代价是两套代码、两套口径;Kappa 架构只保留流,用重放历史来补准确,代价是「重放成本」与「顺序约束」。第三代统一趋势是「同一份代码、两种运行模式」,而数据湖表格式让批与流共用同一张表。本节比较三条路径的代价。

5 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》14.2 与 Flink 的定位差异:微批 vs 连续流

Spark 与 Flink 的差别不是「谁更快」,而是「把谁当原生」:Spark 把流当小批,Flink 把批当有界流。前者延迟有秒级下界但生态与批处理强,后者毫秒延迟但状态与 checkpoint 模型更复杂。本节讲两种模型的延迟来源、状态管理差异,以及「什么业务真的需要毫秒」。

6 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》13.3 列式存储与谓词下推:Parquet/ORC 为什么快

列式存储把「同一列的值放一起」,于是两件事成为可能:只读用到的列(列裁剪),用统计信息跳过整块数据(谓词下推)。行式存储两者都做不到。本节讲 Parquet/ORC 的行组结构、min/max 统计如何实现跳过、编码为什么高效,以及「文件大小」为什么决定下推的有效性。

6 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》13.2 写出语义:覆盖、追加与幂等

写出的语义比读取更容易出错:overwrite 会整段替换、append 会累加,重跑一次作业结果可能翻倍。分区写出(partitionBy)能减少冲突范围,但也制造小文件。本节讲四种写出模式的语义、提交协议如何保证「写完才可见」,以及为什么重跑幂等要靠「覆盖」而不是「追加」。

5 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》13.1 读源与分区发现:Spark 眼里的文件

Spark 读文件时做三件事:列举目录、按分区列推断、按块切分。分区发现决定「看得见多少数据」,分片大小决定「并行度多少」,小文件则同时拖慢列举与读取。本节讲文件源的三种组织方式、分区发现的两种模式,以及为什么「几千个小文件」比「一个 10GB 大文件」更慢。

5 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》12.1 性能调优之一:分区数与并行度

分区数是最便宜也最容易被忽略的调优旋钮:太少则并行度不足、单个任务巨大;太多则调度与文件开销压倒计算。合理的分区数由「数据量 ÷ 目标分区大小」算出,并要与 Executor 核数匹配。本节给出经验公式、常见症状与诊断方法,并说明为什么「调大 shuffle 分区数」不是万能药。

6 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》11.3 与 K8s/YARN 协同:容器里的 Spark

Spark 自己不管机器,资源由 YARN 或 Kubernetes 提供。YARN 以「容器 + ApplicationMaster」为中心,K8s 以「Pod + 控制器」为中心,两者的差异影响 Driver 的存活、Executor 的创建速度与资源隔离的粒度。本节讲两种模式的结构、混部时的隔离手段,以及为什么「Executor 被 OOMKill」往往不是 Spark 配置问题。

6 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》11.2 执行器扩缩容:申请、槽位与回收

扩缩容不是「加机器」这么简单:Executor 是一个进程,有自己的内存布局、核数与槽位、启动与回收路径。核数决定并发任务数、内存决定能缓存多少、off-heap 决定能绕开多少 GC。本节讲 Executor 从申请到回收的完整生命周期,以及扩容为什么有几十秒的延迟、为什么本地性等待要设阈值。

6 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》11.1 动态分配:按需增减执行器

静态分配让作业在空闲时也占着资源,动态分配则按「待处理任务数」估算需要多少 Executor:有活加机器、空闲超时回收。它改善了集群利用率,代价是资源抖动与本地性下降——而且它几乎要求外部 Shuffle 服务同时存在,否则被回收的 Executor 会把 shuffle 输出一起带走。

6 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》10.2 状态与水印:乱序、迟到与状态清理

流处理的困难不在「处理新数据」,而在「记住旧数据」:聚合要维护每个 key 的累加器,join 要缓存另一侧的行。数据还可能乱序到达,所以需要水印来判断「什么时候可以认为某个时间窗口的数据到齐了」。本节讲状态的生命周期、水印的推进规则与迟到数据的三种处理策略。

6 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》10.1 微批模型:把流切成小批

结构化流没有另起一套执行引擎,而是把「无限的表」切成一个个小的有限批,复用批处理的 DAG、shuffle 与容错。代价是延迟有下界:端到端延迟 = 批间隔 + 处理时间,且永远不可能低于批间隔。本节讲微批的切分、offset 管理、checkpoint 与为什么它能天然获得批处理的精确一次。

5 分钟阅读
书稿 大数据 分布式计算
books

《大规模分布式计算深入解析》9.3 分区修剪与自适应执行(AQE)

静态优化靠估算,估算经常不准:统计信息缺失、数据倾斜、文件大小未知。「读得少」的两条路是分区修剪(读之前就知道哪些分区不用读)与自适应执行 AQE(跑完一个 stage 后按真实统计重排计划)。本节讲静态裁剪、动态裁剪、分区合并与倾斜切分,以及为什么 AQE 把「估算问题」变成了「运行期修正」。

6 分钟阅读
书稿 大数据 分布式计算