《大规模分布式计算深入解析》9.1 join 实现:hash/sort/broadcast
join 的本质是「按 key 把两侧数据对上」,对上的方式有三种:广播小表做哈希查找、两侧 shuffle 后哈希匹配、shuffle 后排序归并。本节比较三种实现的网络、内存与磁盘成本,给出选择依据,并说明为什么「小表能不能广播」往往决定 join 快不快。
category
join 的本质是「按 key 把两侧数据对上」,对上的方式有三种:广播小表做哈希查找、两侧 shuffle 后哈希匹配、shuffle 后排序归并。本节比较三种实现的网络、内存与磁盘成本,给出选择依据,并说明为什么「小表能不能广播」往往决定 join 快不快。
逻辑计划说「做什么」,物理计划说「怎么做」:同样的 join 可以是 broadcast、sort-merge 或 hash join,选哪个取决于表大小与统计信息。选完之后,whole-stage codegen 把整条算子链编译成一段 Java 字节码,消除虚函数调用与中间对象。lab 复现 join 策略选择与代码生成收益。
Catalyst 的优化不外乎两类:让数据变少(谓词下推、列裁剪)、让计算变少(常量折叠、公共子表达式)。三条核心规则对应两种「减法」,理解它们就理解了为什么同样的逻辑,声明式写法比手写 RDD 更快。lab 复现裁剪列数、常量折叠与规则数量。
RDD 只知道「怎么算」,不知道「数据长什么样」,所以引擎无法重写它。DataFrame/Dataset 补上 schema,让查询先变成一棵逻辑计划树(Scan/Filter/Project/Join/Aggregate),再由 Catalyst 优化成物理计划。本节讲逻辑计划的构成与 Analyzer 的作用。
计算内部的「结果唯一」不等于端到端的「精确一次」:任务可能重试多次,但只有提交的那次可见;一旦写外部系统,重复执行就可能重复写入。本节讲 Spark 的提交协议与输出提交协调器,说明为什么「计算层精确一次 + 存储层幂等」才能拼出端到端精确一次。
普通RDD块miss、Shuffle FetchFailed、广播重新获取与检查点缺失分别恢复,按产物和故障域确定重算范围。
以检查点的标记、写入和成功截断描述恢复,不再承诺检查点与缓存全丢后旧血缘仍在。
推测以Stage完成比例、运行耗时和效率路径选候选;副本用共同时间轴竞争,授权与外部副作用分别处理。
TaskEndReason决定计数、阶段恢复或立即失败;计数失败耗尽会令Job失败,不能再承诺通用Stage兜底。
分开stage taskBinary广播、每task封装和Executor反序列化;数据Kryo不改变固定Java闭包serializer。
以对象图、编码载荷、算子内存、native开销和任务工作集定位GC、spill和OOM,按真实读取次数估解码成本。
区分算子spill、StorageLevel落盘和LRU;候选访问序、锁和同RDD限制必须参与驱逐,字节除法不能验证算法。
固定保留字节、统一池、存储保护区与实际占用分别计量;执行可回收的不是全部存储,授予还受task和可驱逐块约束。
静态分配让 Executor 长期占资源,动态分配按待处理任务数伸缩;但缩容会丢掉 Executor 本地盘上的 shuffle 文件,所以需要外部 Shuffle 服务兜底。本节讲两者为什么必须配套,以及 executor 数怎么估算。lab 复现 Executor 需求估算、文件数与 Shuffle 服务的存活性。
历史Hash Shuffle的逐bucket文件不能当成Spark 3.5.7默认行为。现代SortShuffleManager内部可以选择bypass、序列化/unsafe或一般sort路径,选择不是由下游是否要求全局有序直接决定。
map任务用Partitioner决定目标分区;writer可能缓冲、排序、序列化并spill,再由resolver提交最终输出。map-side combine只有在语义允许时才减少记录,比较groupByKey和reduceByKey需固定聚合、键分布与结果。
按Pool树、minShare欠额和running/weight解释FAIR,区分应用内调度、本地性等待与集群资源公平。
Stage提交依赖可用产物,Stage内迭代器流水;FetchFailed、任务失败耗尽及不可重放输入有不同终点。
拆解 Spark 3.5.7 的 ResultStage、ShuffleMapStage、共享 Shuffle 和请求分区,给出线性 Lab 与真实 DAG 的边界。
持久化保留依赖,可靠checkpoint完成后替换依赖;说明目录、localCheckpoint级别、发布失败与跨应用显式读取。