9.3 自适应 join 与倾斜处理
9.1 讲分区合并,9.2 讲分区裁剪,两者都在处理「分区数量」;这一节处理分区大小。一个 shuffle 作业有 100 个任务,其中 99 个几分钟就跑完,剩下 1 个跑了几个小时——总耗时由最慢的那个决定,其余 99 个任务早已空转等待。这就是数据倾斜。
倾斜处理的难点不在「发现」,而在「发现得准、拆得动、拆完不引入新问题」。AQE 把这三件事都放到运行时做,因为它要观测的正是「实际分区有多大」。
倾斜长什么样
倾斜的典型表现是任务耗时分布极端不均。从分区大小看,长这样:
| 分区 | 大小 | 状态 |
|---|---|---|
| 分区 1 | 100MB | 正常 |
| 分区 2 | 120MB | 正常 |
| 分区 3 | 90MB | 正常 |
| 分区 4 | 600MB | 超阈值 |
| 分区 5 | 700MB | 超阈值 |
| 分区 6 | 800MB | 超阈值 |
| 分区 7 | 110MB | 正常 |
| 分区 8 | 95MB | 正常 |
| 分区 9 | 105MB | 正常 |
| 分区 10 | 130MB | 正常 |
10 个分区里 3 个超过 500MB,其余都在 100MB 上下(用例 84)。这不是随机波动,而是 key 分布本身的问题:某几个热门 key 聚集了大量行,按 key 哈希后自然落进同几个分区。
判定:阈值怎么定
倾斜判定要回答两个问题:和谁比、超过多少算异常。AQE 的常用口径是「超过中位数的若干倍」,9.1 的用例 79 给出中位数 100MB、倍数 5、阈值 500MB:
倾斜阈值 = 中位数 × 倍数 = 100MB × 5 = 500MB
超过阈值的分区数 = 3 个(600、700、800MB)
| 口径 | 数值 | 来源 |
|---|---|---|
| 中位数 | 100MB | 用例 79 |
| 倍数 | 5 | 用例 79 |
| 阈值 | 500MB | 用例 79 |
| 超阈值分区 | 3 个 | 用例 84 |
判定阈值不能定得太低,否则正常的波动也会被当成倾斜,白白付出拆分成本;也不能太高,否则真正的长尾被漏掉。5 倍中位数是一个常见起点,实际值要按作业的容错程度调整。
为什么均值不可靠
如果拿平均值做阈值,倾斜本身会把均值拉高。以本例的 10 个分区做公式推导:总和 2750MB,均值 275MB,阈值若取均值 2 倍就是 550MB,仍然能抓到 600/700/800 三个;但若倾斜更极端,比如一个 5GB 加九个 100MB,均值会被拉到 590MB,阈值随之抬高,反而漏掉那个 5GB 的分区。
| 统计量 | 抗倾斜能力 | 适用 |
|---|---|---|
| 平均值 | 差,被长尾拉高 | 分布均匀时 |
| 中位数 | 好,不受极端值影响 | 倾斜判定 |
| 最大值 | 无,只看极端 | 发现最坏情况 |
| 分位数 | 较好,可控 | 精细判定 |
中位数的稳健性来自「一半样本在它下面」:少数超大分区改变不了中位数,阈值就不会被带偏。这也是 AQE 普遍用中位数而不是平均值的原因。
拆:10GB 变 10 个 1GB
发现倾斜分区后,处理方式通常是「拆」。把一个大分区按行切成若干子分区,让多个任务并行处理同一批 key。lab 用例 85 的口径是 10GB 分区按 1GB 拆分:
子任务数 = 分区大小 / 单任务目标
= 10GB / 1GB
= 10 个
| 口径 | 数值 | 说明 |
|---|---|---|
| 倾斜分区 | 10GB | 拆分对象 |
| 单任务目标 | 1GB | 拆分粒度 |
| 子任务数 | 10 个 | 用例 85 |
拆分的本质是把「一个长任务」变成「十个短任务」。原来一个任务要处理 10GB,现在十个任务各处理 1GB,若集群有空闲槽位,长尾时间约降到十分之一。注意这是理想情况:拆分有额外开销,子任务之间还要合并结果,实际加速会低于线性。
拆分之后还要复制另一侧
只拆 build 侧不够。若 join 的另一侧按 key 分区,同一个 key 的所有行仍在同一个分区里,拆开的大分区仍需与对应的另一侧分区关联。常见做法是把另一侧对应分区的数据复制到每个子任务:
| 方案 | 做法 | 代价 |
|---|---|---|
| 只拆一侧 | 子任务各读一段 | 另一侧需可重复读 |
| 拆一侧 + 复制另一侧 | 小侧数据复制到各子任务 | 网络与内存放大 |
| 加盐打散 | 给热门 key 加随机后缀 | 需二次聚合 |
复制的代价与「子任务数 × 另一侧分区大小」成正比。10 个子任务、另一侧 1GB,就要复制 10GB;这个成本必须小于长尾缩短带来的收益,拆分才划算。
整体收益:3600 秒变 1200 秒
单点优化最终要落到作业总时长。lab 用例 86 的口径是优化前 3600 秒、优化后 1200 秒:
加速比 = 优化前 / 优化后
= 3600s / 1200s
= 3 倍
| 口径 | 耗时 | 相对 |
|---|---|---|
| 优化前 | 3600s | 1× |
| 优化后 | 1200s | 3×(用例 86) |
3 倍加速的直觉解释是「长尾被摊平」:原来总时长约等于最长分区的时间,拆分后最长分区变成原来的十分之一量级,但还要加上拆分、复制、合并的开销,所以最终不是 10 倍而是 3 倍。这个差距正好说明:倾斜处理的收益有上限,不能按「拆几份就快几倍」线性外推。
三种常见手段
倾斜处理不只「拆」一种,工程上有三类手段:
| 手段 | 做法 | 适用 |
|---|---|---|
| 分区拆分 | 大分区切成子任务 | 单分区过大 |
| 加盐打散 | 热门 key 加随机后缀 | 少数 key 独占 |
| 广播小侧 | 把小表复制到所有任务 | 一侧足够小 |
| 两阶段聚合 | 先局部聚合再全局 | 聚合场景倾斜 |
加盐与拆分的区别在「谁来承担重复」:拆分让同一 key 的数据分散到多个子任务,另一侧要复制;加盐让同一 key 变成多个虚拟 key,聚合时要再合并一次。前者适合 join,后者适合聚合,选错会让结果或性能出问题。
边界:什么时候不该拆
拆分有成本,下列场景里收益可能为负:
| 场景 | 判断 |
|---|---|
| 分区只略超阈值 | 拆了收益小、开销固定 |
| 集群槽位已满 | 子任务排队,长尾没缩短 |
| 另一侧很大 | 复制成本压过收益 |
| 倾斜来自数据源 | 拆分解决不了读取慢 |
「集群槽位已满」最容易被忽略:拆成 10 个子任务,如果没有空闲槽位,它们仍然要排队执行,总时长不会变短,反而多了调度开销。倾斜处理的前提是「有并行资源可用」,没有资源时该先扩容或错峰。
聚合场景的倾斜长什么样
join 的倾斜看分区大小,聚合的倾斜看 key 频次。GROUP BY user_id 时,如果某个 user_id 有上亿行,它所在的任务就会成为长尾,而其他任务早已结束。
| 场景 | 倾斜源 | 处理手段 |
|---|---|---|
| join 大表 | 热门 key 落在同一分区 | 拆分 + 复制另一侧 |
GROUP BY | 单个 key 行数过大 | 两阶段聚合、加盐 |
COUNT(DISTINCT) | 去重集合过大 | 分桶去重 |
| 窗口函数 | 单分区数据过多 | 重分区或拆分 |
两阶段聚合是聚合倾斜的标准解法:先按「key + 随机后缀」做局部聚合,把单个 key 的压力打散;再按原 key 做一次全局聚合,把后缀去掉。它多了一次 shuffle,但把长尾摊成了多个短任务。
拆分的粒度怎么选
拆分粒度不是越细越好。子任务太小,调度与合并开销会吃掉收益;子任务太大,长尾仍然存在。
| 粒度 | 子任务数 | 风险 |
|---|---|---|
| 过大(如 5GB 一档) | 少 | 长尾仍明显 |
| 适中(如 1GB 一档) | 10 个 | 收益与开销平衡 |
| 过小(如 100MB 一档) | 多 | 调度与合并开销上升 |
1GB 是一个常见的经验档位:它既能把 10GB 的大分区摊成 10 份,又不至于让子任务碎到调度成本占主导。实际值要结合集群槽位数、单任务内存与另一侧复制成本一起定,不能只看分区大小。
判断倾斜是否真的被解决,要看两个指标:最长任务耗时是否接近中位数,以及拆分后子任务是否都拿到了执行槽位。前者说明长尾被摊平,后者说明并行资源确实被用上;只看总时长下降,可能只是集群当时比较空闲。
- 最长任务 / 中位数任务耗时:越接近 1 越均匀。
- 子任务排队时间:长时间排队说明槽位不足。
- 复制字节数:与节省的时间对照,判断是否划算。
倾斜处理的顺序应当是「先判定、再拆分、后观测」:没有判定就拆,容易把正常波动当倾斜;拆完不观测,无法知道复制成本是否吃掉了收益。三步都做完,3 倍加速才是可解释、可复现的结果。
三个常见误解
误解一:倾斜是随机波动,多跑几次就好。 真相:倾斜来自 key 分布,10 个分区里 3 个稳定超过 500MB(用例 84),重跑不会改变分布。
误解二:拆成 10 份就能快 10 倍。 真相:10GB 拆成 10 个 1GB 只是消除了单任务长尾,还要付拆分、复制与合并成本;本例整体从 3600 秒降到 1200 秒,是 3 倍而非 10 倍。
误解三:任何倾斜都值得拆。 真相:分区只略超阈值、集群无空闲槽位、另一侧很大时,拆分成本可能压过收益,应先判断资源与复制代价。
一句话总结本节
倾斜让总耗时由最慢分区决定:10 个分区里 3 个超过 500MB(中位数 100MB 乘 5)就是倾斜。把 10GB 分区按 1GB 拆成 10 个子任务,可把长尾摊平,但拆分、复制、合并都有成本;本例作业从 3600 秒降到 1200 秒、加速 3 倍,而非按拆分数线性外推的 10 倍。
本节 lab
在 bd-engine-lab 中验证倾斜判定与拆分收益:
- 源码:
src/optimizer/Optimizer.java与src/optimizer/OptimizerSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 84 验证「10 个分区 {100,120,90,600,700,800,110,95,105,130}MB 中 3 个超过 500MB」;用例 85 验证「10GB 倾斜分区按 1GB 拆成 10 个子任务」;用例 86 验证「作业从 3600s 降到 1200s,加速 3 倍」。
- 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:长尾任务拖住总时长 → 用中位数 100MB 乘 5 得 500MB 阈值,10 个分区里 3 个超限 → 10GB 分区按 1GB 拆成 10 个子任务,并把另一侧复制过去 → 拆分有复制与合并成本,整体 3600 秒降到 1200 秒是 3 倍 → 无空闲槽位或复制代价过高时不该拆。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。