《大规模分布式计算深入解析》9.1 AQE 与运行时统计

静态计划在运行前把算子定死,估算错了只能一路错到底。AQE 用运行时统计纠偏:200 个 5MB 小分区合并成 10 个 100MB 分区,build 侧实际 200MB 超 64MB 就切 shuffle join,并用中位数 100MB 乘 5 得 500MB 倾斜阈值。

9.1 AQE 与运行时统计

8.2 和 8.3 的代价优化都发生在执行之前。计划一旦定稿,算子数量、分区数、join 算法就固定下来;如果统计估错了,整个执行过程只能沿着错误计划走到底。自适应查询执行(adaptive query execution,AQE)要解决的正是这件事:把一部分决策推迟到运行时,用真实数据反过来修正计划。

它的核心不是更聪明的估算,而是「先跑一段、看一眼、再决定」。这让它天然能处理静态统计最难处理的两类问题:小分区过多,以及 build 侧大小估错。

静态计划的三处盲点

静态计划在提交时就确定了三件事,而这三件事都依赖估算:

决策依据估错后的后果
分区数shuffle 分区参数分区过小、任务过多
join 算法build 侧估算大小广播失败或该广播没广播
并行度输入大小估算任务空转或排队

这三处盲点有一个共同点:它们都可以在运行时被观测到。分区写完就知道多大,build 侧读完就知道多少行,倾斜一眼就能从分区大小看出来。AQE 的价值,就是把这些「事后才知道」的信息反馈给还没执行的部分。

运行时统计从哪来

AQE 依赖的不是表级统计,而是物化点(materialization point)上的真实数据。常见来源有三类:

来源观测内容典型用途
Shuffle 写端每个分区的字节数、行数合并小分区、识别倾斜
build 侧读取实际行数、实际字节数切换 join 策略
算子输出实际输出行数修正后续 join 基数

关键是「物化点」:只有数据真正写出来或读进来,统计才是真实的。AQE 把计划切成若干段,每段之间插入物化点,在物化点上读取统计、重新规划下一段。切得越细,纠偏越及时,但调度开销也越大。

倾斜阈值:中位数 × 5

AQE 判定倾斜的常用口径是「分区大小超过中位数的若干倍」。lab 用例 79 的口径是中位数 100MB、倍数 5:

倾斜阈值 = 中位数 × 倍数
         = 100MB × 5
         = 500MB
参数取值说明
分区大小中位数100MB运行时观测
倍数5判定参数
倾斜阈值500MB用例 79

用中位数而不是平均值,是为了不被倾斜本身带偏。如果 10 个分区里有 1 个 10GB、其余 100MB,平均值会被拉到 1GB 以上,反而掩盖了那一个异常分区;中位数仍然稳稳落在 100MB,阈值 500MB 能准确把那一个挑出来。

分区合并:200 个变 10 个

小分区过多是 shuffle 之后最常见的问题。每个分区对应一个任务,分区太多会让任务启动、调度、输出文件的固定开销压过真实计算。

lab 用例 80 的口径是 200 个 5MB 分区,目标分区大小 100MB:

总数据量 = 200 × 5MB = 1000MB
合并后分区数 = 1000MB / 100MB = 10 个
口径分区数单分区大小
合并前2005MB
合并后10100MB(用例 80)

200 个任务变成 10 个,固定开销降了 20 倍。合并发生在 shuffle 写完之后、下游读取之前,不改变数据内容,只改变「怎么切」。这也是 AQE 最容易拿到收益的一项:它不需要重新估算,只需要看一眼实际分区大小。

build 侧超阈值:切换 join 策略

广播 join 的前提是 build 侧足够小,能塞进每个 executor 的内存。静态计划按估算大小决定是否广播;估算偏小,就会在运行时 OOM,或者退化成昂贵的重试。

lab 用例 81 的口径是 build 侧实际 200MB、阈值 64MB:

实际 build 大小 200MB > 阈值 64MB
→ 放弃 broadcast,切换为 shuffle join
口径build 侧大小决策
估算(静态)可能小于 64MB选择 broadcast
实际(运行时)200MB超过阈值,切换 shuffle(用例 81)

切换的收益不是「更快」,而是「不失败」。广播一个 200MB 的表到几百个 executor,可能直接 OOM;改成 shuffle join 后,两侧都按 key 重分布,内存压力被摊平。AQE 在这里做的是止损,不是加速。

三类自适应决策的账本

把三项放在一起,可以看出 AQE 的决策都遵循同一个模式:观测 → 比较阈值 → 改写计划。

决策观测阈值/目标动作
合并小分区分区大小分布目标 100MB200 个并为 10 个
识别倾斜分区大小中位数中位数 × 5标记超 500MB 的分区
切换 joinbuild 侧实际大小64MB超阈值改 shuffle

三项都不依赖事前统计,只依赖运行时已经发生的真实数据。这正是 AQE 与 CBO 的分工:CBO 在事前给出初始计划,AQE 在事中修正明显偏离的决策。

AQE 的收益与代价

AQE 不是免费的。物化点要阻塞流水线,重新规划要额外时间,统计要收集和传输。

项收益代价
合并小分区任务数降 20 倍多一次分区元数据汇总
切换 join避免 OOMbuild 侧要先物化才能观测
倾斜拆分长尾任务变短拆分与合并的调度开销
动态优化估算错误被纠正计划不再完全可预测

代价的核心是「物化」:要观测 build 侧真实大小,就必须先把它算出来;要观测分区大小,就必须先写完 shuffle。这会打断原本可以流水线执行的链路。所以 AQE 通常只插在 shuffle 边界上,而不是每个算子之间。

什么时候 AQE 帮不上忙

AQE 能纠正「观测得到」的错误,但纠正不了「观测不到」的问题:

场景AQE 能否处理原因
小分区过多能shuffle 后可见
build 侧估错能物化后可见
单分区倾斜能分区大小可见
估算导致的错误顺序部分只能改 join 策略,难重排
算子内部慢不能不在计划层
数据源慢不能与计划无关

AQE 的边界在「计划层」。它能改分区数、改 join 算法、拆倾斜分区,但改不了 UDF 写得慢、数据源读得慢这类算子内部问题。把它当成万能药,会在错误的方向上反复调参。

AQE 的典型执行流程

把前面的决策串起来,一次带 AQE 的 shuffle join 大致经过四步:

1. 执行 map 侧,按 key 写出 shuffle 文件
2. 读写端统计:每个分区多大、中位数多少
3. 合并小分区 → 识别超阈值分区 → 决定 join 策略
4. 按修正后的计划执行 reduce 侧
步骤观测/决策对应用例
写 shuffle得到 200 个 5MB 分区用例 80
读统计中位数 100MB、阈值 500MB用例 79
合并200 个并为 10 个用例 80
看 build 侧实际 200MB、阈值 64MB用例 81

四步里有三步依赖「第一批任务已经跑完」。这是 AQE 与静态优化的根本区别:静态优化在提交前完成全部决策,AQE 把决策分散到执行的各个物化点,每到一个点就重新看一次真实情况。

与 CBO 的分工

AQE 不是取代 CBO,而是补它的盲区。两者关注的错误类型不同:

错误类型CBO 能否避免AQE 能否纠正
选择率估偏尽量,依赖统计部分,可改 join 策略
小分区过多不能能,合并分区
build 侧超内存不能能,切 shuffle
单分区倾斜不能能,标记并拆分
join 顺序选错尽量很难重排

分工可以概括为:CBO 负责「事前选一个好计划」,AQE 负责「事中把明显错的决策改掉」。前者决定上限,后者兜住下限。只做 CBO,统计一过期就全线失守;只做 AQE,初始计划太差时连可纠正的物化点都到不了。

这也解释了 AQE 为什么常被描述为「运行时重优化」而不是「运行时重写」:它能改的是物化点之后的局部计划,包括分区边界与 join 算法,但不会推翻整棵算子树。理解这个范围,才能判断一次调优该交给 AQE,还是该回去修统计、改 SQL、换存储布局。

调优顺序上,通常先修统计、再开 AQE:统计准确能把初始计划拉回正轨,AQE 只在剩余偏差上兜底。反过来,统计长期不更新却指望 AQE 纠正一切,会让每次执行的计划都不可预测,问题也更难定位。

三个常见误解

误解一:AQE 能在运行时重新优化整条查询。 真相:它只在物化点之间做局部改写,主要覆盖分区合并、join 切换与倾斜拆分,改不了算子内部实现。

误解二:倾斜阈值应该用平均值算。 真相:平均值会被倾斜分区本身拉高,反而掩盖异常;本例用中位数 100MB 乘 5 得 500MB,才能稳定识别。

误解三:分区越多并行度越高,总是好事。 真相:200 个 5MB 分区合并成 10 个 100MB 分区后,任务固定开销降 20 倍;分区过小会让调度成本压过计算。

一句话总结本节

AQE 把决策推迟到运行时:用中位数 100MB 乘 5 得 500MB 倾斜阈值,把 200 个 5MB 小分区合并成 10 个 100MB 分区,build 侧实际 200MB 超过 64MB 阈值就切换 shuffle join。它纠正的是分区数与 join 策略这类可观测量,代价是物化点打断流水线。

上游实现参照

Spark 3.5.7 自适应执行

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证 AQE 的运行时决策:

  • 源码:src/optimizer/Optimizer.java 与 src/optimizer/OptimizerSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 79 验证「中位数 100MB × 5,倾斜阈值 500MB」;用例 80 验证「200 个 5MB 分区合并为目标 100MB,剩 10 个」;用例 81 验证「build 侧实际 200MB 超过 64MB 阈值,切换 shuffle join」。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:静态计划把分区数与 join 算法定死 → 运行时在 shuffle 与 build 物化点观测真实大小 → 200 个 5MB 分区合并成 10 个、200MB build 侧切 shuffle → 用中位数 100MB 乘 5 定 500MB 倾斜阈值 → 只纠正可观测量,算子内部问题另找办法。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图