《大规模分布式计算深入解析》15.1 执行引擎设计空间总结

执行引擎的五层旋钮各有成本:扫描占 90% 且可裁 95% 时先做列裁剪,总时间降到 0.145T、加速 6.9 倍;而砍半剩余 CPU 只有 1.05 倍。先按用例 116 的判据定位,再只动最有杠杆的一层。

15.1 执行引擎设计空间总结

前十四章拆了五个层次:执行模型、表达式、文件格式、算子内存、优化器。每一层都有自己的旋钮,每个旋钮都能让某条查询变快,也都有代价。设计空间总结要做的事不是把旋钮列一遍,而是回答两个问题:这条查询该动哪一层,动了之后预期能拿回多少。

本节沿一条判断链走:现象是「能调的参数太多,不知道从哪下手」,机制是五层旋钮作用于不同的成本项,账本是扫描占 90%、可裁 95% 时列裁剪带来 6.9 倍而调参只有 1.05 倍(用例 116),判据是先定位主导成本层、再只动最有杠杆的那一层。

五层设计空间矩阵

层主要旋钮主要成本旋钮的代价适用边界
1 执行模型行式/批式、Push/Pull、并行度每行每算子的调度批大则短路失效、内存上升点查与 LIMIT 保留行式
2 表达式解释执行、代码生成、向量原语每节点求值与分支编译时间、代码缓存短查询不值得编译
3 格式字节编码、压缩、row group、page 大小读字节与解压 CPU压缩率高则解压更贵点查慎用重压缩
4 算子内存哈希表容量、排序缓冲、分区数内存占用与溢写内存大则并发度下降受单机内存上限约束
5 优化器规则、CBO、自适应执行计划质量统计维护与重优化开销依赖统计新鲜度

五层不是并列的选项,而是有优先级的栈:上层决定数据怎么流动,下层决定流动的代价。执行模型选错,后面四层怎么调都只是在错误的路径上省钱。

旋钮之间是互相打架的

设计空间之所以难,不是因为旋钮多,而是因为它们两两冲突。任何一个旋钮拧到极值,都会在别处付出代价:

旋钮往大调的好处往大调的代价冲突对象
批大小调度次数下降短路失效、单批内存上升点查延迟
算子内存溢写减少并发度下降集群吞吐
压缩率读字节减少解压 CPU 上升扫描占比高的查询
并行度单查询时长下降队列竞争与元数据压力多租户隔离
分区数裁剪更细、并行更充分小文件与元数据请求增加List 成本

没有全局最优,只有针对某条查询的最优。 所以设计空间的使用方式不是「找一套最好的配置」,而是「对当前瓶颈选一个代价最小的旋钮」。

五层各自的计量单位

层成本用什么量典型量级换算成时间的桥
执行模型调用次数千万级每次调用 15ns 量级
表达式节点求值次数与行数同阶每节点一次分派
格式字节字节GB 到 TB带宽与解压吞吐
算子内存字节与溢写量MB 到 GB内存延迟对磁盘延迟
优化器中间结果行数与基数相关行数 × 每行成本

这张表解释了为什么五层不能直接比较:它们的单位不同。要比较就必须换算到同一个量——时间或字节,这也是 15.1 最后要用杠杆公式的原因。

第 1 层:执行模型与调度税

这一层的账本在 1.1 节已经算清:800 万行、3 个算子,每行每算子一次 next(),共 2400 万次调用(用例 1),按每次虚调用 15ns 计是 360ms(用例 2)。

参数计算结果
输入行数常量8,000,000(用例 1 场景)
算子数常量3(用例 1 场景)
调用次数8,000,000 × 324,000,000(用例 1)
单次成本常量15ns(用例 2 参数)
调度开销24,000,000 × 15ns360ms(用例 2)

批处理的杠杆就是把调用次数除以批大小:按批 1024 计,调用次数降到约 23438 次(公式推导:24,000,000 ÷ 1024),调度税从 360ms 压到亚毫秒量级。代价是短路能力与内存:一批 1024 行必须先凑满,LIMIT 10 会多读一千多行。所以这一层的边界很清楚——大扫描换批式,点查留行式。

第 2 层:表达式与每节点求值

表达式层的单位成本与第 1 层同量级。解释执行时,一个 a + b * c 要走三次节点求值、两次类型检查、一次结果写回;代码生成把整条表达式融合成一个循环,省掉中间结果与虚调用。

方式单位成本额外代价何时值得
解释执行每节点一次分派无查询短、编译不划算
全阶段代码生成摊薄到每批一次编译耗时、代码缓存长查询、重复执行
向量化原语每批一次 SIMD 指令实现复杂度数值密集、可向量化

这一层的判据是「执行次数 ÷ 编译成本」:一条只跑一次的即席查询,编译时间可能超过省下的执行时间;一条每天跑几百次的报表,编译成本一次摊完,收益立刻为正。

第 3 层:格式字节与读放大

格式层决定「读进来多少字节」,这是五层里杠杆最大的一层,因为它的收益直接乘在扫描占比上。

手段账本作用于什么
谓词下推1000 万行先过滤到 100 万行,中间结果减 90%(用例 67)跨网络的字节
存储层聚合100 万行聚到 100 行,传输降 99.99%(用例 91)返回路径的字节
选择率下界NDV 1000 的等值谓词选择率 0.001(用例 71)理论只需读 0.1%

三者是同一个方向的不同深度:下推减少进入算子的行,聚合减少离开存储的行,选择率给出「本可以只读多少」的标尺。格式层的代价是 CPU:字典编码、压缩、解压都要算力,压缩比越高解压越贵,所以它不是免费的午餐,而是把 IO 成本换成 CPU 成本。

第 4 层:算子内存与溢写

算子账本判据
Hash 聚合10 万分组 × 32 字节 = 3.2MB(用例 55)放得进内存则不溢写
排序聚合100 万行约 1993 万次比较(用例 59)比较次数决定 CPU
大表排序两表各 1 亿行 26.5754 秒(用例 49)排序是 CPU 与 IO 双成本

这一层的旋钮是内存,代价是并发:给单个算子更多内存,同一台机器能同时跑的算子就变少。3.2MB 与 26.5754 秒之间的差距说明,内存旋钮的效果不是连续的——放得下就是内存操作,放不下就是磁盘操作,中间没有平滑过渡。

第 5 层:优化器与计划质量

旋钮收益代价
规则优化(下推、裁剪)稳定、可预测收益上限有限
CBO 与统计信息连接顺序、选择率更准统计过期则失效
自适应执行(AQE)运行时修正估算重优化开销与计划切换成本

用例 75 给出组合规模:3 表 6 种连接顺序、4 表 24 种。顺序选错,中间结果差一个数量级,这一层的收益可以极大;但它的前提是统计新鲜,否则优化器只是在错误的信息上算得更精细。

用例 116:先动最有杠杆的一层

lab 把「先动哪层」写成一个二选一:扫描占比高且列裁剪率高时,先做列裁剪。

// 用例 116:扫描占比高且可裁剪 95% 时,先做列裁剪
String first = Lakehouse.chooseFirstOptimization(0.9, 0.95);
// 0.9 >= 0.5 且 0.95 >= 0.5 → "column-pruning"
参数取值含义
扫描占比0.990% 的时间在读数据(用例 116 输入)
可裁剪比例0.95只需读 5% 的列(用例 116 输入)
判据两者均 ≥ 0.5满足
首选动作column-pruning用例 116 输出

杠杆计算:6.9 倍对 1.05 倍

设总时间为 T。扫描占 0.9T,裁掉 95% 的列后扫描只需读原来的 5%:

动作计算新总时间加速比
列裁剪0.9T × 5% + 0.1T0.145T(公式推导)6.90 倍(公式推导:1 ÷ 0.145)
砍半剩余 CPU0.9T + 0.1T × 50%0.95T(公式推导)1.05 倍(公式推导:1 ÷ 0.95)

两者相差约 6.6 倍(公式推导:6.90 ÷ 1.05)。这个对比就是「先定位再动手」的全部理由:同样的工程量,投在正确的层上是 6.9 倍,投在错误的层上是 1.05 倍,而且后者还会让人误以为「这条查询已经优化到头了」。

列裁剪之所以能拿满 95%,是因为它直接减少了「要读的字节」;而砍半 CPU 只作用于那 10%,且现实中也很难真的砍半。杠杆 = 受影响的成本项占比 × 该项可压缩比例,两个因子都要大,收益才大。

定位顺序:从占比最大的层开始

观察到的现象主导层第一个动作
实读字节远大于所需3 格式字节列裁剪、分区裁剪
调用次数达千万级1 执行模型批处理或融合
spill 字节非零4 算子内存加内存或改分区
表达式节点数巨大2 表达式代码生成或向量原语
估计行数与实际差数量级5 优化器更新统计或开 AQE

顺序的原则只有一条:先修占比最大的那一层,修完重新测量,再决定下一层。不要同时改两层,否则收益无法归因,也无法判断是否已经到边界。

一次只动一层

同时改批大小和内存,会出现三种可能:两个都有效、一个有效一个有害、两个相互抵消。三种情况下你都拿不到可归因的结论。

改法可归因性风险
一次改一层,用同基准复测高迭代次数多
一次改多层低收益与副作用混在一起
只改配置不改代码中受限于引擎已实现的路径

复测必须沿用 14.1 的四条件:数据、硬件、并发、缓存一致。否则「改完快了 20%」可能只是缓存变热了。

三个常见误解

误解一:把所有旋钮都调到最优就能最快。 真相:旋钮相互冲突——批大省调度但吃内存,内存大则并发低,压缩高则解压贵。所谓「最优配置」只对某一条查询的某一层成立。

误解二:JVM 或运行时参数是通用加速手段。 真相:它改资源分配,不改数据路径。扫描占 90% 时,即使把剩余 CPU 砍半也只有 1.05 倍,而列裁剪是 6.9 倍。

误解三:设计空间是平的,动哪层都差不多。 真相:五层作用于不同成本项,杠杆差一个数量级。用例 116 的判据就是用来在动手前把层选对。

一句话总结本节

执行引擎的五层旋钮分别作用于调度、求值、读字节、内存与计划质量;扫描占 90% 且可裁 95% 时,列裁剪把总时间压到 0.145T、加速 6.9 倍,而砍半剩余 CPU 只有 1.05 倍(用例 116)。杠杆等于受影响的成本项占比乘以该项可压缩比例,所以顺序永远是先定位主导层、只动一层、用同一基准复测。

上游实现参照

DuckDB 执行内部概览

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证设计空间的优先判据:

  • 源码:src/lakehouse/Lakehouse.java 与 src/lakehouse/LakehouseSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 116 验证「扫描占比 0.9、可裁 0.95 时首选 column-pruning」;本节引用的 2400 万次调用与 360ms(用例 1、2)、3.2MB(用例 55)、1993 万次比较(用例 59)、26.5754 秒(用例 49)、减 90%(用例 67)、选择率 0.001(用例 71)、降 99.99%(用例 91)、6 种顺序(用例 75)均来自同一 runner。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:能调的旋钮太多 → 先看哪一层占了主要成本 → 算出列裁剪 6.9 倍与调参 1.05 倍的杠杆差 → 只动最有杠杆的一层,复测后再决定下一层。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图