《大规模分布式计算深入解析》1.2 向量化执行:批处理与 CPU 效率

向量化把 1024 行打成一个批,把 2400 万次逐行 next() 压成 23439 次批调用。本节用 800 万行 3 算子算出 7813 批,每批 150ns 得 3.516ms,比火山 360ms 低约 102.39 倍;批处理摊薄的是调用成本,lab 用三用例断言。

1.2 向量化执行:批处理与 CPU 效率

1.1 算出的 360ms 调度开销,根因是「每行每算子一次 next()」。向量化执行换了一个基本单位:不再一次要一行,而是一次要 1024 行。算子之间的调用次数随之从「行数量级」降到「批数量级」,固定成本被摊薄到每一行上。

这一节只回答一个问题:把批大小设成 1024,调用次数与调度开销会变成多少。算完这笔账,再去谈 SIMD、缓存和批大小的边界,才不会把几种不同的收益混在一起。

把 1024 行当成一个单位

在向量化模型里,next() 的语义变了:它不再返回一行,而是返回一个包含 1024 行的列式批(batch)。每个算子内部对整批数据做一次循环,算子之间传递的是批的引用,不是单行对象。

维度火山模型向量化模型
调用单位1 行1024 行
next() 返回单行元组列式批
算子间传递行对象批引用
每次调用成本15ns150ns
调用次数随行数线性增长随批数增长

单次调用变贵了 10 倍:一次批调用要做循环准备、批边界检查、选择向量处理,150ns 是合理的量级。但调用次数下降得更快,所以总账仍然大幅下降。

7813 批:向上取整的账

800 万行按 1024 行一批切分,最后一批可能装不满,因此批数要向上取整。lab 用例 4 的公式是 (rows + batch - 1) / batch:

批数 = ceil(8,000,000 / 1024)
     = ceil(7812.5)
     = 7813 批
量取值说明
输入行数8,000,000统一场景
批大小1024模型参数
完整批78127812 × 1024 = 7,999,488 行
尾批1剩余 512 行
总批数7813用例 4

尾批是批处理绕不开的细节:7812 个满批之后还剩 512 行,仍然要占一次调用。批数向上取整,意味着一批处理 512 行时,单行摊销的固定成本是满批的两倍。批越小,尾批的相对浪费越大。

每批三个算子:23439 次调用

批数算出来后,乘上算子数就是总调用次数。用例 5 的口径是「每批每算子一次调用」:

总调用次数 = 批数 × 算子数
           = 7813 × 3
           = 23,439 次
对比项火山模型向量化模型倍数关系
调用次数24,000,00023,439约 1024 倍差距(2400 万 / 23439)
每次成本15ns150ns10 倍差距
总调度成本360ms3.516ms约 102 倍差距

这就是批处理的核心杠杆:调用次数少了一千倍,单次成本只涨了十倍,净效果是两个数量级。它不需要更聪明的算法,只需要改变数据在算子之间的传递粒度。

3.516ms 与 102.39 倍

把 23439 次调用按每次 150ns 计价,得到向量化的调度开销。lab 用例 6 同时算出了它相对火山的倍数:

// 用例 4:批数向上取整
long batches = (rows + batch - 1) / batch;   // (8,000,000 + 1023) / 1024 = 7813

// 用例 5:每批每算子一次调用
long calls = batches * ops;                  // 7813 × 3 = 23,439

// 用例 6:批调用总开销与倍数
long costNs = calls * 150L;                  // 23,439 × 150 = 3,515,850ns
double costMs = costNs / 1_000_000.0;        // 3.51585ms ≈ 3.516ms
double ratio = 360.0 / costMs;               // 360 / 3.51585 ≈ 102.39
量取值
总调用次数23,439
每次批调用150ns
总调度开销3.51585ms(约 3.516ms)
相对火山 360ms约 102.39 倍

3.516ms 只是调度账本,不含真实计算。它说明的是:当计算本身很轻时,向量化可以把框架开销压到几乎可以忽略;但如果计算很重,这 3.5ms 就不是瓶颈,收益也不会是 102 倍。2.3 会把计算成本加回来,得到端到端的真实差距。

为什么单次更贵、总账更便宜

把两边的成本写成公式,关系会更清楚:

火山总成本   = 行数 × 算子数 × 单次行调用成本
向量化总成本 = ceil(行数 / 批大小) × 算子数 × 单次批调用成本
因子火山 → 向量化对总成本的影响
调用次数2400 万 → 23439下降约 1024 倍
单次成本15ns → 150ns上升 10 倍
净效果360ms → 3.516ms下降约 102 倍

摊薄的前提是「每次批调用处理足够多行」。批大小 1024 时,一次 150ns 的调用摊到 1024 行是 0.146ns/行(150ns / 1024,公式推导),远低于逐行 15ns/行。批太小,这个摊薄就不成立;批太大,又会撞上缓存容量,下一节会看到这个边界。

批处理真正省掉的是什么

调用次数只是第一层收益,批处理还顺带改变了 CPU 的工作方式:

收益机制本节是否计入账本
调用摊薄一次调用处理 1024 行计入,3.516ms
分支摊薄批内循环可用位图或 SIMD 判断未计入
顺序访存列式批连续存放,缓存友好未计入
自动向量化编译器把定长循环编译成 SIMD未计入

不要把这几层收益混成一个数字。本节严格只算调用开销从 360ms 降到 3.516ms;SIMD 能带来多少,取决于数据宽度与内存带宽,2.3 会用 4 路理论、2.7 倍实际的账本单独讨论。

批大小的边界

批大小不是越大越好,它受两个约束:单批工作集要能放进缓存,尾批浪费要可接受。

批大小单批工作集(8 列 × 4B)状态
102432KB压在 L2 临界,常见默认值
4096128KB超出 L2,收益递减

1024 是一个折中值:它让调用摊薄足够充分,又把工作集控制在 32KB 量级。继续加大批,调用次数还能降,但单批数据开始溢出缓存,算子要反复访问内存,摊薄省下的时间会被访存吃掉。2.3 会把这条曲线与三模型总账放在一起看。

向量化的代价

批处理不是免费的,它把「逐行的灵活」换成了「批的固定结构」:

代价表现应对
物化成本每批要写出列式中间结果算子融合,2.2 讨论
短查询启动批没装满就要执行小查询走行式
选择向量开销过滤后要记录有效行号位图或紧凑化
内存占用同时在途多个批控制批大小与并发度

最容易被低估的是物化成本。逐行模型一次只保留一行,向量化模型一次保留 1024 行 × 列数;如果算子之间还把中间批完整写出来,内存带宽就会成为新瓶颈。这也是全阶段代码生成要解决的第二个问题。

什么时候该用向量化

场景建议原因
大表扫描、聚合向量化行数大,调用摊薄收益充分
多算子长链向量化 + 融合批调用之外还要消除中间结果
点查、小 LIMIT行式批启动成本高于收益
极短查询行式或解释批还没装满就结束
宽表、大字符串谨慎单批工作集容易溢出缓存

判据不是「向量化一定更快」,而是「行数是否足够多、批是否能装满」。当一条查询只扫几千行时,7813 批的账本根本不适用,强行批处理只会增加启动与物化开销。

三个常见误解

误解一:向量化就是 SIMD,收益来自一条指令算多个值。 真相:本节 102.39 倍来自调用次数从 2400 万降到 23439,SIMD 是批处理之上的第二层收益,两者要分开记账。

误解二:批越大,调用越少,所以一定越快。 真相:批受缓存容量约束,1024 行 8 列 4 字节已是 32KB 的 L2 临界,4096 行到 128KB 后收益递减。

误解三:向量化对所有查询都更快。 真相:点查与极小结果依赖行式的低启动成本,批没装满时,批调用与物化开销会盖过摊薄收益。

一句话总结本节

向量化把 1024 行打成一个批,800 万行切成 7813 批,每批 3 个算子共 23439 次调用;按每次批调用 150ns 计算是 3.516ms,相比火山的 2400 万次调用、360ms 降低约 102.39 倍。它摊薄的是固定调用成本,代价是物化与批启动开销,批大小还要受 32KB 级 L2 工作集约束。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证向量化的批数与调用账本:

  • 源码:src/exec/Exec.java 与 src/exec/ExecSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 4 验证「800 万行、批大小 1024,向上取整得到 7813 批」;用例 5 验证「7813 批 × 3 个算子 = 23439 次调用」;用例 6 验证「23439 次 × 150ns = 3.516ms,比火山 360ms 低约 102.39 倍」。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:看到逐行调用次数随行数膨胀 → 把执行单位从行改成 1024 行的批 → 算出 7813 批、23439 次调用与 3.516ms → 与火山 360ms 对照得到 102.39 倍 → 批大小受缓存与尾批约束,短查询仍保留行式。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图