1.2 向量化执行:批处理与 CPU 效率
1.1 算出的 360ms 调度开销,根因是「每行每算子一次 next()」。向量化执行换了一个基本单位:不再一次要一行,而是一次要 1024 行。算子之间的调用次数随之从「行数量级」降到「批数量级」,固定成本被摊薄到每一行上。
这一节只回答一个问题:把批大小设成 1024,调用次数与调度开销会变成多少。算完这笔账,再去谈 SIMD、缓存和批大小的边界,才不会把几种不同的收益混在一起。
把 1024 行当成一个单位
在向量化模型里,next() 的语义变了:它不再返回一行,而是返回一个包含 1024 行的列式批(batch)。每个算子内部对整批数据做一次循环,算子之间传递的是批的引用,不是单行对象。
| 维度 | 火山模型 | 向量化模型 |
|---|---|---|
| 调用单位 | 1 行 | 1024 行 |
next() 返回 | 单行元组 | 列式批 |
| 算子间传递 | 行对象 | 批引用 |
| 每次调用成本 | 15ns | 150ns |
| 调用次数 | 随行数线性增长 | 随批数增长 |
单次调用变贵了 10 倍:一次批调用要做循环准备、批边界检查、选择向量处理,150ns 是合理的量级。但调用次数下降得更快,所以总账仍然大幅下降。
7813 批:向上取整的账
800 万行按 1024 行一批切分,最后一批可能装不满,因此批数要向上取整。lab 用例 4 的公式是 (rows + batch - 1) / batch:
批数 = ceil(8,000,000 / 1024)
= ceil(7812.5)
= 7813 批
| 量 | 取值 | 说明 |
|---|---|---|
| 输入行数 | 8,000,000 | 统一场景 |
| 批大小 | 1024 | 模型参数 |
| 完整批 | 7812 | 7812 × 1024 = 7,999,488 行 |
| 尾批 | 1 | 剩余 512 行 |
| 总批数 | 7813 | 用例 4 |
尾批是批处理绕不开的细节:7812 个满批之后还剩 512 行,仍然要占一次调用。批数向上取整,意味着一批处理 512 行时,单行摊销的固定成本是满批的两倍。批越小,尾批的相对浪费越大。
每批三个算子:23439 次调用
批数算出来后,乘上算子数就是总调用次数。用例 5 的口径是「每批每算子一次调用」:
总调用次数 = 批数 × 算子数
= 7813 × 3
= 23,439 次
| 对比项 | 火山模型 | 向量化模型 | 倍数关系 |
|---|---|---|---|
| 调用次数 | 24,000,000 | 23,439 | 约 1024 倍差距(2400 万 / 23439) |
| 每次成本 | 15ns | 150ns | 10 倍差距 |
| 总调度成本 | 360ms | 3.516ms | 约 102 倍差距 |
这就是批处理的核心杠杆:调用次数少了一千倍,单次成本只涨了十倍,净效果是两个数量级。它不需要更聪明的算法,只需要改变数据在算子之间的传递粒度。
3.516ms 与 102.39 倍
把 23439 次调用按每次 150ns 计价,得到向量化的调度开销。lab 用例 6 同时算出了它相对火山的倍数:
// 用例 4:批数向上取整
long batches = (rows + batch - 1) / batch; // (8,000,000 + 1023) / 1024 = 7813
// 用例 5:每批每算子一次调用
long calls = batches * ops; // 7813 × 3 = 23,439
// 用例 6:批调用总开销与倍数
long costNs = calls * 150L; // 23,439 × 150 = 3,515,850ns
double costMs = costNs / 1_000_000.0; // 3.51585ms ≈ 3.516ms
double ratio = 360.0 / costMs; // 360 / 3.51585 ≈ 102.39
| 量 | 取值 |
|---|---|
| 总调用次数 | 23,439 |
| 每次批调用 | 150ns |
| 总调度开销 | 3.51585ms(约 3.516ms) |
| 相对火山 360ms | 约 102.39 倍 |
3.516ms 只是调度账本,不含真实计算。它说明的是:当计算本身很轻时,向量化可以把框架开销压到几乎可以忽略;但如果计算很重,这 3.5ms 就不是瓶颈,收益也不会是 102 倍。2.3 会把计算成本加回来,得到端到端的真实差距。
为什么单次更贵、总账更便宜
把两边的成本写成公式,关系会更清楚:
火山总成本 = 行数 × 算子数 × 单次行调用成本
向量化总成本 = ceil(行数 / 批大小) × 算子数 × 单次批调用成本
| 因子 | 火山 → 向量化 | 对总成本的影响 |
|---|---|---|
| 调用次数 | 2400 万 → 23439 | 下降约 1024 倍 |
| 单次成本 | 15ns → 150ns | 上升 10 倍 |
| 净效果 | 360ms → 3.516ms | 下降约 102 倍 |
摊薄的前提是「每次批调用处理足够多行」。批大小 1024 时,一次 150ns 的调用摊到 1024 行是 0.146ns/行(150ns / 1024,公式推导),远低于逐行 15ns/行。批太小,这个摊薄就不成立;批太大,又会撞上缓存容量,下一节会看到这个边界。
批处理真正省掉的是什么
调用次数只是第一层收益,批处理还顺带改变了 CPU 的工作方式:
| 收益 | 机制 | 本节是否计入账本 |
|---|---|---|
| 调用摊薄 | 一次调用处理 1024 行 | 计入,3.516ms |
| 分支摊薄 | 批内循环可用位图或 SIMD 判断 | 未计入 |
| 顺序访存 | 列式批连续存放,缓存友好 | 未计入 |
| 自动向量化 | 编译器把定长循环编译成 SIMD | 未计入 |
不要把这几层收益混成一个数字。本节严格只算调用开销从 360ms 降到 3.516ms;SIMD 能带来多少,取决于数据宽度与内存带宽,2.3 会用 4 路理论、2.7 倍实际的账本单独讨论。
批大小的边界
批大小不是越大越好,它受两个约束:单批工作集要能放进缓存,尾批浪费要可接受。
| 批大小 | 单批工作集(8 列 × 4B) | 状态 |
|---|---|---|
| 1024 | 32KB | 压在 L2 临界,常见默认值 |
| 4096 | 128KB | 超出 L2,收益递减 |
1024 是一个折中值:它让调用摊薄足够充分,又把工作集控制在 32KB 量级。继续加大批,调用次数还能降,但单批数据开始溢出缓存,算子要反复访问内存,摊薄省下的时间会被访存吃掉。2.3 会把这条曲线与三模型总账放在一起看。
向量化的代价
批处理不是免费的,它把「逐行的灵活」换成了「批的固定结构」:
| 代价 | 表现 | 应对 |
|---|---|---|
| 物化成本 | 每批要写出列式中间结果 | 算子融合,2.2 讨论 |
| 短查询启动 | 批没装满就要执行 | 小查询走行式 |
| 选择向量开销 | 过滤后要记录有效行号 | 位图或紧凑化 |
| 内存占用 | 同时在途多个批 | 控制批大小与并发度 |
最容易被低估的是物化成本。逐行模型一次只保留一行,向量化模型一次保留 1024 行 × 列数;如果算子之间还把中间批完整写出来,内存带宽就会成为新瓶颈。这也是全阶段代码生成要解决的第二个问题。
什么时候该用向量化
| 场景 | 建议 | 原因 |
|---|---|---|
| 大表扫描、聚合 | 向量化 | 行数大,调用摊薄收益充分 |
| 多算子长链 | 向量化 + 融合 | 批调用之外还要消除中间结果 |
点查、小 LIMIT | 行式 | 批启动成本高于收益 |
| 极短查询 | 行式或解释 | 批还没装满就结束 |
| 宽表、大字符串 | 谨慎 | 单批工作集容易溢出缓存 |
判据不是「向量化一定更快」,而是「行数是否足够多、批是否能装满」。当一条查询只扫几千行时,7813 批的账本根本不适用,强行批处理只会增加启动与物化开销。
三个常见误解
误解一:向量化就是 SIMD,收益来自一条指令算多个值。 真相:本节 102.39 倍来自调用次数从 2400 万降到 23439,SIMD 是批处理之上的第二层收益,两者要分开记账。
误解二:批越大,调用越少,所以一定越快。 真相:批受缓存容量约束,1024 行 8 列 4 字节已是 32KB 的 L2 临界,4096 行到 128KB 后收益递减。
误解三:向量化对所有查询都更快。 真相:点查与极小结果依赖行式的低启动成本,批没装满时,批调用与物化开销会盖过摊薄收益。
一句话总结本节
向量化把 1024 行打成一个批,800 万行切成 7813 批,每批 3 个算子共 23439 次调用;按每次批调用 150ns 计算是 3.516ms,相比火山的 2400 万次调用、360ms 降低约 102.39 倍。它摊薄的是固定调用成本,代价是物化与批启动开销,批大小还要受 32KB 级 L2 工作集约束。
本节 lab
在 bd-engine-lab 中验证向量化的批数与调用账本:
- 源码:
src/exec/Exec.java与src/exec/ExecSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 4 验证「800 万行、批大小 1024,向上取整得到 7813 批」;用例 5 验证「7813 批 × 3 个算子 = 23439 次调用」;用例 6 验证「23439 次 × 150ns = 3.516ms,比火山 360ms 低约 102.39 倍」。
- 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:看到逐行调用次数随行数膨胀 → 把执行单位从行改成 1024 行的批 → 算出 7813 批、23439 次调用与 3.516ms → 与火山 360ms 对照得到 102.39 倍 → 批大小受缓存与尾批约束,短查询仍保留行式。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。