《大规模分布式计算深入解析》6.1 向量化批执行:接口粒度与工作集

向量化将算子接口从单行改成批数据/列数组,减少分发开销并改善局部性;批大小由引擎、算子和配置决定。实验 BLOCK=1024 只是教学参数,不能作为 ClickHouse 所有算子的固定批长。

向量化批执行:接口粒度与工作集

向量化将算子接口从单行改成批数据/列数组,减少分发开销并改善局部性;批大小由引擎、算子和配置决定。实验 BLOCK=1024 只是教学参数,不能作为 ClickHouse 所有算子的固定批长。

机制与确认边界

扫描产出列批,过滤可生成选择向量或掩码,投影计算列,聚合更新状态。批接口不要求每步都无逐行循环,也不保证编译器生成 SIMD;字符串、空值、分支、hash 表和可变长数据都可能保留标量路径。

实现与验证范围

实验计算块数、尾块和分块求和,原生 EXPLAIN PIPELINE 观察 processor 与并行流。批大小变大可能提高摊销,也可能增加延迟、内存和缓存压力,需固定数据宽度与并发后测量,而不是仅用虚调用次数预测加速。

本章机制图

flowchart LR
    COL["列批与空值/选择位置"] --> FILTER["过滤:掩码/选择向量"] --> AGG["聚合状态"] --> MERGE["合并与 finalize"]
    COL --> SIMD["可选 SIMD 主体+尾部处理"]
    MERGE --> CHECK["整数溢出、浮点误差、近似误差分别验收"]

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路