《大规模分布式计算深入解析》6.3 过滤、聚合、连接的批接口

过滤结果可表示为选择向量、位掩码或紧凑输出,后续算子必须使用同样的行位置语义。hash join 仍需定义构建/探测、碰撞、重复键和内存溢出,批量计算哈希不是完整连接实现。

过滤、聚合、连接的批接口

过滤结果可表示为选择向量、位掩码或紧凑输出,后续算子必须使用同样的行位置语义。hash join 仍需定义构建/探测、碰撞、重复键和内存溢出,批量计算哈希不是完整连接实现。

机制与确认边界

部分聚合在块内更新状态,块间合并。精确整数在明确无溢出时可逐位比较;浮点加法不满足一般结合律,换分块和归并顺序可能改变最后几位。AVG 要合并 sum/count,去重聚合要合并集合或算法状态,不能只相加各块基数。

实现与验证范围

本包只验证小范围 int 的同值分块聚合,未实现产品 hash join 或 SIMD 算子。原生计划与样例结果用于核对实际路径,浮点结果应给绝对/相对误差与重现条件,不能承诺所有 Java 与原生 SUM 逐位相同。

本章共享图解见 6.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路