两阶段聚合:可合并状态与全局归约
分片扫描后先按组产生部分状态,协调者或后续归约阶段再合并。成立条件是聚合提供正确的 state/merge/finalize 语义,不是所有 SQL 聚合都能只传一个标量。分片键对齐有时可减少进一步归约。
机制与确认边界
SUM/COUNT 可累加,AVG 合并 sum 与 count;COUNT DISTINCT 不能相加各片计数,但精确集合、位图或近似草图可以按其算法合并。状态大小会随 distinct 数增长,不能永远视作一个固定宽度计数器。
实现与验证范围
实验按四片五十组与显式状态宽度计算网络,原生核对分布式 SUM/COUNT 与本地全量基线。结果验收注明溢出、浮点顺序与近似误差;高基数分组和状态溢写应作为独立性能边界,不把少行输出推成所有场景五十倍收益。
本章机制图
sequenceDiagram
participant I as 发起端
participant R as 子查询数据源
participant A as 远端分片一
participant B as 远端分片二
I->>R: GLOBAL 子查询执行一次
R-->>I: 临时结果 R
I->>A: 子查询与 R 的一份副本
I->>B: 子查询与 R 的另一份副本
A-->>I: 本地连接的部分结果
B-->>I: 本地连接的部分结果
Note over I,B: 传输按每个实际远端累加,另计收集和结果回传
复现与资料
下载本卷实验包
,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。