《大规模分布式计算深入解析》8.1 两阶段聚合:可合并状态与全局归约

分片扫描后先按组产生部分状态,协调者或后续归约阶段再合并。成立条件是聚合提供正确的 state/merge/finalize 语义,不是所有 SQL 聚合都能只传一个标量。分片键对齐有时可减少进一步归约。

两阶段聚合:可合并状态与全局归约

分片扫描后先按组产生部分状态,协调者或后续归约阶段再合并。成立条件是聚合提供正确的 state/merge/finalize 语义,不是所有 SQL 聚合都能只传一个标量。分片键对齐有时可减少进一步归约。

机制与确认边界

SUM/COUNT 可累加,AVG 合并 sum 与 count;COUNT DISTINCT 不能相加各片计数,但精确集合、位图或近似草图可以按其算法合并。状态大小会随 distinct 数增长,不能永远视作一个固定宽度计数器。

实现与验证范围

实验按四片五十组与显式状态宽度计算网络,原生核对分布式 SUM/COUNT 与本地全量基线。结果验收注明溢出、浮点顺序与近似误差;高基数分组和状态溢写应作为独立性能边界,不把少行输出推成所有场景五十倍收益。

本章机制图

sequenceDiagram
    participant I as 发起端
    participant R as 子查询数据源
    participant A as 远端分片一
    participant B as 远端分片二
    I->>R: GLOBAL 子查询执行一次
    R-->>I: 临时结果 R
    I->>A: 子查询与 R 的一份副本
    I->>B: 子查询与 R 的另一份副本
    A-->>I: 本地连接的部分结果
    B-->>I: 本地连接的部分结果
    Note over I,B: 传输按每个实际远端累加,另计收集和结果回传

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路