《大规模分布式计算深入解析》13.3 ClickHouse 的分布式表与两阶段聚合

ClickHouse Distributed 表把请求路由到远端表,分片做局部计算,发起节点按查询语义归并结果。

13.3 ClickHouse 的分布式表与两阶段聚合

ClickHouse Distributed 表把请求路由到远端表,分片做局部计算,发起节点按查询语义归并结果。

读路径与聚合分工

sequenceDiagram
  participant C as 客户端
  participant I as 发起节点
  participant A as 分片 A 的副本
  participant B as 分片 B 的副本
  C->>I: 提交对 Distributed 表的聚合
  par 读取 A
    I->>A: 下发可执行的扫描、过滤与 Partial
    A-->>I: 返回分组聚合状态
  and 读取 B
    I->>B: 未能剪除 B 时下发
    B-->>I: 返回分组聚合状态
  end
  I->>I: 按 group key 合并并 finalize
  I-->>C: 返回结果

Distributed 表可以根据配置扇出,同时选择可用副本。分片剪枝需启用相应设置且优化器可从谓词推导分片键。MergeTree 的稀疏主索引按 Granule 跳过读取,不能据此把整条 Distributed SQL 当成单键 KV 查询。普通可合并聚合在分片生成状态,发起节点收到后 final merge;部分配置和可证明的键分布可省掉归并。分片到发起节点的这种聚集与两侧哈希重分布应在网络账中分开。

对比本地和全局 IN

常规分布式 IN 的子查询可在各分片按本地数据执行,依赖布局前提;GLOBAL IN 先在发起端形成临时集合,再发送到远端。检查集合大小、重复数据、权限与配置限制。用 Distributed 表的 EXPLAIN 看远端读取和聚合,结合 query log、ProfileEvents 追踪。不同版本计划节点名可能有差别。

实验与资料

下载卷六实验包 ,参照包内 README。测试数据、DDL 和计划对照命令见 engine-plans.md。src/ 下的 Java 8 教学模型。

ClickHouse Distributed 表 · ClickHouse 分布式 IN · ClickHouse 稀疏主索引

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图