《大规模分布式计算深入解析》7.1 Distributed 表:分片路由、队列与副本

Distributed 充当查询与写入分发层,本地表真正保存分片数据;异步发送模式还可能在发起端持有待发送文件,因此“不存数据”不等于没有本地持久队列。写入分片键、权重和拓扑决定目标分片。

Distributed 表:分片路由、队列与副本

Distributed 充当查询与写入分发层,本地表真正保存分片数据;异步发送模式还可能在发起端持有待发送文件,因此“不存数据”不等于没有本地持久队列。写入分片键、权重和拓扑决定目标分片。

机制与确认边界

查询通常向相关分片下推子查询,再合并结果;分片裁剪等优化可减少目标,不应一概称每条查询都广播所有节点。分片内选哪个副本由配置和负载策略决定,internal_replication 与底层复制关系必须显式说明。

实现与验证范围

本包 hashShards 用顺序整数和余数构造均匀算例,不代表真实键分布。新增原生集群夹具创建多个单副本分片,验证分布式行数和 GLOBAL 查询;复制组是另一实验。只有实际执行的配置才记为四分片实测。

本章机制图

flowchart TD
    C["客户端"] --> D["Distributed:路由/可选发送队列"]
    D --> S1["分片1本地表及副本选择"]
    D --> S2["分片2本地表及副本选择"]
    S1 --> PART["返回行/部分状态"]
    S2 --> PART
    PART --> FINAL["全局合并"]
    DDL["ON CLUSTER 队列"] --> E1["节点1独立成功"]
    DDL --> E2["节点2失败/离线,可有部分状态"]

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路