《大规模分布式计算深入解析》12.1 ReplicatedMergeTree:数据副本与协调元数据

每个副本保存本地 parts,Keeper/ZooKeeper 保存协调元数据、共享复制任务等,不是把全部列数据存进共识日志。副本通过队列、拉取与本地操作追齐;数据复制是异步多主写入形态,不能套成所有表都由一个数据 leader 接收写。

ReplicatedMergeTree:数据副本与协调元数据

每个副本保存本地 parts,Keeper/ZooKeeper 保存协调元数据、共享复制任务等,不是把全部列数据存进共识日志。副本通过队列、拉取与本地操作追齐;数据复制是异步多主写入形态,不能套成所有表都由一个数据 leader 接收写。

机制与确认边界

log_pointer 主要表示任务被拉入本地队列的位置,不等于已全部应用;共享日志序号一致不证明本地查询数据相同。任务依赖、合并替代和队列调度也意味着不能假设每个序号固定对应一个必须逐条下载的 part。

实现与验证范围

原生 Keeper+两副本夹具暂停一个副本后写入,再解除暂停并恢复并 SYSTEM SYNC REPLICA,核对数据及复制队列。模型 Replica 将 pull 与 apply 分开,演示相同 logPointer 下仍有不同可见状态。它不验证 Keeper 多数派或跨机房容灾。

本章机制图

flowchart TD
    W["写到一个数据副本"] --> L["本地 part 与协调登记"]
    L --> K["Keeper:元数据/复制任务"]
    K --> Q["另一副本 pull 到本地队列"] --> A["下载/应用任务"] --> V["查询可见"]
    L --> ACK["按 insert_quorum 等条件确认"]
    A --> ACK
    Q --> PTR["log_pointer:已拉入,不等于已应用"]
    Q --> DELAY["absolute_delay:秒"]

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路