《大规模分布式计算深入解析》7.2 ON CLUSTER:分布式 DDL 队列与部分失败

ON CLUSTER 将 DDL 作为分布式任务在各主机执行。成功节点不会因为另一节点失败自动撤销表;离线节点可能在恢复后继续处理任务,等待超时也不等于所有节点最终状态相同。它不是分布式 schema 原子事务。

ON CLUSTER:分布式 DDL 队列与部分失败

ON CLUSTER 将 DDL 作为分布式任务在各主机执行。成功节点不会因为另一节点失败自动撤销表;离线节点可能在恢复后继续处理任务,等待超时也不等于所有节点最终状态相同。它不是分布式 schema 原子事务。

机制与确认边界

运维需要记录每节点执行状态、队列有效期、错误和 schema 版本。客户端遇到超时后先查询实际状态,再决定幂等重试、补建或人工修复;不要直接发逆向 DDL 假设能恢复全局旧状态,尤其当部分节点已接收数据。

实现与验证范围

模型 ddl 接收节点成功掩码并保留成功集合;原生故意让一个节点已有同名对象,引发部分失败,然后分别检查 SHOW/EXISTS。ReplicatedMergeTree 的数据复制日志、Keeper 的一致性和 DDL 队列是不同层,不把复制日志序号当成跨节点 DDL 回滚机制。

本章共享图解见 7.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

状态与时序补图

sequenceDiagram
    participant C as 发起端
    participant Q as DDL队列
    participant A as 节点一
    participant B as 节点二
    C->>Q: CREATE ... ON CLUSTER
    Q->>A: 执行DDL
    A-->>Q: 成功,保留对象
    Q->>B: 执行DDL
    B-->>Q: 同名对象冲突
    Q-->>C: 部分失败或超时
    Note over A,B: 节点一不自动回滚;客户端先核对每个节点

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路