《大规模分布式计算深入解析》13.2 扩缩容与历史重分布:显式迁移协议

改变 Distributed 集群拓扑不会自动把历史数据均匀搬到新分片;24.8.14.39 没有正文旧版所写的 SYSTEM RESHARD 命令。必须选择受支持的复制/导入工具或新表迁移方案,并明确谁负责路由与历史数据。

扩缩容与历史重分布:显式迁移协议

改变 Distributed 集群拓扑不会自动把历史数据均匀搬到新分片;24.8.14.39 没有正文旧版所写的 SYSTEM RESHARD 命令。必须选择受支持的复制/导入工具或新表迁移方案,并明确谁负责路由与历史数据。

机制与确认边界

可行的受控流程是固定一致输入范围,向新分片布局重导历史,用事件 ID/水位补增量,核对行数、校验与聚合,再切读写路由;切换前保留旧路径作回滚。在线双写需要去重和失败补偿,不能一边删源行一边假定查询路由自动理解行所有权。

实现与验证范围

原生多分片夹具演示新建目标表、按新分片路由复制并校验后切换的离线迁移;没有零停机自动重平衡承诺。idealShardRows 只是理想算术,不能当迁移已完成的证据。缩容前必须证明目标空间和冗余满足故障条件。

本章共享图解见 13.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

状态与时序补图

flowchart TD
    WATER["固定离线水位/输入范围"] --> COPY["按新分片键导入目标布局"]
    COPY --> COMP["COUNT/SUM/校验多重集一致?"]
    COMP -- 否 --> RETRY["修复目标,继续保留旧服务"]
    COMP -- 是 --> ROUTE["受控切读写路由"]
    ROUTE --> HOLD["保留旧布局供回滚,核对后再清理"]
    LIVE["在线增量/双写"] -. "另需去重和补偿协议,本夹具未实现" .-> COMP

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路