先算归属,再谈搬迁
采用8.1固定空间示例,新增E接管全库20%;各旧节点失去全库5%、原本本地20%。一般随机环中的1/(n+1)是期望,不是任意token布局的精确保证。取模4→5均匀周期搬80%,与环的接管机制不同。
迁移中的写入怎么办
复制旧段到新节点只能得到某个边界S的数据。S之后的新增、更新和删除需要日志重放、双写或停写方案补齐;否则新节点看似“文件已就绪”,仍可能缺少已经确认的写入。
切换前确认数据、索引、消费进度和查询验证。发布路由epoch后,新请求采用新归属;在途请求按旧快照排空或重试。旧写者必须被版本/租约/fencing协议拒绝,不能无限继续向旧位置确认成功。
为什么“新节点优先、旧节点兜底”不够
无版本约束的兜底可能返回陈旧值,双查又可能重复计入;请求重试还可能把同一写入落到两边。必须明确读快照、路由版本、去重和写入身份,以及故障时允许等待、失败还是部分服务。
本卷选择一个更小且可验证的元数据模型:在短暂停写屏障内确认新版本追平tail并就绪,才允许alias切换;恢复写后若要回滚,旧版本先追上新增日志。它证明所选切换前置条件,不声称自动在线迁移。
实际数据反例
旧版本v1有写入1,创建v2快照;随后再写2。v2未追平时切换被拒绝;重放到2后可切。切换后写主键7、值700、版本3,直接切回v1被拒绝;反向追平后回滚保留相同主键、值和版本。
真实集群还需要处理拷贝中断、重复重放、发布确认丢失、节点故障、删除传播和GC,不能由一个20%比例代签这些能力。
架构与流程
flowchart TD
O["旧路由epoch与数据边界S"] --> COPY["构建新副本/索引"]
COPY --> LOG["重放S之后增量"]
LOG --> CHECK{"就绪并追平已确认写?"}
CHECK -->|否| HOLD["保留旧服务;重试或失败"]
CHECK -->|是| FENCE["写屏障与旧写者失效"]
FENCE --> PUB["发布新路由epoch"]
PUB --> DRAIN["排空旧请求;按安全点回收"]
PUB --> ROLLBACK["回滚前反向追平新写"]
实现与验证边界
模型有真实变更列表和各版本行映射,验证追平、写屏障与回滚数据。未实现网络搬迁、自动rebalance或生产CDC。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 routing.RoutingSuite / meta.MetaSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。