15.3 从 K8s 到自研系统的迁移路径
第 15.1 节回顾了五条主线,第 15.2 节立了五条原则,本节回答最后一个问题:当你把从 K8s 学到的机制搬进自研分布式系统时,怎么搬才不会出事。
场景很常见:公司跑在 K8s 上的服务要拆出独立的配置中心、独立的分布式 KV、独立的任务调度器;或者你想脱离 etcd,自研一个替代存储。迁移的最大风险不是新系统写错,而是新旧系统交接期间两头不一致——读的旧、写的新,或者两边同时写。本节给出一条可照做的路径:数据真相源不变、分阶段迁移、避免双写窗口、安全切流判定。
先看清迁移的三个典型失败模式,后面的路径就是为绕开它们设计的:
| 失败模式 | 表现 | 根因 |
|---|---|---|
| 拷贝即切流 | 数据拷过去就切,存量未追平 | 只做了阶段 1,跳过了验证 |
| 双写窗口 | 新写开了旧写没停,两边分叉 | 阶段 3 的两个动作没有严格排序 |
| 双真相源 | 新旧系统都自称权威,无法核对 | 迁移期间真相源没有固定下来 |
三种失败有一个共同点:都是「交接秩序」出了问题,而不是新系统代码写错。 所以本节的重心不是「怎么写新系统」,而是「怎么安排交接」。
第一红线:数据真相源不变
迁移期间最容易犯的错是「搬家途中让新系统成为第二真相源」。一旦新旧两套都自称「权威」,两边数据就会开始分叉,而分叉后的合并几乎无解——谁是新值?谁的版本号算数?
红线的表述只有一句:整个迁移期间,数据真相源(source of truth)只有一个,且不改变。 比如从 etcd 迁到自研 KV:迁移期间 etcd 仍是真相源,自研 KV 只是它的「投影」;直到切流完成的最后一刻,etcd 都不降级。
lab 里 Migration.SourceOfTruth 字段就是这条红线的机械化表达——SafeCutover() 的第一个条件是 SourceOfTruth != "",真相源为空,直接判定不可安全切流。 它逼着设计者先回答「谁说了算」,再谈迁移。
怎么判断一个系统是不是真相源?三个问题:它丢失数据会影响最终正确性吗?它的写是否被另一个系统覆盖?它的读是否被另一个系统否决? 三个都答「否」,它才是真相源。在 K8s 语境里真相源通常是 etcd;在自研系统里,它可能是自研 Raft 存储,但绝不能是「一个 Redis + 定期快照」——那只是缓存或投影,不是权威。
分阶段迁移:数据同步 → 切读 → 切写
安全的迁移不是「一个晚上把请求全指过去」,而是三个阶段依次推进,每个阶段结束都保持一致性承诺。三阶段的原则是:阶段 1 花时间(追平存量),阶段 2 花验证(回源核对),阶段 3 花纪律(严格排序)。 时间可以宽裕,验证可以反复,唯独排序不能让步。
| 阶段 | 动作 | 一致性承诺 | 判断完成 |
|---|---|---|---|
| 1 数据同步 | 新系统持续消费真相源的全部变更 | 新系统是真相源的完整投影 | 追平到最新版本,延迟为 0 |
| 2 切读 | 读流量切到新系统,仍回源校验 | 读到的新值可由真相源验证 | 抽样校验全部命中 |
| 3 切写 | 先停旧写,再让新系统接收写 | 任一时刻只有一边在写 | 旧写停净,新写接管 |
顺序为什么是「读先写后」? 因为读切流是可逆的:新系统读错了,马上切回旧系统读,业务无损。写切流是不可逆的:两边同时接收写就是双写窗口,之后任何一边的修改都与另一边矛盾。所以阶段 3 有一条铁律——先停旧写,再开新写,两个动作之间不允许存在同时写的时间片。
双写窗口:最该避免的迁移事故
双写窗口是迁移事故的头号元凶。两个写者同时写同一份业务数据,没有公共的仲裁者,结果必然是分叉:旧系统写 status=ready,新系统写 status=done,谁覆盖谁取决于时序,而时序在分布式环境里不可复现。
lab 的 Migration.SplitBrainWindow 字段专门标记这种情况。构造一个「双写窗口 = true」的迁移,SafeCutover() 立刻返回 false——存在双写窗口,一律不允许切流。 这条检查的意义在于把「我们当时觉得没问题」的主观判断,变成「模型检测到双写窗口」的客观拦截。
避免双写窗口的实操方法有两种:
- 停写—再开写:先把旧系统写入口全部关闭(读仍可用),确认无存量写,再打开新系统写入口。
- 单向网关:旧写先经过一个转发网关,网关在新系统就绪后把写转给它,同一时刻只有网关这一个「写总开关」。
无论哪种,判据都是同一句:任意时刻,能被真实业务写到的系统最多一个。
双写窗口的可怕之处在于事后几乎无法发现:两边各自写入、各自读起来都自洽,只有把两份数据放到一起按版本号比对,才看出分叉。等业务发现「同一个订单两个状态」时,分叉已经扩散到下游。所以双写窗口必须靠迁移模型提前检测,而不是靠事后对账——这正是 SplitBrainWindow 字段存在的意义:把「当时没发现」变成「现在不允许」。
安全切流判定:SafeCutover
把三条要求收拢成一个判定函数,就是 lab 里的 SafeCutover():
安全切流 = 真相源不为空 且 无双写窗口
它只有两个布尔条件,但每个条件背后都压着一段教训:
| 条件 | 检查什么 | 违背后果 |
|---|---|---|
| 真相源不为空 | 迁移期间一直有唯一权威 | 无权威则无法判断「对错」 |
| 无双写窗口 | 任意时刻至多一个写者 | 双写导致数据分叉,合并无解 |
真实迁移里,这个判定应该在阶段 3 执行之前、执行之中、执行之后各跑一次:之前验证条件具备,之中验证没引入新写源,之后验证新系统已完全接管、旧系统确已停写。
把三个时机整理成一张执行卡,比凭感觉做检查更可靠:
| 时机 | 检查内容 | 通过判据 |
|---|---|---|
| 切流前 | 真相源是否唯一、旧写是否已停净 | 两个布尔条件同时为真 |
| 切流中 | 是否出现任何新的写入口 | SplitBrainWindow 保持 false |
| 切流后 | 新系统是否完全接管、旧系统是否确认停写 | 值一致性核对零分叉 |
这张执行卡配合 SafeCutover() 判定,就是迁移的「最后一道闸门」。
组件映射:K8s 机制搬到自研系统
迁移不只是换数据源,更是把机制搬家。四卷的机制到自研系统有一条直接的映射:
| K8s 组件/机制 | 自研系统对应物 | 迁移要点 |
|---|---|---|
| etcd Raft | 自研共识存储(或选第三方 Raft 库) | 多数派才承诺不变 |
| Lease 选主 | 自研主备协调模块 | 续租、隔离 token 原样保留 |
| list-watch / informer | 自研事件订阅层 | resourceVersion 增量同步不变 |
| controller 调谐 | 自研状态机 / 调谐循环 | 期望状态 + 幂等重试不变 |
| 拓扑约束 / PDB | 副本放置策略 | 故障域分散不变 |
映射的规律很清晰:组件可以换,主线与原则一条都不能少。 你写自研系统时省掉的任何一条主线,都会在某个故障场景下以事故的形式补回来。
迁移也有先后顺序,不是全部机制一次性搬完。按「缺了会出事的顺序」排:
| 优先级 | 先迁什么 | 理由 |
|---|---|---|
| P0 | 真相源存储 + 多数派承诺 | 数据不乱是一切的基础 |
| P0 | 主备选举 + 隔离 | 没隔离会双主,比慢更严重 |
| P1 | 事件订阅 + 版本号 | 状态流动依赖它 |
| P1 | 调谐循环 + 幂等重试 | 自愈能力 |
| P2 | 故障域分散 + 拓扑约束 | 规模与容灾优化 |
P0 的两条是「先保命」,P1 是「先自愈」,P2 是「再优化」。 按这个顺序迁,即使中途停止,系统也处于「不丢数据、不脑裂」的安全态。
一次完整迁移:自研配置中心
用一个具体例子把三阶段走通。假设要把「配置读取」从 K8s ConfigMap + apiserver 迁到自研配置中心:
- 数据同步:自研配置中心订阅 etcd 的全部 ConfigMap 变更,按
resourceVersion增量回放;核对清单——每条配置、每个版本、每次变更都对齐。 - 切读:业务侧读配置先走自研中心,但保留「回源校验」:读到值后与 etcd 当前值比对,不一致立即报警并回落旧路径。跑一段时间,确认抽样校验全部命中。
- 切写:先停掉旧的「ConfigMap 直写」入口(运维侧锁写),确认无存量写,再打开自研中心写入口。之后旧入口长期关闭,真相源正式交接。
每一步都有明确的「完成判据」,这正是分阶段的意义——不是「相信没问题」,而是「每一步都验证过没问题」。
分阶段的另一个红利是回滚窗口清晰:阶段 2 出错,把读切回旧系统即可,写仍在旧系统,回滚无成本;阶段 3 的「先停旧写」动作本身就是回滚锚点——只要旧写入口还没被物理关闭,随时可以放弃切写、维持旧系统。迁移预案里最该写清楚的,不是「怎么前进」,而是「每一步怎么后退」。
迁移红线清单
把本节的内容压缩成一份可照做的清单,迁移前逐条打勾:
- 真相源唯一:迁移全程只有一个权威系统,且名字写进设计文档
- 分阶段推进:数据同步、切读、切写三步依次完成,每步有完成判据
- 切读可逆:读切流后保留回源校验与回落路径
- 先停旧写再开新写:两个动作之间不存在同时写时间片
- 双写窗口检测:迁移模型里
SplitBrainWindow为 false - 安全切流判定:切流前后各跑一次
SafeCutover条件核查 - 机制不缩水:五条主线在自研系统里都有对应物
- 回归验证:切流后持续一段时间的值一致性核对,确认分叉为零
这张清单的三行「元红线」值得单独提出来:真相源唯一、双写窗口为零、先停旧写再开新写。 其余条目都从这三行派生——「切读可逆」是为了在双写窗口出现前能后退,「机制不缩水」是为了让新系统配得上接管真相源。迁移时如果时间紧,砍掉的是过程性的验证,但这三行元红线一条都不能砍。
三个常见误解
- 「迁移就是把数据拷一份过去,拷贝完成就切流」——错误。拷贝只是阶段 1 的起点;真正的风险在切读与切写之间的衔接,拷完就切最容易踩双写窗口。
- 「新系统上线后旧系统可以立即下线」——错误。真相源交接需要停旧写、观察、验证一致性的完整过程;「立即下线」会让未同步的存量数据失去核对依据。
- 「迁移是新系统的项目,和旧系统无关」——错误。迁移的成功率取决于旧系统是否配合——旧写能不能停干净、旧读能不能回源校验,都决定新系统能否安全接管。
一句话总结本节
从 K8s 迁到自研系统的路径是:数据真相源在整个迁移期间保持不变,按数据同步→切读→切写分阶段推进,先停旧写再开新写以避免双写窗口,并用「真相源不为空 + 无双写窗口」的判定把关切流。 组件可以换,五条主线与五条原则一条都不能少——这是全书最后一句最重要的教训。
到这里,四卷书走完了一个完整的圆:卷一讲数据怎么不乱,卷二讲系统怎么自愈,卷三讲决策怎么做出,卷四讲边界划在哪。把主线记在心里、把原则带在身上、把路径用于实践,这本书的任务才算真正完成。
收束章三节的关系可以用一句话收束:15.1 回顾「K8s 是怎么做到的」,15.2 提炼「任何系统都该遵守什么」,15.3 回答「从 K8s 迁移出去时怎么不出事」。 三者分别对应「认知、规范、行动」——这也是把一本书读成一种能力的三级台阶。
本节 lab
本节对应 review 包的三个测试,验证「安全切流、双写窗口拦截、分阶段保一致」三条语义:
cd private/labs/k8s-net-lab
go test ./review -run 'TestMigrationSafeCutover|TestMigrationSplitBrainWindowDetected|TestMigrationPhasedPreservesConsistency' -v
TestMigrationSafeCutover:SourceOfTruth="etcd",依次AddStep("同步数据")、AddStep("切读"),断言SafeCutover()为真——1 个断言,验证真相源唯一 + 无双写窗口时允许切流。TestMigrationSplitBrainWindowDetected:把SplitBrainWindow置为 true,断言SafeCutover()为假——1 个断言,验证双写窗口被直接拦截,任何阶段都不允许切流。TestMigrationPhasedPreservesConsistency:按「1. 数据持续同步 → 2. 读切到新系统(仍回源校验)→ 3. 写切流(先停旧写)」三步推进,断言Steps长度为 3 且SafeCutover()为真——2 个断言,验证分阶段 + 先读后写 + 无窗口的组合是安全的。
共 4 个断言,跑完见 ok k8s-net-lab/review。这个 Migration 模型把「迁移」从经验变成可判定:真相源、阶段、双写窗口三个字段,就够回答「现在切流安全吗」。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。