《Kubernetes 分布式系统原理深入解析》8.3 跨节点复制与故障转移(Operator 视角)

ShardSet CRD 只声明分片拓扑,让拓扑变成现实的是 Operator 的调谐循环:主副本故障时切换主到存活副本,副本不足时在可用节点上补齐。本节剖析故障转移与自愈两条动作的分工、执行顺序与容量边界,lab 用 stateful 包的 Operator 验证 FailoverSwitchesPrimary 与 OperatorHealsReplicas 两个场景。

8.3 跨节点复制与故障转移(Operator 视角)

8.2 节用 ShardSet CRD 表达了「分片集合长什么样」,但那只是声明。真正让拓扑活起来的是 Operator:它 watch 分片集合,发现主副本所在的节点挂了,就切换主;发现某分片副本不足,就找可用节点补齐。本节拆开 Operator 的这两条动作——故障转移与自愈——看它们如何在一轮调谐里协同。

reconcile 循环:从声明到动作

Operator 的工作模式与卷二讲的控制器完全同构:informer 监听 ShardSet 与其物化的资源,每当事件到来,取当前状态与期望状态对比,执行差距,更新 status。对分片集合来说,「期望」是每片有目标副本数、有一个活着的主副本;「实际」是当前副本落点与主下标。差距是:

差距判定动作
主副本所在节点故障failed[replica[Primary]] 为真故障转移(切主)
分片副本数不足len(Replica) < 3自愈(补副本)

这一节 lab 的 Operator.Heal 就是这两条差距的判定与执行的浓缩:先处理主故障,再处理副本不足。这个顺序不是偶然——主都不可用时先补从副本没有意义,而切完主之后补齐副本,能让分片尽快回到完整拓扑。

节点故障的发现:谁告诉 Operator「n1 挂了」

Operator 的 Heal 接收一个 failed map[string]bool,仿佛故障是外界直接给的。但真实系统里「发现节点故障」本身是一条独立的链路,Operator 只是消费它的结果:

信号来源机制延迟量级Operator 如何得知
Node Lease节点心跳续约超时数十秒watch Node 状态变 NotReady
探针kubelet 就绪探针失败秒级watch EndpointSlice / Pod 状态
控制器node controller 标记失联分钟级Node 事件进入 workqueue

failed 表正是这条发现链路在 lab 里的抽象:Operator 不负责探测故障,只负责对「已知故障」做出反应。这个分工让两边的复杂度解耦——探测的时序与误报是 kubelet 与 node controller 的事(卷三 10.3 展开),切换与补齐才是 8.3 的调谐动作。真实 Operator 一样如此:informer 收到节点事件后把它放进 workqueue,reconcile 时才对照 failed 视图做转移。

这也解释了为什么故障转移有「窗口」:从节点真正失联,到 Node 状态被标 NotReady、事件到达 Operator、reconcile 执行,是一条有延迟的因果链。lab 把发现延迟抹掉(failed 直接可用),是为了让调谐动作本身可测试——但阅读本节时要把这段延迟记回脑中。

故障转移:主副本故障的切换

Failover 的语义很简单:主副本所在的节点 failed 时,把 Primary 下标移到第一个存活的副本;若一个存活副本都没有,返回 false,表示这个分片当前不可服务。

for i, n := range s.Replica {
    if !failed[n] {
        s.Primary = i
        return true
    }
}
return false

切换动作本身轻,但它改变了分片的读与写路径:

阶段写路径读路径
切换前主节点故障,写被拒可回退读从副本(8.2 节)
切换后新主接管写读新主,回到强一致
无存活副本持续拒绝拒绝服务

故障转移不是瞬间完成的:切换依赖「发现主故障」这个前提,而发现本身有延迟(心跳超时、探活周期)。窗口期内该分片写不可用——所以故障转移的代价是短暂写停顿,换取更长时间的可用性。真实数据库的选主还有数据新旧校验(只允许含最新日志的副本当选),本节 lab 简化为「第一个存活副本」,是取舍而非现实。

副本自愈:补齐到目标副本数

主切完之后,第二轮动作检查副本数。目标副本数是 3,若 len(Replica) < 3,Operator 要在可用节点里挑一个「没在这片上的」补进去:

if len(s.Replica) < 3 {
    for i := 0; i < o.NodesAvailable(failed); i++ {
        can := fmtNode("n%d", i)
        if o.nodeFree(s, can, failed) {
            s.Replica = append(s.Replica, can)
            break
        }
    }
}

补副本有两个约束,缺一不可:

约束含义违反后果
节点存活不能把副本补到已故障节点补了等于没补
节点未在该分片同一分片不能有两个副本在同一节点单节点故障打掉该分片两个副本,8.1 的拓扑判定被破坏

注意这里的「可用节点」是从 0 编号扫描的,对应真实系统里 Operator 按拓扑/资源打分选节点的动作——本节 lab 用最朴素的「第一个可用」近似,真实 Operator 还要叠加 zone 分布、资源水位、正在滚动的节点等输入。

一次 Heal 的完整执行(lab 场景)

把两条动作串起来看一次真实执行,就用 lab 的 TestOperatorHealsReplicas 场景:

  1. 初始:分片 s1 副本 [n1, n2],主下标 0(n1),目标副本数 3。
  2. 事件:节点 n1 故障。
  3. 故障转移:n1 是主且已失败,Failover 把主切到下标 1——n2,变更计数 +1。
  4. 自愈:len(Replica)=2 < 3,在可用节点(n0/n1/n2,n1 已失败跳过)里找没占用的节点,n0 可用,追加为第三个副本,变更计数 +1。
  5. 结果:副本 [n1, n2, n0](n1 仍留在列表里但已失败),主为 n2,变更数 2。

注意第 5 步的细节:lab 的 Heal 不删除失败节点上的副本记录,只追加新副本。这对应真实系统「故障节点可能恢复,先留着、由后续 reconcile 清理」的保守做法——删除是另一个动作,混在一起会引入更多状态转换。

故障转移与自愈的分工

两条动作回答不同的问题,缺一则拓扑不完整:

动作保的是什么不做的后果
故障转移可用性(有活着的主)只补副本不切主:写仍指向死节点,分片写持续失败
副本自愈冗余(副本数达标)只切主不补副本:单副本运行,下一次故障就全灭

同一轮 reconcile 里先切主再补副本,保证了「切完主之后的副本数是安全值」。真实 Operator 更谨慎:补副本前会先等新副本追平数据(同步到目标进度)再标记就绪,lab 简化为「追加即完成」,把「复制追赶」留给读者在数据同步层补想。

自愿中断 vs 非自愿故障

故障转移应对的是「非自愿故障」,但操作里还有一种「自愿中断」:节点维护、池缩容,都要先 drain 节点、驱逐 Pod。两者对 Operator 的意义不同:

维度非自愿故障自愿中断(drain)
是否预期否是,可计划
是否被 PDB 约束否是(8.1 节 PDB 管的就是这个)
主副本迁移故障转移(读可能短暂陈旧)优雅驱逐(可先切换主再 drain)

自愿中断有 PDB 兜底,可以「优雅地」先迁移主副本、再驱逐从副本,避免把一次计划内的维护变成一次被迫的故障转移。8.1 的 PDB 与这里的操作顺序是配套的:PDB 保证自愿中断不会把副本打到多数派以下,优雅切换保证主副本不需要走「发现故障」的延迟。lab 的 failed 表不区分自愿与非自愿——它只表达「某节点不可用」这个结果,符合模型简化。

容量的边界:没有可用节点就补不了

NodesAvailable 是 Operator 的一个回调:报告当前有多少节点可用。它是自愈的硬约束——副本不足但可用节点也刚好用完时,Heal 会安静地跳过补副本,分片停留在降级态:

场景可用节点Heal 结果
故障节点 1 个,池内有空节点充足补到 3 副本
故障节点 1 个,池内无空节点不足副本停在 2,等待扩容

真实系统里「补不了」不是静默的:Operator 会写 status 条件(如 Degraded: replicas 2/3),告警系统据此拉起扩容或等节点回收。lab 的返回值只给变更计数,是模型简化——把「能不能补」的判定留给 NodesAvailable 回调,正是把容量决策与故障处理解耦。

从简化模型到真实 Operator 的差距

lab 的 Heal 只有 15 行,真实 Operator 在它之上还要叠加多层:

简化模型真实 Operator 的补充
主切到「第一个存活副本」选主校验数据新旧,只允许含最新日志的副本当选
补「第一个可用节点」按 zone 分布、资源水位、污点容忍打分选节点
追加副本即完成等新副本同步追平到目标进度才标记就绪
返回变更计数更新 CRD 的 status 条件、事件、告警
不清理故障节点上的副本周期性 reconcile 清理失效副本记录

读 lab 时把它当核心调谐骨架:切主、补副本、容量不足则跳过。真实 Operator 的复杂性几乎全在「骨架之外的判据」上——新旧校验、就绪门槛、status 回写——骨架本身没有变。这也是本卷 lab 的一贯口径:用最简实现验证机制,把工程细节留给实现者按真实数据面补齐。

三个常见误解

  • 「故障转移是瞬间完成的,主一挂写立刻切到新主」——错误。切换依赖发现主故障(心跳/探活),发现延迟就是写停顿窗口;lab 里 Failover 只建模切换动作本身,不建模发现延迟。
  • 「副本自愈只补数量,副本数够了就安全」——错误。新副本必须落在存活且未被该分片占用的节点上,否则单节点故障会同时打掉该分片多个副本,8.1 的多数派判定照样被破坏。
  • 「副本不足但池里没节点时,Operator 至少会报警或拒绝」——错误。lab 的简化模型会安静地跳过补副本(变更数不变);真实 Operator 通过 status 条件暴露降级,但「补不了」这个结果是一致的。

一句话总结本节

Operator 把 8.2 节的静态声明动起来:主副本故障时先做故障转移(切主到存活副本保可用),再做副本自愈(在存活且未被占用的节点上补齐副本保冗余),两者缺一不可;副本不足但可用节点耗尽时,分片只能停留在降级态等待容量回归——这是 Operator 视角下「复制与故障转移」的完整闭环。

下一章把视线从「运行中的复制」转向「故障后的数据找回」:一致性组快照、RTO/RPO 与 etcd 整体恢复。

本节 lab

本节两个测试落在 stateful 包的 Operator 与 ReplicaSet.Failover 上:

cd private/labs/k8s-net-lab
go test ./stateful -run TestFailoverSwitchesPrimary -v
go test ./stateful -run TestOperatorHealsReplicas -v

TestFailoverSwitchesPrimary(3 个断言):构造 3 副本分片 [n1, n2, n3]、主为 n1;断言 n1 故障时 Failover 返回 true、主下标切到 1(n2);再断言三个副本全部故障时 Failover 返回 false——「无存活副本不切换」。

TestOperatorHealsReplicas(3 个断言):构造副本 [n1, n2]、主为 n1 的分片,节点 n1 故障、可用节点数 3;断言 Heal 返回的变更数非 0、主切到 n2、副本数补到 3——完整演示「故障转移 + 自愈」一轮调谐。

两测试共 6 个断言,运行见 ok k8s-net-lab/stateful。Heal 的 15 行逻辑就是「先切主、再补副本、容量不足则跳过」这条 Operator 核心动作的最小落地。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图