8.3 跨节点复制与故障转移(Operator 视角)
8.2 节用 ShardSet CRD 表达了「分片集合长什么样」,但那只是声明。真正让拓扑活起来的是 Operator:它 watch 分片集合,发现主副本所在的节点挂了,就切换主;发现某分片副本不足,就找可用节点补齐。本节拆开 Operator 的这两条动作——故障转移与自愈——看它们如何在一轮调谐里协同。
reconcile 循环:从声明到动作
Operator 的工作模式与卷二讲的控制器完全同构:informer 监听 ShardSet 与其物化的资源,每当事件到来,取当前状态与期望状态对比,执行差距,更新 status。对分片集合来说,「期望」是每片有目标副本数、有一个活着的主副本;「实际」是当前副本落点与主下标。差距是:
| 差距 | 判定 | 动作 |
|---|---|---|
| 主副本所在节点故障 | failed[replica[Primary]] 为真 | 故障转移(切主) |
| 分片副本数不足 | len(Replica) < 3 | 自愈(补副本) |
这一节 lab 的 Operator.Heal 就是这两条差距的判定与执行的浓缩:先处理主故障,再处理副本不足。这个顺序不是偶然——主都不可用时先补从副本没有意义,而切完主之后补齐副本,能让分片尽快回到完整拓扑。
节点故障的发现:谁告诉 Operator「n1 挂了」
Operator 的 Heal 接收一个 failed map[string]bool,仿佛故障是外界直接给的。但真实系统里「发现节点故障」本身是一条独立的链路,Operator 只是消费它的结果:
| 信号来源 | 机制 | 延迟量级 | Operator 如何得知 |
|---|---|---|---|
| Node Lease | 节点心跳续约超时 | 数十秒 | watch Node 状态变 NotReady |
| 探针 | kubelet 就绪探针失败 | 秒级 | watch EndpointSlice / Pod 状态 |
| 控制器 | node controller 标记失联 | 分钟级 | Node 事件进入 workqueue |
failed 表正是这条发现链路在 lab 里的抽象:Operator 不负责探测故障,只负责对「已知故障」做出反应。这个分工让两边的复杂度解耦——探测的时序与误报是 kubelet 与 node controller 的事(卷三 10.3 展开),切换与补齐才是 8.3 的调谐动作。真实 Operator 一样如此:informer 收到节点事件后把它放进 workqueue,reconcile 时才对照 failed 视图做转移。
这也解释了为什么故障转移有「窗口」:从节点真正失联,到 Node 状态被标 NotReady、事件到达 Operator、reconcile 执行,是一条有延迟的因果链。lab 把发现延迟抹掉(failed 直接可用),是为了让调谐动作本身可测试——但阅读本节时要把这段延迟记回脑中。
故障转移:主副本故障的切换
Failover 的语义很简单:主副本所在的节点 failed 时,把 Primary 下标移到第一个存活的副本;若一个存活副本都没有,返回 false,表示这个分片当前不可服务。
for i, n := range s.Replica {
if !failed[n] {
s.Primary = i
return true
}
}
return false
切换动作本身轻,但它改变了分片的读与写路径:
| 阶段 | 写路径 | 读路径 |
|---|---|---|
| 切换前 | 主节点故障,写被拒 | 可回退读从副本(8.2 节) |
| 切换后 | 新主接管写 | 读新主,回到强一致 |
| 无存活副本 | 持续拒绝 | 拒绝服务 |
故障转移不是瞬间完成的:切换依赖「发现主故障」这个前提,而发现本身有延迟(心跳超时、探活周期)。窗口期内该分片写不可用——所以故障转移的代价是短暂写停顿,换取更长时间的可用性。真实数据库的选主还有数据新旧校验(只允许含最新日志的副本当选),本节 lab 简化为「第一个存活副本」,是取舍而非现实。
副本自愈:补齐到目标副本数
主切完之后,第二轮动作检查副本数。目标副本数是 3,若 len(Replica) < 3,Operator 要在可用节点里挑一个「没在这片上的」补进去:
if len(s.Replica) < 3 {
for i := 0; i < o.NodesAvailable(failed); i++ {
can := fmtNode("n%d", i)
if o.nodeFree(s, can, failed) {
s.Replica = append(s.Replica, can)
break
}
}
}
补副本有两个约束,缺一不可:
| 约束 | 含义 | 违反后果 |
|---|---|---|
| 节点存活 | 不能把副本补到已故障节点 | 补了等于没补 |
| 节点未在该分片 | 同一分片不能有两个副本在同一节点 | 单节点故障打掉该分片两个副本,8.1 的拓扑判定被破坏 |
注意这里的「可用节点」是从 0 编号扫描的,对应真实系统里 Operator 按拓扑/资源打分选节点的动作——本节 lab 用最朴素的「第一个可用」近似,真实 Operator 还要叠加 zone 分布、资源水位、正在滚动的节点等输入。
一次 Heal 的完整执行(lab 场景)
把两条动作串起来看一次真实执行,就用 lab 的 TestOperatorHealsReplicas 场景:
- 初始:分片
s1副本[n1, n2],主下标 0(n1),目标副本数 3。 - 事件:节点
n1故障。 - 故障转移:
n1是主且已失败,Failover把主切到下标 1——n2,变更计数 +1。 - 自愈:
len(Replica)=2 < 3,在可用节点(n0/n1/n2,n1 已失败跳过)里找没占用的节点,n0可用,追加为第三个副本,变更计数 +1。 - 结果:副本
[n1, n2, n0](n1 仍留在列表里但已失败),主为n2,变更数 2。
注意第 5 步的细节:lab 的 Heal 不删除失败节点上的副本记录,只追加新副本。这对应真实系统「故障节点可能恢复,先留着、由后续 reconcile 清理」的保守做法——删除是另一个动作,混在一起会引入更多状态转换。
故障转移与自愈的分工
两条动作回答不同的问题,缺一则拓扑不完整:
| 动作 | 保的是什么 | 不做的后果 |
|---|---|---|
| 故障转移 | 可用性(有活着的主) | 只补副本不切主:写仍指向死节点,分片写持续失败 |
| 副本自愈 | 冗余(副本数达标) | 只切主不补副本:单副本运行,下一次故障就全灭 |
同一轮 reconcile 里先切主再补副本,保证了「切完主之后的副本数是安全值」。真实 Operator 更谨慎:补副本前会先等新副本追平数据(同步到目标进度)再标记就绪,lab 简化为「追加即完成」,把「复制追赶」留给读者在数据同步层补想。
自愿中断 vs 非自愿故障
故障转移应对的是「非自愿故障」,但操作里还有一种「自愿中断」:节点维护、池缩容,都要先 drain 节点、驱逐 Pod。两者对 Operator 的意义不同:
| 维度 | 非自愿故障 | 自愿中断(drain) |
|---|---|---|
| 是否预期 | 否 | 是,可计划 |
| 是否被 PDB 约束 | 否 | 是(8.1 节 PDB 管的就是这个) |
| 主副本迁移 | 故障转移(读可能短暂陈旧) | 优雅驱逐(可先切换主再 drain) |
自愿中断有 PDB 兜底,可以「优雅地」先迁移主副本、再驱逐从副本,避免把一次计划内的维护变成一次被迫的故障转移。8.1 的 PDB 与这里的操作顺序是配套的:PDB 保证自愿中断不会把副本打到多数派以下,优雅切换保证主副本不需要走「发现故障」的延迟。lab 的 failed 表不区分自愿与非自愿——它只表达「某节点不可用」这个结果,符合模型简化。
容量的边界:没有可用节点就补不了
NodesAvailable 是 Operator 的一个回调:报告当前有多少节点可用。它是自愈的硬约束——副本不足但可用节点也刚好用完时,Heal 会安静地跳过补副本,分片停留在降级态:
| 场景 | 可用节点 | Heal 结果 |
|---|---|---|
| 故障节点 1 个,池内有空节点 | 充足 | 补到 3 副本 |
| 故障节点 1 个,池内无空节点 | 不足 | 副本停在 2,等待扩容 |
真实系统里「补不了」不是静默的:Operator 会写 status 条件(如 Degraded: replicas 2/3),告警系统据此拉起扩容或等节点回收。lab 的返回值只给变更计数,是模型简化——把「能不能补」的判定留给 NodesAvailable 回调,正是把容量决策与故障处理解耦。
从简化模型到真实 Operator 的差距
lab 的 Heal 只有 15 行,真实 Operator 在它之上还要叠加多层:
| 简化模型 | 真实 Operator 的补充 |
|---|---|
| 主切到「第一个存活副本」 | 选主校验数据新旧,只允许含最新日志的副本当选 |
| 补「第一个可用节点」 | 按 zone 分布、资源水位、污点容忍打分选节点 |
| 追加副本即完成 | 等新副本同步追平到目标进度才标记就绪 |
| 返回变更计数 | 更新 CRD 的 status 条件、事件、告警 |
| 不清理故障节点上的副本 | 周期性 reconcile 清理失效副本记录 |
读 lab 时把它当核心调谐骨架:切主、补副本、容量不足则跳过。真实 Operator 的复杂性几乎全在「骨架之外的判据」上——新旧校验、就绪门槛、status 回写——骨架本身没有变。这也是本卷 lab 的一贯口径:用最简实现验证机制,把工程细节留给实现者按真实数据面补齐。
三个常见误解
- 「故障转移是瞬间完成的,主一挂写立刻切到新主」——错误。切换依赖发现主故障(心跳/探活),发现延迟就是写停顿窗口;lab 里
Failover只建模切换动作本身,不建模发现延迟。 - 「副本自愈只补数量,副本数够了就安全」——错误。新副本必须落在存活且未被该分片占用的节点上,否则单节点故障会同时打掉该分片多个副本,8.1 的多数派判定照样被破坏。
- 「副本不足但池里没节点时,Operator 至少会报警或拒绝」——错误。lab 的简化模型会安静地跳过补副本(变更数不变);真实 Operator 通过 status 条件暴露降级,但「补不了」这个结果是一致的。
一句话总结本节
Operator 把 8.2 节的静态声明动起来:主副本故障时先做故障转移(切主到存活副本保可用),再做副本自愈(在存活且未被占用的节点上补齐副本保冗余),两者缺一不可;副本不足但可用节点耗尽时,分片只能停留在降级态等待容量回归——这是 Operator 视角下「复制与故障转移」的完整闭环。
下一章把视线从「运行中的复制」转向「故障后的数据找回」:一致性组快照、RTO/RPO 与 etcd 整体恢复。
本节 lab
本节两个测试落在 stateful 包的 Operator 与 ReplicaSet.Failover 上:
cd private/labs/k8s-net-lab
go test ./stateful -run TestFailoverSwitchesPrimary -v
go test ./stateful -run TestOperatorHealsReplicas -v
TestFailoverSwitchesPrimary(3 个断言):构造 3 副本分片 [n1, n2, n3]、主为 n1;断言 n1 故障时 Failover 返回 true、主下标切到 1(n2);再断言三个副本全部故障时 Failover 返回 false——「无存活副本不切换」。
TestOperatorHealsReplicas(3 个断言):构造副本 [n1, n2]、主为 n1 的分片,节点 n1 故障、可用节点数 3;断言 Heal 返回的变更数非 0、主切到 n2、副本数补到 3——完整演示「故障转移 + 自愈」一轮调谐。
两测试共 6 个断言,运行见 ok k8s-net-lab/stateful。Heal 的 15 行逻辑就是「先切主、再补副本、容量不足则跳过」这条 Operator 核心动作的最小落地。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。