《Kubernetes 分布式系统原理深入解析》14.3 故障切换与恢复

控制面的故障不只在 leader 崩溃:apiserver 挂了怎么办、etcd 少数派怎么办、切换后控制器怎么继续调谐。本节解剖故障切换的完整路径——detect(发现租约过期)、takeover(接管)、recover(从缓存继续)、以及各组件故障的恢复语义。核心是幂等:接管者从现实出发重新调谐,不需要前任的记忆。lab 用 leaderelection 验证崩溃接管与恢复。

14.3 故障切换与恢复

14.2 节讲了选主的机制。本节讲故障的完整生命周期:从检测到接管、从恢复到继续调谐。控制面的每一类故障都有对应的恢复路径,而恢复的核心是一个贯穿全书的词——幂等。

故障清单:控制面会怎么坏

控制面组件的故障模式,各对应一种恢复:

故障症状恢复
controller-manager leader 崩溃租约过期、调谐停摆standby 接管
apiserver 副本挂LB 分流到其他副本无需切换
etcd 节点挂写请求受影响Raft 多数重建(卷一)
控制面节点整台挂该节点上的组件全停其他节点接管

不是所有故障都要「切换」:apiserver 多副本本身就是故障容忍(挂一个不影响);只有「单写者」的组件(controller-manager/scheduler)需要切换。

切换路径:detect → takeover → recover

一次选主切换的完整三步:

1. detect   :发现租约过期(renewTime + duration 已过)
2. takeover :TryAcquire 写入新 holder
3. recover  :新 leader 从缓存/现实继续调谐

lab 的 Step 把三步浓缩在一个周期里:

func (c *Candidate) Step() {
    if c.IsLeader() {
        c.Renew()          // 是 leader:续约保活
    } else {
        c.TryAcquire()     // 非 leader:检测 + 接管
    }
}

detect 与 takeover 合并成「非 leader 每周期试一次」:租约没过期就失败(detect 到「不用切」),过期就成功(detect 到「该切」)。切换是「被动检测」的——不需要专门的故障探测,租约过期本身就是信号。

接管后的第一件事:从现实出发

接管者成为 leader 后,不需要前任的任何记忆。它做的第一件事还是那套(第 6 章):

读现实(informer 缓存)→ 算差异(spec vs status)→ 写修正(调谐)

TestFailoverAfterCrash 验证的不只是「b 接管成功」,还有「a 恢复后不能抢回」——但接管的核心价值在于:b 接管后,控制面从「a 的中间态」继续收敛,而不是从头再来。因为:

  1. 对象里存着全部状态(spec/status/RV)——谁调的谐不重要,重要的是对象现在的样子。
  2. 调谐是幂等的(6.2 节)——b 重新调谐,看到的现实是「a 建了一半的 Pod」,继续建完即可。
  3. workqueue 会重新入队(6.1 节)——b 的 informer 把变化重新排进队列。

「接管 = 继续调谐」而非「接管 = 重做一遍」——这是控制面恢复能力的根本。前任崩溃丢掉的只是「内存里的执行进度」,不是「系统的状态」——状态在 etcd,不在进程里。

热备的价值:恢复有多快

standby 为什么是「热备」(14.1 节)——它维护 informer 缓存。接管的速度取决于缓存的新鲜度:

standby 状态接管后的第一件事恢复速度
热备(缓存最新)直接从缓存调谐秒级
冷启动(无缓存)先 list 全量再调谐分钟级

热备把「恢复时间」从「全量重拉」降到「缓存续调」。这也是 3.3 节「list 一次、之后增量」的价值在控制面自身上体现——standby 也在用 informer,只是不写。

切换的代价与稳定权衡

切换不是免费的:

代价来源
空窗租约过期到接管之间,无活跃 leader
抖动租约太短时,网络抖动引发频繁切换

切换的稳定性权衡(14.2 节已提):

  • 租约太短 → 频繁切换(unstable leader,每次切换都有空窗与调谐重启)。
  • 租约太长 → 真故障后空窗久。

真实 K8s 的默认(leaseDuration 15s)兼顾两者:容忍秒级网络抖动(10s 内不切换),又保证真故障在 ~15s 内被接管。选主的参数是「抖动容忍 vs 恢复速度」的旋钮——和 12 章限流预算、7 章 surge 一样,都是运维可调的权衡。

恢复的可观测性:切换要能看见

故障切换应该可观测,否则「发生了切换」无从知道。可观测的点:

观测点内容
Lease 对象holder 何时变化、谁是当前 holder
事件leader 切换事件(获取/失去领导权)
指标切换次数、活跃 leader 时长

切换次数的告警价值:单位时间内切换次数突然上升 → 网络不稳定或租约过短 → 选主抖动。正常的切换应该是低频的(故障才切);高频切换是「新问题」的信号,而不是「恢复正常」的信号。

切换后的收敛:接管者如何接过「前任的中间态」

前任 leader 崩溃时,集群可能正处于它调谐的中间态——比如 Deployment 滚动到一半(第 8 章)、StatefulSet 扩到一半(第 9 章)。接管者怎么继续?

前任留下的中间态接管者的处理
Pod 建了一半从现实看:该建完的继续,不该存在的删掉
status 停在中间值重新调谐后覆盖(乐观锁保护)
队列里有没处理的 keyinformer 重新入队(6.1 节)

接管者的唯一可靠输入是「现实」(对象当前的 spec/status)——它不看前任的进度、不继承前任的内存。中间态在对象里看得见(哪个 Pod 起了、哪个没起),接管者重跑「读-算-写」即可继续收敛。

这就是「幂等」在故障切换上的真正价值(6.2 节):不是「重做无害」这么简单,而是**「从任意中间态都能继续收敛」**。前任的进度丢了不要紧,因为收敛的依据不在进度里、在现实里。控制面之所以能容忍 leader 崩溃,不是因为它不崩溃,而是因为「崩溃后从现实重新收敛」是安全的。

防回抢的完整细节:双主如何被排除

「老 leader 恢复后不能抢回」是防双主的最后一环。完整的时序:

t0  a 是 leader
t2  a 崩溃(停止续约)
t10 b 接管(租约过期),b 开始续约 b 的租约
t12 a 恢复(回到集群)
t12 a 尝试续约 → Holder 是 b → 失败(续约权绑定持有权)
t12 a 尝试接管 → 租约未过期 → 失败
t25 b 的租约过期(若 b 也崩了),a 才可能接管

a 恢复后既不能续约(不是 holder)也不能接管(租约有效)——两个机制(14.2 节)同时在拦。a 只能等 b 的租约过期(若 b 一直健康,a 就一直待命)。双主被「时间 + 所有权」双重排除:续约需要所有权、接管需要过期——任何瞬间都不存在「两个都觉得自己是 holder」的窗口。

一个完整的切换实例(端到端)

把 14.2/14.3 的机制走一遍完整实例(配合 lab 的时序):

周期 0-4 :a 是 leader,每周期续约(Renew)
周期 5  :a 进程卡死,停止续约
周期 6-9 :a 的租约仍有效(renewTime+duration 未过),b 尝试接管失败
周期 10 :租约过期(duration 耗尽)
周期 10 :b 尝试接管成功(TryAcquire),成为 leader
周期 11-30:b 续约保活,从缓存继续调谐

对照 lab 的测试:

  • TestFailoverAfterCrash:正是周期 5-10 的序列——a 崩溃、b 在过期后接管。
  • TestNoDualLeaders:全程任意时刻只有一个「认为自己是 leader」的候选。

这个实例说明切换不是瞬间的:从崩溃(周期 5)到接管(周期 10)之间有 5 个周期的空窗(14.3 节「空窗」)。看懂这个时间线,就懂了选主的全部——保活靠续约、接管靠过期、防双主靠所有权绑定。时间线是选主机制最好的「示意图」。

三个常见误解

  • 「接管者要从头调谐一遍」——错误。接管者从现实/缓存继续,不需要重做前任的进度。
  • 「切换是即时的」——不准确。切换要等租约过期(detect)+ 接管(takeover),存在一个「无 leader」空窗。
  • 「切换越多越好(总有新的顶替)」——错误。高频切换说明选主不稳定,是网络或配置问题。

本节 lab

本节验证崩溃接管与恢复的路径:

cd private/labs/k8s-ctrl-lab
go test ./leaderelection -run 'TestFailoverAfterCrash|TestAcquireThenExpire' -v
  • TestFailoverAfterCrash:leader 停止续约后另一副本接管、老 leader 恢复不能抢回——「故障切换与防回抢」。
  • TestAcquireThenExpire:租约过期是接管的唯一条件——「detect → takeover」的判定。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图