14.3 故障切换与恢复
14.2 节讲了选主的机制。本节讲故障的完整生命周期:从检测到接管、从恢复到继续调谐。控制面的每一类故障都有对应的恢复路径,而恢复的核心是一个贯穿全书的词——幂等。
故障清单:控制面会怎么坏
控制面组件的故障模式,各对应一种恢复:
| 故障 | 症状 | 恢复 |
|---|---|---|
| controller-manager leader 崩溃 | 租约过期、调谐停摆 | standby 接管 |
| apiserver 副本挂 | LB 分流到其他副本 | 无需切换 |
| etcd 节点挂 | 写请求受影响 | Raft 多数重建(卷一) |
| 控制面节点整台挂 | 该节点上的组件全停 | 其他节点接管 |
不是所有故障都要「切换」:apiserver 多副本本身就是故障容忍(挂一个不影响);只有「单写者」的组件(controller-manager/scheduler)需要切换。
切换路径:detect → takeover → recover
一次选主切换的完整三步:
1. detect :发现租约过期(renewTime + duration 已过)
2. takeover :TryAcquire 写入新 holder
3. recover :新 leader 从缓存/现实继续调谐
lab 的 Step 把三步浓缩在一个周期里:
func (c *Candidate) Step() {
if c.IsLeader() {
c.Renew() // 是 leader:续约保活
} else {
c.TryAcquire() // 非 leader:检测 + 接管
}
}
detect 与 takeover 合并成「非 leader 每周期试一次」:租约没过期就失败(detect 到「不用切」),过期就成功(detect 到「该切」)。切换是「被动检测」的——不需要专门的故障探测,租约过期本身就是信号。
接管后的第一件事:从现实出发
接管者成为 leader 后,不需要前任的任何记忆。它做的第一件事还是那套(第 6 章):
读现实(informer 缓存)→ 算差异(spec vs status)→ 写修正(调谐)
TestFailoverAfterCrash 验证的不只是「b 接管成功」,还有「a 恢复后不能抢回」——但接管的核心价值在于:b 接管后,控制面从「a 的中间态」继续收敛,而不是从头再来。因为:
- 对象里存着全部状态(spec/status/RV)——谁调的谐不重要,重要的是对象现在的样子。
- 调谐是幂等的(6.2 节)——b 重新调谐,看到的现实是「a 建了一半的 Pod」,继续建完即可。
- workqueue 会重新入队(6.1 节)——b 的 informer 把变化重新排进队列。
「接管 = 继续调谐」而非「接管 = 重做一遍」——这是控制面恢复能力的根本。前任崩溃丢掉的只是「内存里的执行进度」,不是「系统的状态」——状态在 etcd,不在进程里。
热备的价值:恢复有多快
standby 为什么是「热备」(14.1 节)——它维护 informer 缓存。接管的速度取决于缓存的新鲜度:
| standby 状态 | 接管后的第一件事 | 恢复速度 |
|---|---|---|
| 热备(缓存最新) | 直接从缓存调谐 | 秒级 |
| 冷启动(无缓存) | 先 list 全量再调谐 | 分钟级 |
热备把「恢复时间」从「全量重拉」降到「缓存续调」。这也是 3.3 节「list 一次、之后增量」的价值在控制面自身上体现——standby 也在用 informer,只是不写。
切换的代价与稳定权衡
切换不是免费的:
| 代价 | 来源 |
|---|---|
| 空窗 | 租约过期到接管之间,无活跃 leader |
| 抖动 | 租约太短时,网络抖动引发频繁切换 |
切换的稳定性权衡(14.2 节已提):
- 租约太短 → 频繁切换(unstable leader,每次切换都有空窗与调谐重启)。
- 租约太长 → 真故障后空窗久。
真实 K8s 的默认(leaseDuration 15s)兼顾两者:容忍秒级网络抖动(10s 内不切换),又保证真故障在 ~15s 内被接管。选主的参数是「抖动容忍 vs 恢复速度」的旋钮——和 12 章限流预算、7 章 surge 一样,都是运维可调的权衡。
恢复的可观测性:切换要能看见
故障切换应该可观测,否则「发生了切换」无从知道。可观测的点:
| 观测点 | 内容 |
|---|---|
| Lease 对象 | holder 何时变化、谁是当前 holder |
| 事件 | leader 切换事件(获取/失去领导权) |
| 指标 | 切换次数、活跃 leader 时长 |
切换次数的告警价值:单位时间内切换次数突然上升 → 网络不稳定或租约过短 → 选主抖动。正常的切换应该是低频的(故障才切);高频切换是「新问题」的信号,而不是「恢复正常」的信号。
切换后的收敛:接管者如何接过「前任的中间态」
前任 leader 崩溃时,集群可能正处于它调谐的中间态——比如 Deployment 滚动到一半(第 8 章)、StatefulSet 扩到一半(第 9 章)。接管者怎么继续?
| 前任留下的中间态 | 接管者的处理 |
|---|---|
| Pod 建了一半 | 从现实看:该建完的继续,不该存在的删掉 |
| status 停在中间值 | 重新调谐后覆盖(乐观锁保护) |
| 队列里有没处理的 key | informer 重新入队(6.1 节) |
接管者的唯一可靠输入是「现实」(对象当前的 spec/status)——它不看前任的进度、不继承前任的内存。中间态在对象里看得见(哪个 Pod 起了、哪个没起),接管者重跑「读-算-写」即可继续收敛。
这就是「幂等」在故障切换上的真正价值(6.2 节):不是「重做无害」这么简单,而是**「从任意中间态都能继续收敛」**。前任的进度丢了不要紧,因为收敛的依据不在进度里、在现实里。控制面之所以能容忍 leader 崩溃,不是因为它不崩溃,而是因为「崩溃后从现实重新收敛」是安全的。
防回抢的完整细节:双主如何被排除
「老 leader 恢复后不能抢回」是防双主的最后一环。完整的时序:
t0 a 是 leader
t2 a 崩溃(停止续约)
t10 b 接管(租约过期),b 开始续约 b 的租约
t12 a 恢复(回到集群)
t12 a 尝试续约 → Holder 是 b → 失败(续约权绑定持有权)
t12 a 尝试接管 → 租约未过期 → 失败
t25 b 的租约过期(若 b 也崩了),a 才可能接管
a 恢复后既不能续约(不是 holder)也不能接管(租约有效)——两个机制(14.2 节)同时在拦。a 只能等 b 的租约过期(若 b 一直健康,a 就一直待命)。双主被「时间 + 所有权」双重排除:续约需要所有权、接管需要过期——任何瞬间都不存在「两个都觉得自己是 holder」的窗口。
一个完整的切换实例(端到端)
把 14.2/14.3 的机制走一遍完整实例(配合 lab 的时序):
周期 0-4 :a 是 leader,每周期续约(Renew)
周期 5 :a 进程卡死,停止续约
周期 6-9 :a 的租约仍有效(renewTime+duration 未过),b 尝试接管失败
周期 10 :租约过期(duration 耗尽)
周期 10 :b 尝试接管成功(TryAcquire),成为 leader
周期 11-30:b 续约保活,从缓存继续调谐
对照 lab 的测试:
TestFailoverAfterCrash:正是周期 5-10 的序列——a 崩溃、b 在过期后接管。TestNoDualLeaders:全程任意时刻只有一个「认为自己是 leader」的候选。
这个实例说明切换不是瞬间的:从崩溃(周期 5)到接管(周期 10)之间有 5 个周期的空窗(14.3 节「空窗」)。看懂这个时间线,就懂了选主的全部——保活靠续约、接管靠过期、防双主靠所有权绑定。时间线是选主机制最好的「示意图」。
三个常见误解
- 「接管者要从头调谐一遍」——错误。接管者从现实/缓存继续,不需要重做前任的进度。
- 「切换是即时的」——不准确。切换要等租约过期(detect)+ 接管(takeover),存在一个「无 leader」空窗。
- 「切换越多越好(总有新的顶替)」——错误。高频切换说明选主不稳定,是网络或配置问题。
本节 lab
本节验证崩溃接管与恢复的路径:
cd private/labs/k8s-ctrl-lab
go test ./leaderelection -run 'TestFailoverAfterCrash|TestAcquireThenExpire' -v
TestFailoverAfterCrash:leader 停止续约后另一副本接管、老 leader 恢复不能抢回——「故障切换与防回抢」。TestAcquireThenExpire:租约过期是接管的唯一条件——「detect → takeover」的判定。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。