4.3 多副本 controller-manager 如何防双主与收敛
生产环境部署 2 个 controller-manager,但任何时候只有 1 个在真正干活。本节把选主从「库的实现」提升到「组件的行为」:两个进程如何竞争、故障如何接管、以及「收敛到单活」在分布式上是如何保证的。
为什么 controller-manager 必须单活
回顾 1.3 节:controller-manager 持有内存态(informer 缓存、workqueue),且会对对象执行「读-算-写」。若两个副本同时活跃:
- 对同一个 Deployment,两个副本各自算差异、各自写 RS——乐观锁不会损坏数据,但会造成重复创建、重复删除、抖动。
- workqueue 各自维护,无法合并——两个队列会分别处理同一个 key。
- 控制器写入无协调,事件风暴加倍。
所以 controller-manager 用「1 leader + N standby」:standby 也启动 informer(缓存是热的),但不跑控制器主循环。leader 挂了,standby 因缓存已就绪可快速接管。
两个副本争一把锁
部署形态:两个 pod(cm-a、cm-b)都运行 controller-manager,都配置同一个 Lease(kube-system/kube-controller-manager),identity 不同。
竞争过程:
t=0 cm-a TryAcquire 空租约 → 成功,成为 leader
t=2s cm-a Renew(续约)
t=2s cm-b TryAcquire → 租约未过期 → 失败,继续 standby
t=30s cm-a 崩溃,停止续约
t=45s 租约过期(renewTime+15s)
t=45s+ cm-b TryAcquire → 过期 → 接管,成为 leader
关键点:standby 一直在跑 informer,缓存是热的。接管后它的 informer 已同步,控制器主循环可以直接基于热缓存工作——这就是「备机不冷」的工程意义。
防双主的收敛保证
多副本下,系统如何保证「任意时刻至多一个 leader」收敛?回顾选主库三层:存储层乐观锁、库层只接管过期租约、应用层只有 leader 动作。收敛的证明依赖两个前提:
- 租约是共享的:所有副本争同一个 Lease 对象,不存在「各争各的」。
- 写是带版本的:即使两个副本同时写 Lease,乐观锁保证只有一个成功;失败的那个观察到 holder 已非自己,转入 standby。
在极端的网络分区下(两个 controller-manager 各连一半 apiserver?——实际上它们连同一个 apiserver),双主窗口非零但极小;且因控制器幂等,双主只会产生重复动作而不会损坏数据。收敛是「最终」的,不是「瞬时」的。
故障转移:从崩溃到接管
一次真实的故障转移路径:
- leader 进程被 kill(OOM、重启、节点失联)。
- 它最后写的一次 renewTime 是崩溃前。
- 超过 leaseDuration 后租约过期。
- standby 的 TryAcquire 周期发现过期,接管。
- 新 leader 的 OnStartedLeading 启动主循环,重新开始调谐所有控制器。
RTO(恢复时间)≈ leaseDuration + 检查周期 ≈ 17s。如果想要更快,就调短 leaseDuration——但会提高正常抖动下的易手率(4.1 节权衡)。
收敛路径:接管后控制器如何追上
新 leader 接管后,standby 的热缓存 + 幂等重试让它快速收敛:
- informer 缓存已同步(standby 一直在 watch)。
- 主循环开始后,workqueue 从零开始:所有需要处理的对象靠「缓存与期望的差异」重新入队。
- 每个控制器独立收敛:RS 补齐副本、Deployment 继续滚动、Job 继续推进。
注意:standby 的 workqueue 是空的(它没跑主循环),所以接管后不是「接着 leader 的队列跑」,而是「重新从现实出发调谐」——又是「幂等重算」思想的体现。
组件内部的控制器集合:一个 leader 跑多少个控制器
controller-manager 不是「一个控制器」,而是几十个控制器的集合:ReplicaSet 控制器、Deployment 控制器、Job 控制器、Service 控制器、NodeLifecycle 控制器……
选主发生在组件层面,不是每个控制器层面:
controller-manager(leader)
├─ ReplicaSet 控制器
├─ Deployment 控制器
├─ Job 控制器
└─ ...(几十个控制器共享『是否 leader』)
所有控制器共享「组件是否 leader」这个状态。成为 leader 后,库调用 OnStartedLeading,组件才启动所有控制器的主循环;失去 leader 则全部停止。
这意味着:
- 选主粒度是组件级:要么全跑,要么全停。不存在「RS 控制器是 leader、Deployment 控制器是 standby」的细粒度。
- 一个 leader 挂 = 全部控制器转移:standby 接管后,几十个控制器一起重新调谐。
- 资源占用在 standby 上也有:informer 缓存仍维护(热备),但主循环(CPU/写路径)只在 leader 上。
这个「整体转移」的设计简化了正确性:不需要为每个控制器单独选主、单独处理「谁在管 RS」。缺点是一台 leader 挂了,所有控制器的调谐同时停摆(缓存还在)——不过接管只需租约过期。
多 controller-manager 与多 apiserver:故障域的叠加
生产部署多个 controller-manager(主备)与多个 apiserver(读扩散),故障域怎么叠加?
| 组件 | 个数 | 故障行为 |
|---|---|---|
| apiserver | 2+,全活跃 | 任一可用即可服务 |
| controller-manager | 1 活 1 备 | 活挂后备接管 |
| 连接关系 | 每个 cm 连「所有」apiserver | 单 apiserver 挂不影响 cm 续约 |
controller-manager 的选主是通过「任一 apiserver 写入 Lease」实现的——它连的是 apiserver 集群整体。所以:
- 单 apiserver 挂:cm 续约换一个 apiserver 继续,租约不中断。
- 所有 apiserver 挂:cm 无法续约,RenewDeadline 后放弃领导权;apiserver 恢复后重新选主。
这个叠加说明:控制面的可用性 = apiserver 集合的可用性 × 选主机制的正常。apiserver 是 cm 动作的前提(它要写 etcd),选主保证「只有一个人动作」。两层缺一不可。这也是 1.3 节「多副本拓扑」结论的落地:apiserver 的冗余让选主的「续约通道」也冗余了。
三个常见误解
- 「两个 controller-manager = 两个都在干活」——错误。只有 leader 跑控制器主循环,standby 只维护缓存。
- 「接管是秒级甚至瞬时」——错误。要等租约过期(leaseDuration),典型 15s+。
- 「双主一定会损坏数据」——错误。控制器写带乐观锁且幂等,偶发双主只是重复动作,不损坏数据。
leader 切换期间控制器在做什么:一次「看不见的抖动」
leader 切换(cm-a 崩溃 → cm-b 接管)期间,控制器世界发生了这些:
| 阶段 | 谁在动作 | 集群状态 |
|---|---|---|
| cm-a 活着 | cm-a 的全部控制器 | 正常调谐 |
| cm-a 崩溃 ~15s | 无控制器动作 | 短暂「无人调谐」 |
| cm-b 接管 | cm-b 启动全部控制器 | 重新调谐 |
| 接管后 ~秒级 | cm-b 收敛 | 恢复正常 |
「无人调谐」的 15s 里,业务 Pod 不受影响(kubelet 本地运行),但集群的纠偏停摆:新建的 Deployment 没人创建 RS/Pod,删除的 Pod 没人重建。恢复是自动的——cm-b 接管后从现实出发重新调谐。
这也是为什么 controller-manager 高可用「允许 15s 停摆」:纠偏是异步的、可等待的,业务不依赖「立刻调谐」。控制面的「高可用」不等于「零停摆」,而是「停摆有限且自动恢复」——这与 etcd 的 quorum 思想一脉相承:可用性不必做到瞬时,只要收敛是自动的。
从单活到分片:controller-manager 的演进思考
controller-manager 的单活设计有一个工程权衡:所有控制器挤在一个 leader 上,单点 CPU/内存压力大(大集群中 cm 是 CPU 大户)。演进方向是分片:
- 多实例各自管一部分控制器:如一台跑 Deployment/RS,另一台跑 Job/Service,各自选主(不同 Lease)。
- 动态分片:按对象数量/负载把控制器拆到多实例。
分片的代价是「谁管什么」的协调复杂度上升,也失去「整体转移」的简洁性。K8s 默认保持单活 + 允许按需拆分配置,正是因为它更在意正确性(整体转移不易出错)而非极致扩展。理解这个取舍,就理解了为什么 controller-manager 的部署形态长期不变。
leader 也要「看到自己写的」:选主与调谐的共享写路径
leader 的续约和它的控制器写状态,都经过同一个 apiserver 写路径。这个共享有两层含义:
- apiserver 不可用 = 两者同时受阻:leader 无法续约(RenewDeadline 后让位),也无法调谐。控制面整体停摆,直到 apiserver 恢复。
- 写是带版本的:leader 的续约与控制器写 status 各自带 RV,乐观锁互不干扰——同一个进程既是 Lease 的 holder,又是其他对象的写者,两者不冲突。
「选主写入」与「业务写入」共享底层的 etcd 提交路径,却不互相竞争——这正是乐观锁(2.2 节)的价值:不同对象、不同 RV,各自提交,无需互斥。选主没有引入新的并发模型,只是复用了既有的版本化写入。
选主 vs 分布式锁:为什么 Lease 而非 etcd 锁 API
etcd 本身有 put if not exist 锁原语,为什么 K8s 选主不用它,而是用 Lease 对象?
- Lease 是资源,可观察:任何人
kubectl get lease都能看到「谁在领导」,而 etcd 锁是私有状态。 - 过期是显式的:Lease 的租期语义被对象字段表达(leaseDurationSeconds),可调可审计。
- 复用现有路径:Lease 就是普通对象,选主复用 apiserver 的乐观锁写入,不引入新的锁服务。
选主需求的本质是「谁能动作 + 何时让位」,Lease 把这俩表达成普通对象字段,比专用锁 API 更透明。这也是 4.1 节「租约 = 通用存活证明」的延伸:锁只是租约的一种用途。
本节 lab
本节验证多副本竞争的收敛:3 副本争租约、任意时刻至多一个 leader、leader 崩溃后接管:
cd private/labs/k8s-ctrl-lab
go test ./leaderelection -run 'TestNoDualLeaders|TestFailoverAfterCrash' -v
TestNoDualLeaders:3 个候选者竞争 30 个周期,每周期断言 active holder ≤ 1——「收敛到单活」的分布式保证。TestFailoverAfterCrash:leader 崩溃(停止续约)后 standby 接管;旧 leader 恢复后不能抢回活租约。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。