11.2 区域级 Leader 与故障转移
11.1 节的全局负载均衡假设「谁都可以读谁都可以转发」。但很多多集群动作必须只有一个写者:跨集群 DNS 记录由谁写、联邦控制器由谁当主、某区域的冲突消解由谁拍板。本节讲区域级 Leader 选举与故障转移——Kubernetes 控制面组件(kube-controller-manager、etcd-operator、联邦控制面)用的那套租约式选举:续租顺延到期、Leader 失联后由存活候选接管、任期单调递增。
为什么需要区域级 Leader
先问为什么不能「大家都干活」。以一个联邦里的两个区域控制面为例:它们都要消费第 11.1 节聚合的端点,若两者同时写同一份跨集群端点表,就可能互相覆盖。解决思路有两个:
| 方案 | 思路 | 问题 |
|---|---|---|
| 分布式锁 | 每次写入前加锁 | 锁服务本身成为单点,且每次写都有网络往返 |
| 租约式选举 | 只有一个写者持有租约,其余只读观察 | 切换需要等待租约过期,有短暂无主窗口 |
Kubernetes 控制面选的是后者。它的优势是没有第三方锁服务:租约本身就是存在 etcd 里的一个对象,读写它就是读写 etcd。kube-controller-manager 多个副本部署时,通过 coordination.k8s.io/v1 的 Lease 对象决定谁当主——这就是区域级(或集群级)Leader 的最常见实现。
选举的部署形态:租约建在哪里
「区域级」的关键问题是:租约对象存在哪个存储里,谁陪它跑共识。有三种常见形态,代价依次上升:
| 形态 | 租约存储 | 适用场景 | 代价 |
|---|---|---|---|
| 集群内选举 | 本集群 etcd 里的 Lease | 每个区域独立选举自己的 Leader | 最省,但选举不跨集群 |
| 联邦租约 | 中心集群的 Lease | 联邦控制面选主 | 中心集群成为依赖点 |
| 跨区域共识 | 跨区域 etcd 成员组 | 真正跨区域的单写者 | 需要 quorum 网络,代价最高 |
大多数「区域级 Leader」实际是第一种:每个区域自己用本区域的 etcd 维护租约,选出的 Leader 只在本地权威。它把故障域保持在区域内部——us 区域选举坏了,eu 区域的选举不受影响。第 8.1 节的 quorum 约束在这里同样成立:租约读写要走本区域 etcd 的多数派,等 quorum 丢失,选举会无主。
租约对象:holder、任期与到期时间
lab 的 Lease 结构把租约抽象成三个字段,恰好对应真实 Lease 对象的核心字段:
| lab 字段 | 真实 Lease 字段 | 含义 |
|---|---|---|
Holder | spec.holderIdentity | 当前持有者身份(如 pod 名) |
Term | 无直接对应 | 任期号,每次易主 +1 |
Expires | spec.leaseDurationSeconds + renewTime | 到期时间,未续租即过期 |
真实 Lease 的语义是「到期时间 = renewTime + leaseDurationSeconds」,由续租者每次重写 renewTime 来顺延。lab 用 Expires 直接表达「绝对到期时刻」,语义等价、更容易测试。LeaderElection.Leader(now) 的判定就是一句比较:
if le.Lease.Expires > now {
return le.Lease.Holder
}
return ""
租约内的持有者是谁,谁就是 Leader;租约过期,就没有 Leader。 这个「过期即无主」的简单判定是整个选举机制的正确性根基——Leader 的合法性来自「我持有未过期的租约」,而不是来自「我曾经是 Leader」。
续租顺延到期:活着的 Leader 永不掉线
选举器的核心动作是续租。TryAcquire(candidate, now) 把「获取 + 续租」合并成一次操作:续租回调 Renew 返回成功,就把持有者写成 candidate、任期 +1、到期时间顺延 LeaseDuration。
func (le *LeaderElection) TryAcquire(candidate string, now int64) bool {
if le.Renew(candidate, now) {
le.Lease.Holder = candidate
le.Lease.Term++
le.Lease.Expires = now + le.LeaseDuration
return true
}
return false
}
注意 TryAcquire 对当前 Leader 与普通候选一视同仁:当前 Leader 续租就是「把到期时间往后推」,候选尝试获取就是「在租约过期后接管」。这避免了「先释放再重新获取」的两步竞态——续租是原子替换,不存在「释放的瞬间被别人抢走」的空隙。
「活着的 Leader 永不掉线」建立在续租周期的选择上。控制面组件用三个参数控制节奏:
--leader-elect-lease-duration(默认 15s):租约总时长,决定「多久不续租算失联」。--leader-elect-renew-deadline(默认 10s):Leader 必须在距到期这么多时间内完成续租。--leader-elect-retry-period(默认 2s):续租尝试的间隔。
三个参数的关系是 lease > renewDeadline > retryPeriod。只要 Leader 还活着,它每 retryPeriod 就续租一次,把到期时间顺延——只要续租不失败,租约永远不会过期,其他候选永远看不到无主窗口。
Leader 失联后的故障转移:过期窗口决定切换延迟
Leader 崩溃或网络分区后,它会停止续租。此时租约不会立刻作废,而是要等 Expires 过期。这个「等待过期」的窗口,就是故障转移的代价:切换延迟 = 剩余租约时长。
lab 的 Failover 把接管逻辑写成「先确认无主、再获取」:
func (le *LeaderElection) Failover(candidate string, now int64) bool {
if le.Leader(now) != "" {
return false // 现有 Leader 还在
}
return le.TryAcquire(candidate, now)
}
Failover 的第一条规则是**「现有 Leader 存活时,任何候选都不能强行接管」**——这防止了「两个副本同时认为自己是主」的双主风险。第二条规则是「一旦无主,存活候选立刻尝试接管」。用一条时间线看:
| 时刻 | 事件 | Leader |
|---|---|---|
| 90 | a 持有租约,未过期 | a |
| 100 | a 的租约到期 | 无 |
| 101 | b 调用 Failover,租约已过期,接管 | b |
| 131 | b 的租约(101+30)到期 | 无 |
注意 b 接管后,租约的到期时间被顺延到 101 + LeaseDuration。接管不是「无主窗口的终点」,而是「新租约的起点」——b 也需要靠持续续租维持自己的 Leader 地位。
任期单调递增:防止旧 Leader 复活抢位
Term 字段每次 TryAcquire 成功都 +1。为什么需要它?考虑一个经典的分布式陷阱:分区后的旧 Leader 网络恢复,它仍然持有「旧租约」的内存副本,若没有任期区分,它可能凭旧身份继续写入。任期让每个易主事件都有编号:b 的任期是 2、a 的任期是 1,写入者带上任期号,旧 Leader 的写(任期 1)比新 Leader 的写(任期 2)更旧,可以被安全拒绝。
这与 Raft 的 term 思想同源(第 8.1 节讲过 quorum 与任期):任期不是装饰,是**「谁的意志更权威」的比较依据**。选举出的新 Leader 必须用更高的任期压过旧 Leader 的一切残余动作,否则故障转移会退化成「两个 Leader 轮流抢写」。
选举参数的取舍
| 参数 | 调小 | 调大 | 典型值 |
|---|---|---|---|
| lease-duration | 切换快,但网络抖动易误判失联 | 稳定,但故障转移慢 | 15s |
| renew-deadline | Leader 续租压力大 | 续租窗口宽,容错高 | 10s |
| retry-period | 续租频繁,etcd 写放大 | 续租稀疏,临近 deadline 才续 | 2s |
工程上最常踩的坑是把 lease-duration 调到几秒追求「秒级切换」。后果是:节点一抖动、apiserver 一次慢响应,Leader 就来不及续租,候选们频繁接管,集群在「双主—无主」之间震荡。切换速度的上限由网络稳定性决定,而不是由参数决定——参数要配在「正常抖动不足以触发切换」的尺度上。
这三组数字的真正含义是「误判边界」:只要抖动小于 lease-duration − renew-deadline 这个窗口,Leader 就有机会补续租;抖动超过这个窗,候选就会开始接管。调参时先量本区域网络的抖动分布,再反推参数,而不是拍脑袋定秒数。
落地检查清单
把选举接进多集群组件时,按这张清单核对,能避开大多数翻车点:
| 检查项 | 说明 |
|---|---|
| 所有副本使用同一租约名字 | 租约名不一致等于各选各的,双主 |
续租写的是 renewTime 而不是固定值 | 不更新 renewTime,租约必然过期 |
| Leader 每轮做完工作再续租 | 先续租再干活,崩溃时工作可能白做 |
| 选主与写入校验带任期 | 无任期校验,旧 Leader 复活可覆盖新 Leader |
| 切换后旧 Leader 的写必须被拒绝 | 用任期号比较,拒绝低任期写入 |
| 监控续租失败与切换次数 | 频繁切换往往意味着参数过激进或网络抖动 |
最后一条最容易被忽略:选举机制本身不会告诉你「切换是否过度」,需要从观测数据里发现。切换次数是集群健康的重要信号——正常集群可能数周不切换,一旦切换频率上升,先怀疑网络与参数,再怀疑 Leader 本身的故障。
三个常见误解
- 「选举就是抢锁,谁先到谁当 Leader,过期自动重选」——错误。选举是租约制:Leader 靠持续续租保持地位,不是靠「抢到一次」。候选只在租约过期后的无主窗口才能接管。
- 「Leader 一崩溃,其他副本立刻接管」——错误。接管必须等租约自然过期,切换延迟等于剩余租约时长;参数越小切换越快,但也越容易误判。
- 「任期号只是计数,有没有无所谓」——错误。任期是「新旧 Leader 谁更权威」的比较依据,防止分区恢复后的旧 Leader 凭旧身份抢写。
一句话总结本节
区域级 Leader 由租约式选举维护:Lease 记录持有者、任期与到期时间,Leader 续租顺延到期、失联后租约过期、存活候选接管且任期单调递增。选举的正确性不在「谁抢到」,而在「租约过期即无主、任期递增辨新旧」这两条不可动摇的规则。
下一节把这些选举与多集群读写放到一起,回答更根本的问题:全局一致性边界画在哪,双活与主备各自承担什么代价。
本节 lab
本节的两个测试落在 mcs 包的 LeaderElection 上,验证「租约内判定、过期失效、失联接管」三条语义:
cd private/labs/k8s-net-lab
go test ./mcs -run TestLeaderElection -v
go test ./mcs -run TestLeaderFailover -v
TestLeaderElection:租约Holder=a, Term=1, Expires=100,断言Leader(90)返回 a(租约内 a 是 Leader)、Leader(101)返回空(过期即无主)——2 条断言,对应「未过期者是 Leader、过期即失效」。TestLeaderFailover:先用Failover("b", 90)断言返回 false 且 a 仍是 Leader(现有 Leader 存活不可接管);再在 101 时刻Failover("b", 101)断言 b 接管、持有者变为 b、Leader(110)返回 b;最后断言 b 的租约在 132 也失效——5 条断言,覆盖「存活不切换、过期可接管、新租约顺延、新租约也会过期」。
两个测试跑完见 ok k8s-net-lab/mcs。这就是「租约 + 续租 + 过期接管 + 任期递增」的区域级故障转移最小闭环。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。