14.2 租约续约与防双主
14.1 节从架构看了选主。本节深入机制细节:leader 怎么保活、非 leader 怎么接管、两个机制怎么防双主。选主的正确性全在这三个细节里。
Lease 的结构:记录谁、何时、多久
Lease 对象记录选主的全部状态:
type Lease struct {
Holder string // 谁持有
Duration time.Duration // 租约时长
Acquire time.Time // 何时夺取
Renew time.Time // 何时续约
}
三个关键时间关系:
| 概念 | 判定 |
|---|---|
| 租约有效 | now ≤ renewTime + duration |
| 租约过期 | now > renewTime + duration |
| 能否接管 | 租约过期(无有效 holder) |
Lease 是「写进 etcd 的一小段状态」——所有副本都读它、竞争的也是它。选主的状态不在任何副本的内存里,而在共享对象里——这样任一副本崩溃都不丢选主状态。
续约:leader 保活的方式
leader 不能「一次夺取终身有效」——它必须周期续约:
func (c *Candidate) Step() {
if c.IsLeader() {
c.Renew() // 是 leader:续约保活
} else {
c.TryAcquire() // 非 leader:尝试接管
}
}
Renew 更新租约的 renewTime,把过期时刻往后推:
func (c *Candidate) Renew() {
if c.Lease.Holder != c.Name {
return // 不是 holder 不续约
}
c.Lease.Renew = c.now()
}
续约周期必须小于租约时长(如每 2s 续约、租约 10s):只要 leader 健康、按周期续约,租约永远不过期——其他副本永远抢不走。TestRenewKeepsLeadership 验证:50 个周期、每 2s 续约一次,租约始终有效,b 抢不走。
接管:只有租约过期才行
非 leader 想成为 leader,唯一条件是「租约过期」:
func (c *Candidate) TryAcquire() bool {
expired := len(c.Lease.Holder) == 0 || c.Lease.isExpired(now)
if !expired {
return false // 租约有效,不能抢
}
c.Lease.Holder = c.Name // 接管成功
...
}
接管不是「谁先写谁赢」,而是「租约过期才有资格写」。租约有效期内,接管尝试必然失败(TestAcquireThenExpire 的中间断言:b 在租约有效期内 TryAcquire 返回 false)。
为什么必须是「过期才接管」:如果两个候选都能「抢写」,同时写 Lease 的 Holder——乐观锁会拦(2.2 节),但更根本的是语义:选主要的是「有一个确定的 holder」,不是「谁抢得快」。租约让 holder 有「明确的持有期」,持有期内别人抢不走——这是稳定性的来源。
防双主的两个机制
双主(两个候选都认为自己是 leader)是选主最危险的失败。两个机制防它:
| 机制 | 防什么 |
|---|---|
| 过期才接管 | 防止「有效期内抢写」产生双写 |
| 只有 holder 能续约 | 防止「接管者续约别人的租约」 |
机制二的细节:Renew 里检查 Holder != c.Name 才返回——只有当前 holder 能续约。接管者(新 holder)接管后,老 leader 再续约会失败(它不是 holder 了),不会「老 leader 续约把租约续活、新 leader 也续约」——续约权绑定持有权,防双活。
TestNoDualLeaders 的断言:每个周期统计「认为自己是 leader 的候选」,任何时候不超过 1 个。两个机制合起来,把「双主」从可能变成不可能。
故障场景:leader 崩了怎么办
leader 崩溃 = 停止续约。租约在 duration 后过期,standby 接管:
t0 leader-a 续约,租约到 t10
t2 leader-a 崩溃,不再续约
t10 租约过期(renewTime + duration)
t10 standby-b TryAcquire 成功 → 新 leader
TestFailoverAfterCrash 验证:a 崩溃后推进超过 duration,b 接管成功;且 a 恢复后也不能抢回(它要先等 b 的租约过期)——这防止「崩溃又恢复的老 leader 与现 leader 双活」。
接管窗口 = 租约时长:leader 崩溃到 standby 接管之间,控制面「无活跃 leader」(一段空窗)。租约时长的权衡:太短 → 网络抖动就频繁切换(unstable);太长 → 故障后空窗久。真实 K8s 的默认(15s)是「容网络抖动 + 不太久的空窗」的平衡。
选主与状态机:leader 变化的可观测性
选主的变化要可观测。lab 的 Retained 记录 holder 历史:
c.Lease.Retained = append(c.Lease.Retained, c.Name)
TestRetainedOrder 验证接管序列:a → b → a。生产里这个信息在 Lease 的 holderIdentity 与事件里。
选主变化的可观测性为什么重要:leader 切换是控制面的「敏感事件」——切换窗口内调谐停摆。监控「最近谁接管的、切换多频繁」能发现:频繁切换(租约太短/网络抖动)→ 选主不稳定;长时间不切换(正常)→ 单 leader 稳定运行。
租约参数的取值:三个数字的配合
真实选主不是「一个 Duration」,而是一组参数:
| 参数 | 含义 | K8s 默认(CM) |
|---|---|---|
leaseDuration | 租约时长 | 15s |
renewDeadline | leader 续约的超时上限 | 10s |
retryPeriod | 非 leader 重试接管/续约的间隔 | 2s |
三个数字的配合逻辑:
retryPeriod(2s)< renewDeadline(10s)< leaseDuration(15s)
- retryPeriod < renewDeadline:每次续约尝试在超时前能做完,不拖到租约过期。
- renewDeadline < leaseDuration:即使一次续约卡住 10s,租约还有 5s 缓冲——不会因为一次网络抖动就丢失领导权。
这三个数字是「防抖」的完整设计:网络抖动导致一次续约失败,不会立刻切换(还有缓冲);真正的崩溃(停止续约超过 15s)才触发接管。选主参数不是单个数字,而是一套「容错阶梯」——每层都留了缓冲,故障要「穿透」全部缓冲才会切换。
与第 4 章的呼应:协调对象的家族
第 4 章讲分布式协调时提过几种机制;选主用的 Lease 是「协调对象家族」的一员:
| 协调对象 | 用途 |
|---|---|
| ConfigMap/Secret | 数据分发(非一致性语义) |
| Lease | 选主/心跳(本节) |
| 租约的变体 | 锁、资源抢占 |
Lease 的特殊性:它「字段小、更新频繁、读写竞争」——正是为选主优化的对象形态。普通对象每次写全量替换,Lease 只更新几个时间字段。
这解释了一个常见疑问:「选主为什么不用 ConfigMap?」——因为 Lease 是为「高频竞争读写」设计的(字段小、语义专一),用普通对象做选主是拿错了工具。分布式系统的「协调」要选对对象类型:数据分发用 ConfigMap、领导权竞争用 Lease——每种协调问题有合适的对象,这是第 4 章与本节共同的结论。
三个常见误解
- 「选主是投票」——不准确。K8s 的选主是「租约竞争」,不是 Paxos/Raft 投票(那是 etcd 的事);Lease 只是一个共享对象的抢占。
- 「接管是抢写,谁先写谁赢」——错误。只有租约过期才能接管;有效期内抢写无效。
- 「老 leader 恢复就能抢回」——错误。恢复后它要先等现任 leader 的租约过期——不会与现任双活。
本节 lab
本节验证续约保活、过期接管与防双主:
cd private/labs/k8s-ctrl-lab
go test ./leaderelection -run 'TestRenewKeepsLeadership|TestAcquireThenExpire|TestNoDualLeaders' -v
TestRenewKeepsLeadership:周期续约让租约不过期——「leader 保活」。TestAcquireThenExpire:租约有效期内接管失败、过期后接管成功——「过期才接管」。TestNoDualLeaders:任意时刻至多一个 active leader——「防双主」。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。