《Kubernetes 分布式系统原理深入解析》14.2 租约续约与防双主

选主的正确性细节在续约与接管之间:leader 周期续约(Renew)把租约保持不过期,非 leader 只在租约过期后尝试接管(TryAcquire),接管成功后还要『只有 holder 能续约』防双主。本节解剖 Lease 的续约语义、防双主的两个机制与故障场景。lab 用 leaderelection 包验证续约保活、接管条件与防双主。

14.2 租约续约与防双主

14.1 节从架构看了选主。本节深入机制细节:leader 怎么保活、非 leader 怎么接管、两个机制怎么防双主。选主的正确性全在这三个细节里。

Lease 的结构:记录谁、何时、多久

Lease 对象记录选主的全部状态:

type Lease struct {
    Holder   string        // 谁持有
    Duration time.Duration // 租约时长
    Acquire  time.Time     // 何时夺取
    Renew    time.Time     // 何时续约
}

三个关键时间关系:

概念判定
租约有效now ≤ renewTime + duration
租约过期now > renewTime + duration
能否接管租约过期(无有效 holder)

Lease 是「写进 etcd 的一小段状态」——所有副本都读它、竞争的也是它。选主的状态不在任何副本的内存里,而在共享对象里——这样任一副本崩溃都不丢选主状态。

续约:leader 保活的方式

leader 不能「一次夺取终身有效」——它必须周期续约:

func (c *Candidate) Step() {
    if c.IsLeader() {
        c.Renew() // 是 leader:续约保活
    } else {
        c.TryAcquire() // 非 leader:尝试接管
    }
}

Renew 更新租约的 renewTime,把过期时刻往后推:

func (c *Candidate) Renew() {
    if c.Lease.Holder != c.Name {
        return // 不是 holder 不续约
    }
    c.Lease.Renew = c.now()
}

续约周期必须小于租约时长(如每 2s 续约、租约 10s):只要 leader 健康、按周期续约,租约永远不过期——其他副本永远抢不走。TestRenewKeepsLeadership 验证:50 个周期、每 2s 续约一次,租约始终有效,b 抢不走。

接管:只有租约过期才行

非 leader 想成为 leader,唯一条件是「租约过期」:

func (c *Candidate) TryAcquire() bool {
    expired := len(c.Lease.Holder) == 0 || c.Lease.isExpired(now)
    if !expired {
        return false // 租约有效,不能抢
    }
    c.Lease.Holder = c.Name // 接管成功
    ...
}

接管不是「谁先写谁赢」,而是「租约过期才有资格写」。租约有效期内,接管尝试必然失败(TestAcquireThenExpire 的中间断言:b 在租约有效期内 TryAcquire 返回 false)。

为什么必须是「过期才接管」:如果两个候选都能「抢写」,同时写 Lease 的 Holder——乐观锁会拦(2.2 节),但更根本的是语义:选主要的是「有一个确定的 holder」,不是「谁抢得快」。租约让 holder 有「明确的持有期」,持有期内别人抢不走——这是稳定性的来源。

防双主的两个机制

双主(两个候选都认为自己是 leader)是选主最危险的失败。两个机制防它:

机制防什么
过期才接管防止「有效期内抢写」产生双写
只有 holder 能续约防止「接管者续约别人的租约」

机制二的细节:Renew 里检查 Holder != c.Name 才返回——只有当前 holder 能续约。接管者(新 holder)接管后,老 leader 再续约会失败(它不是 holder 了),不会「老 leader 续约把租约续活、新 leader 也续约」——续约权绑定持有权,防双活。

TestNoDualLeaders 的断言:每个周期统计「认为自己是 leader 的候选」,任何时候不超过 1 个。两个机制合起来,把「双主」从可能变成不可能。

故障场景:leader 崩了怎么办

leader 崩溃 = 停止续约。租约在 duration 后过期,standby 接管:

t0  leader-a 续约,租约到 t10
t2  leader-a 崩溃,不再续约
t10 租约过期(renewTime + duration)
t10 standby-b TryAcquire 成功 → 新 leader

TestFailoverAfterCrash 验证:a 崩溃后推进超过 duration,b 接管成功;且 a 恢复后也不能抢回(它要先等 b 的租约过期)——这防止「崩溃又恢复的老 leader 与现 leader 双活」。

接管窗口 = 租约时长:leader 崩溃到 standby 接管之间,控制面「无活跃 leader」(一段空窗)。租约时长的权衡:太短 → 网络抖动就频繁切换(unstable);太长 → 故障后空窗久。真实 K8s 的默认(15s)是「容网络抖动 + 不太久的空窗」的平衡。

选主与状态机:leader 变化的可观测性

选主的变化要可观测。lab 的 Retained 记录 holder 历史:

c.Lease.Retained = append(c.Lease.Retained, c.Name)

TestRetainedOrder 验证接管序列:a → b → a。生产里这个信息在 Lease 的 holderIdentity 与事件里。

选主变化的可观测性为什么重要:leader 切换是控制面的「敏感事件」——切换窗口内调谐停摆。监控「最近谁接管的、切换多频繁」能发现:频繁切换(租约太短/网络抖动)→ 选主不稳定;长时间不切换(正常)→ 单 leader 稳定运行。

租约参数的取值:三个数字的配合

真实选主不是「一个 Duration」,而是一组参数:

参数含义K8s 默认(CM)
leaseDuration租约时长15s
renewDeadlineleader 续约的超时上限10s
retryPeriod非 leader 重试接管/续约的间隔2s

三个数字的配合逻辑:

retryPeriod(2s)< renewDeadline(10s)< leaseDuration(15s)
  • retryPeriod < renewDeadline:每次续约尝试在超时前能做完,不拖到租约过期。
  • renewDeadline < leaseDuration:即使一次续约卡住 10s,租约还有 5s 缓冲——不会因为一次网络抖动就丢失领导权。

这三个数字是「防抖」的完整设计:网络抖动导致一次续约失败,不会立刻切换(还有缓冲);真正的崩溃(停止续约超过 15s)才触发接管。选主参数不是单个数字,而是一套「容错阶梯」——每层都留了缓冲,故障要「穿透」全部缓冲才会切换。

与第 4 章的呼应:协调对象的家族

第 4 章讲分布式协调时提过几种机制;选主用的 Lease 是「协调对象家族」的一员:

协调对象用途
ConfigMap/Secret数据分发(非一致性语义)
Lease选主/心跳(本节)
租约的变体锁、资源抢占

Lease 的特殊性:它「字段小、更新频繁、读写竞争」——正是为选主优化的对象形态。普通对象每次写全量替换,Lease 只更新几个时间字段。

这解释了一个常见疑问:「选主为什么不用 ConfigMap?」——因为 Lease 是为「高频竞争读写」设计的(字段小、语义专一),用普通对象做选主是拿错了工具。分布式系统的「协调」要选对对象类型:数据分发用 ConfigMap、领导权竞争用 Lease——每种协调问题有合适的对象,这是第 4 章与本节共同的结论。

三个常见误解

  • 「选主是投票」——不准确。K8s 的选主是「租约竞争」,不是 Paxos/Raft 投票(那是 etcd 的事);Lease 只是一个共享对象的抢占。
  • 「接管是抢写,谁先写谁赢」——错误。只有租约过期才能接管;有效期内抢写无效。
  • 「老 leader 恢复就能抢回」——错误。恢复后它要先等现任 leader 的租约过期——不会与现任双活。

本节 lab

本节验证续约保活、过期接管与防双主:

cd private/labs/k8s-ctrl-lab
go test ./leaderelection -run 'TestRenewKeepsLeadership|TestAcquireThenExpire|TestNoDualLeaders' -v
  • TestRenewKeepsLeadership:周期续约让租约不过期——「leader 保活」。
  • TestAcquireThenExpire:租约有效期内接管失败、过期后接管成功——「过期才接管」。
  • TestNoDualLeaders:任意时刻至多一个 active leader——「防双主」。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图