《Kubernetes 分布式系统原理深入解析》11.2 区域级 Leader 与故障转移

区域级单写者用租约式选举维护:候选续租成功即成为 Leader,续租把到期时间顺延一个租期,Leader 失联后租约自然过期,存活候选接管且任期单调递增。本节剖析租约结构、续租顺延、过期切换与任期防回跳,并用 mcs 包的 LeaderElection 验证租约内判定、过期失效与失联接管。

11.2 区域级 Leader 与故障转移

11.1 节的全局负载均衡假设「谁都可以读谁都可以转发」。但很多多集群动作必须只有一个写者:跨集群 DNS 记录由谁写、联邦控制器由谁当主、某区域的冲突消解由谁拍板。本节讲区域级 Leader 选举与故障转移——Kubernetes 控制面组件(kube-controller-manager、etcd-operator、联邦控制面)用的那套租约式选举:续租顺延到期、Leader 失联后由存活候选接管、任期单调递增。

为什么需要区域级 Leader

先问为什么不能「大家都干活」。以一个联邦里的两个区域控制面为例:它们都要消费第 11.1 节聚合的端点,若两者同时写同一份跨集群端点表,就可能互相覆盖。解决思路有两个:

方案思路问题
分布式锁每次写入前加锁锁服务本身成为单点,且每次写都有网络往返
租约式选举只有一个写者持有租约,其余只读观察切换需要等待租约过期,有短暂无主窗口

Kubernetes 控制面选的是后者。它的优势是没有第三方锁服务:租约本身就是存在 etcd 里的一个对象,读写它就是读写 etcd。kube-controller-manager 多个副本部署时,通过 coordination.k8s.io/v1 的 Lease 对象决定谁当主——这就是区域级(或集群级)Leader 的最常见实现。

选举的部署形态:租约建在哪里

「区域级」的关键问题是:租约对象存在哪个存储里,谁陪它跑共识。有三种常见形态,代价依次上升:

形态租约存储适用场景代价
集群内选举本集群 etcd 里的 Lease每个区域独立选举自己的 Leader最省,但选举不跨集群
联邦租约中心集群的 Lease联邦控制面选主中心集群成为依赖点
跨区域共识跨区域 etcd 成员组真正跨区域的单写者需要 quorum 网络,代价最高

大多数「区域级 Leader」实际是第一种:每个区域自己用本区域的 etcd 维护租约,选出的 Leader 只在本地权威。它把故障域保持在区域内部——us 区域选举坏了,eu 区域的选举不受影响。第 8.1 节的 quorum 约束在这里同样成立:租约读写要走本区域 etcd 的多数派,等 quorum 丢失,选举会无主。

租约对象:holder、任期与到期时间

lab 的 Lease 结构把租约抽象成三个字段,恰好对应真实 Lease 对象的核心字段:

lab 字段真实 Lease 字段含义
Holderspec.holderIdentity当前持有者身份(如 pod 名)
Term无直接对应任期号,每次易主 +1
Expiresspec.leaseDurationSeconds + renewTime到期时间,未续租即过期

真实 Lease 的语义是「到期时间 = renewTime + leaseDurationSeconds」,由续租者每次重写 renewTime 来顺延。lab 用 Expires 直接表达「绝对到期时刻」,语义等价、更容易测试。LeaderElection.Leader(now) 的判定就是一句比较:

if le.Lease.Expires > now {
    return le.Lease.Holder
}
return ""

租约内的持有者是谁,谁就是 Leader;租约过期,就没有 Leader。 这个「过期即无主」的简单判定是整个选举机制的正确性根基——Leader 的合法性来自「我持有未过期的租约」,而不是来自「我曾经是 Leader」。

续租顺延到期:活着的 Leader 永不掉线

选举器的核心动作是续租。TryAcquire(candidate, now) 把「获取 + 续租」合并成一次操作:续租回调 Renew 返回成功,就把持有者写成 candidate、任期 +1、到期时间顺延 LeaseDuration。

func (le *LeaderElection) TryAcquire(candidate string, now int64) bool {
    if le.Renew(candidate, now) {
        le.Lease.Holder = candidate
        le.Lease.Term++
        le.Lease.Expires = now + le.LeaseDuration
        return true
    }
    return false
}

注意 TryAcquire 对当前 Leader 与普通候选一视同仁:当前 Leader 续租就是「把到期时间往后推」,候选尝试获取就是「在租约过期后接管」。这避免了「先释放再重新获取」的两步竞态——续租是原子替换,不存在「释放的瞬间被别人抢走」的空隙。

「活着的 Leader 永不掉线」建立在续租周期的选择上。控制面组件用三个参数控制节奏:

  • --leader-elect-lease-duration(默认 15s):租约总时长,决定「多久不续租算失联」。
  • --leader-elect-renew-deadline(默认 10s):Leader 必须在距到期这么多时间内完成续租。
  • --leader-elect-retry-period(默认 2s):续租尝试的间隔。

三个参数的关系是 lease > renewDeadline > retryPeriod。只要 Leader 还活着,它每 retryPeriod 就续租一次,把到期时间顺延——只要续租不失败,租约永远不会过期,其他候选永远看不到无主窗口。

Leader 失联后的故障转移:过期窗口决定切换延迟

Leader 崩溃或网络分区后,它会停止续租。此时租约不会立刻作废,而是要等 Expires 过期。这个「等待过期」的窗口,就是故障转移的代价:切换延迟 = 剩余租约时长。

lab 的 Failover 把接管逻辑写成「先确认无主、再获取」:

func (le *LeaderElection) Failover(candidate string, now int64) bool {
    if le.Leader(now) != "" {
        return false // 现有 Leader 还在
    }
    return le.TryAcquire(candidate, now)
}

Failover 的第一条规则是**「现有 Leader 存活时,任何候选都不能强行接管」**——这防止了「两个副本同时认为自己是主」的双主风险。第二条规则是「一旦无主,存活候选立刻尝试接管」。用一条时间线看:

时刻事件Leader
90a 持有租约,未过期a
100a 的租约到期无
101b 调用 Failover,租约已过期,接管b
131b 的租约(101+30)到期无

注意 b 接管后,租约的到期时间被顺延到 101 + LeaseDuration。接管不是「无主窗口的终点」,而是「新租约的起点」——b 也需要靠持续续租维持自己的 Leader 地位。

任期单调递增:防止旧 Leader 复活抢位

Term 字段每次 TryAcquire 成功都 +1。为什么需要它?考虑一个经典的分布式陷阱:分区后的旧 Leader 网络恢复,它仍然持有「旧租约」的内存副本,若没有任期区分,它可能凭旧身份继续写入。任期让每个易主事件都有编号:b 的任期是 2、a 的任期是 1,写入者带上任期号,旧 Leader 的写(任期 1)比新 Leader 的写(任期 2)更旧,可以被安全拒绝。

这与 Raft 的 term 思想同源(第 8.1 节讲过 quorum 与任期):任期不是装饰,是**「谁的意志更权威」的比较依据**。选举出的新 Leader 必须用更高的任期压过旧 Leader 的一切残余动作,否则故障转移会退化成「两个 Leader 轮流抢写」。

选举参数的取舍

参数调小调大典型值
lease-duration切换快,但网络抖动易误判失联稳定,但故障转移慢15s
renew-deadlineLeader 续租压力大续租窗口宽,容错高10s
retry-period续租频繁,etcd 写放大续租稀疏,临近 deadline 才续2s

工程上最常踩的坑是把 lease-duration 调到几秒追求「秒级切换」。后果是:节点一抖动、apiserver 一次慢响应,Leader 就来不及续租,候选们频繁接管,集群在「双主—无主」之间震荡。切换速度的上限由网络稳定性决定,而不是由参数决定——参数要配在「正常抖动不足以触发切换」的尺度上。

这三组数字的真正含义是「误判边界」:只要抖动小于 lease-duration − renew-deadline 这个窗口,Leader 就有机会补续租;抖动超过这个窗,候选就会开始接管。调参时先量本区域网络的抖动分布,再反推参数,而不是拍脑袋定秒数。

落地检查清单

把选举接进多集群组件时,按这张清单核对,能避开大多数翻车点:

检查项说明
所有副本使用同一租约名字租约名不一致等于各选各的,双主
续租写的是 renewTime 而不是固定值不更新 renewTime,租约必然过期
Leader 每轮做完工作再续租先续租再干活,崩溃时工作可能白做
选主与写入校验带任期无任期校验,旧 Leader 复活可覆盖新 Leader
切换后旧 Leader 的写必须被拒绝用任期号比较,拒绝低任期写入
监控续租失败与切换次数频繁切换往往意味着参数过激进或网络抖动

最后一条最容易被忽略:选举机制本身不会告诉你「切换是否过度」,需要从观测数据里发现。切换次数是集群健康的重要信号——正常集群可能数周不切换,一旦切换频率上升,先怀疑网络与参数,再怀疑 Leader 本身的故障。

三个常见误解

  • 「选举就是抢锁,谁先到谁当 Leader,过期自动重选」——错误。选举是租约制:Leader 靠持续续租保持地位,不是靠「抢到一次」。候选只在租约过期后的无主窗口才能接管。
  • 「Leader 一崩溃,其他副本立刻接管」——错误。接管必须等租约自然过期,切换延迟等于剩余租约时长;参数越小切换越快,但也越容易误判。
  • 「任期号只是计数,有没有无所谓」——错误。任期是「新旧 Leader 谁更权威」的比较依据,防止分区恢复后的旧 Leader 凭旧身份抢写。

一句话总结本节

区域级 Leader 由租约式选举维护:Lease 记录持有者、任期与到期时间,Leader 续租顺延到期、失联后租约过期、存活候选接管且任期单调递增。选举的正确性不在「谁抢到」,而在「租约过期即无主、任期递增辨新旧」这两条不可动摇的规则。

下一节把这些选举与多集群读写放到一起,回答更根本的问题:全局一致性边界画在哪,双活与主备各自承担什么代价。

本节 lab

本节的两个测试落在 mcs 包的 LeaderElection 上,验证「租约内判定、过期失效、失联接管」三条语义:

cd private/labs/k8s-net-lab
go test ./mcs -run TestLeaderElection -v
go test ./mcs -run TestLeaderFailover -v
  • TestLeaderElection:租约 Holder=a, Term=1, Expires=100,断言 Leader(90) 返回 a(租约内 a 是 Leader)、Leader(101) 返回空(过期即无主)——2 条断言,对应「未过期者是 Leader、过期即失效」。
  • TestLeaderFailover:先用 Failover("b", 90) 断言返回 false 且 a 仍是 Leader(现有 Leader 存活不可接管);再在 101 时刻 Failover("b", 101) 断言 b 接管、持有者变为 b、Leader(110) 返回 b;最后断言 b 的租约在 132 也失效——5 条断言,覆盖「存活不切换、过期可接管、新租约顺延、新租约也会过期」。

两个测试跑完见 ok k8s-net-lab/mcs。这就是「租约 + 续租 + 过期接管 + 任期递增」的区域级故障转移最小闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图