《Kubernetes 分布式系统原理深入解析》5.3 异常场景:分裂投票、pre-vote 与 CheckQuorum

正常选举靠随机超时错开,异常场景才暴露边界:同步超时引发分裂投票,分区节点借 pre-vote 被隔离出竞选,孤立 leader 靠 CheckQuorum 自检下台。本节逐一拆解 split vote、pre-vote、CheckQuorum 的机制与取舍,说明任期对齐降级规则,并落到 etcd 网络分区下控制面的实际表现:少数派无法提交、leader 迁移、恢复后日志追赶。lab 用 TestSplitVoteRecovers 验证分裂投票随机超时后收敛,用 TestPreVoteQuarantine 验证被分区节点无法借 pre-vote 扰乱主集群、不递增任期。

5.3 异常场景:分裂投票、pre-vote 与 CheckQuorum

5.2 节保证了「谁当选都安全」,但没保证「总能当选」。真实集群里,选举会在三种异常场景下失效或变得危险:多个候选同时出现导致分裂投票(split vote)、被分区节点反复竞选把任期无意义抬高、以及一个已经脱离多数派的孤立 leader 继续对外宣称成功。本节把这三个场景拆开,看 Raft 与 etcd 分别用什么机制兜底,以及它们各自的取舍。

三者的分工可以一句话概括:分裂投票靠随机超时错开解决,分区节点靠 pre-vote 隔离,孤立 leader 靠 CheckQuorum 自检。 三者共用同一个底层规则——任期对齐降级,先讲清它,异常场景才有意义。

在进入每个机制前,先记住一个判断框架:这三道防线不是孤立的补丁,而是一层套一层的递进防线。分裂投票是「正常竞争下的偶然故障」,用概率自愈;pre-vote 与 CheckQuorum 是「分区这种确定性故障」,用机制杜绝。读懂它们之后,第 6 章讲日志复制时,你会看到这些防线如何与复制过程咬合——每个机制都不是为它自己存在。

任期对齐降级规则

Raft 里所有节点共享一个全局递增的 term,它是「谁说了算」的仲裁依据。规则非常简单:任何节点只要发现更高的 term,就立即放弃当前角色、转成 Follower。

触发条件不止来自 RequestVote。lab 的 handle 里,三种消息都带任期比较:

case MsgRequestVote:
    if m.Term > to.Term {          // 候选 term 更高:降级、清空投票记录
        to.Term = m.Term
        to.Role = Follower
        to.VotedFor = -1
    }
case MsgAppendEntries:
    if m.Term >= to.Term {         // leader 的 term 不低于自己
        to.Term = m.Term
        if to.Role == Candidate || to.Role == Leader {
            to.Role = Follower     // 发现真 leader → 立刻让位
        }
        to.VotedFor = -1
    }

设计意图有两个。第一,单一 leader 不变量:任意时刻至多一个合法 leader,因为两个不同 term 的 leader 同时存在时,低 term 那个必然在收到高 term 消息后降级。第二,过期角色自动失效:一个在旧 term 当选的节点,只要多数派已进入更高 term,它就必然在某个时刻收到更高 term 的心跳或选票请求而让位。这条规则是后面所有异常处理的地基。

分裂投票:平票与随机超时

正常情况下一轮选举只会有一个候选冒头:随机化选举超时让节点们错开发起竞选。但随机只是概率上的错开,不是保证。当多个节点几乎同时超时、同时递增 term、同时广播 RequestVote,就可能出现分裂投票:每个候选各拿到一部分票,谁也不够 quorum。

具体推演(5 节点,quorum=3):节点 0 和 3 同时超时,都递增到 term 2 竞选。0 拿到 {0, 1, 2} 三票,3 拿到 {3, 4} 两票——0 当选,正常。但换个投法:0 拿到 {0, 1} 两票,3 拿到 {3, 4} 两票,节点 2 已经投给了 0(每 term 每节点只投一次),于是双方都停在 2 票,谁也到不了 3。集群没有 leader,直到有候选再次超时、递增到 term 3 重新竞选。

候选自己的票拿到缺
节点 0自己 + 节点 12还差 1
节点 3自己 + 节点 42还差 1
节点 2已投给 0—本轮不能再投

注意这张表的关键是「每 term 每节点只投一次」(lab 里 VotedFor 只记录一个值)。正因如此,一次分裂的票会永久锁定在本轮,只能等 term 再涨、投票记录清空后重来。分裂投票的本质是:多人同时用同一轮 term 抢同一批票,而票是排他的。

分裂投票的代价是双重的:一是集群短暂没有 leader,所有写请求暂停;二是每轮分裂都会让 term 递增,把正常的复制与心跳打断。Raft 的解法是把重试本身随机化:候选超时后随机等待一个新的选举超时(lab 里是 5–10 tick,真实 etcd 是 1000ms 上下加 jitter),下一次竞选大概率与别的节点错开。多次分裂后,总有一次随机让某个候选最先冒头,收敛出唯一 leader。

真实系统还有一层兜底:候选在几次失败后不会无限抬 term。etcd 的选举超时本身随 term 增长做退避(backoff),避免两个候选在相同周期上反复共振。理解要点是:分裂投票不是 bug,是「无中心仲裁」下的固有代价,Raft 用随机化把它压到概率上可忽略。 5.1 节演示的 TestElectionReachesAgreement 和本节 lab 的 TestSplitVoteRecovers 验证的就是这个收敛过程。

用一组真实数字建立量感:etcd 默认 election-timeout 是 1000ms 量级,但每个节点实际等待的是基准值加上一段随机 jitter(数百毫秒量级)。这个 jitter 就是「错开」的来源——两个节点在同一时刻超时的概率被压得很低;而候选进入下一轮时,超时区间还会随 term 升高退避,进一步打散可能出现的共振周期。

参数作用分裂投票下的表现
election-timeout(基准)不收到心跳后开始竞选的等待同步超时的根源
随机 jitter给每个节点不同的实际等待把「同时超时」变成「先后超时」
重试退避(随 term)多轮失败后拉开间隔防止两个候选周期共振

pre-vote:预投票隔离分区节点

分裂投票解决「同时竞选」,pre-vote 解决「不该竞选的节点反复竞选」。看一个痛点场景:5 节点 etcd 集群发生网络分区,节点 4 被完全隔离。分区内的节点 4 收不到心跳,选举超时一到就发起竞选,term 从 2 涨到 3、4、5……每一次它都会广播 RequestVote:

  1. 主集群(0–3)收到 term 3 的请求,按任期对齐降级为 Follower、清空投票记录,哪怕它们此刻有正常工作的 leader;
  2. leader 被迫降级后,主集群重新选主,又要经历一整轮选举;
  3. 分区内的节点 4 当然拿不到多数,但它的每次尝试都让主集群「白涨一个 term、白经历一次选举」。

更糟的是,分区恢复时:节点 4 带着最高的 term 回来,主集群所有节点都认它的高 term,它可能立刻当选——而它的日志可能落后很多,又触发 5.2 节的场景。pre-vote 就是为斩断这条链设计的。

pre-vote 的流程(k8s-etcd-lab 的 prepareElection 到 countVotes):

  1. Follower 超时后不直接竞选,先广播 PreVote 请求,携带「若竞选将使用的任期」= term + 1;
  2. 其他节点只按日志新旧(同样的 logUpToDate)决定是否给「预赞成」,不递增自己的 term、不改写 VotedFor;
  3. 候选统计预票,只有拿到法定预票(含自己)才真正进入 startElection:term + 1、投自己、广播 RequestVote。

注意预票也要求多数(lab 里 preVoteGranted >= majority),不是拿到任意几张就行。这一条不是性能优化,而是安全考量:只有能说服多数派的候选才配进入正式竞选,凑不齐多数预票的候选(比如被分区的那个)连「抬 term」的机会都没有。多数派交集在这里又出现一次——预投票其实是一轮「不改变任何持久状态的试选」。

与正式竞选的差异:

维度RequestVote(正式)PreVote(预投票)
携带任期当前 term(竞选时 +1)下一任期的「预览值」
收到方是否更新 term是,更高就降级对齐否,完全不动
收到方是否改写 VotedFor是否
日志新旧检查是是(同样生效)
法定预票后才竞选—是

被分区的节点 4 从此无法害人:它广播的 PreVote 消息要么被分区丢弃,要么即便送达,主集群也只会按日志新旧返回预票、不动自己的 term。预票凑不够 quorum(它连消息都发不出去),它就永远不会真正 term+1 竞选——term 不涨、角色不变、主集群不受打扰。 lab 的 TestPreVoteQuarantine 断言分区节点 term 不得递增,验证的正是这一点。

代价也明确:每个 Follower 的首次竞选要多一轮消息往返,把「竞选」从一步变两步。对于要选主的时刻,这点延迟可接受;换来的是分区节点无法借高 term 在恢复后直接压过主集群。etcd 的 raft 库把 pre-vote 做成配置项(生产部署默认开启),关闭它则回到「分区节点能抬 term」的旧行为。

把开关拨回「关闭 pre-vote」,就能直观看到它拦住了什么:分区内的节点 4 每 5–10 tick 涨一次 term 并发起正式竞选,主集群每收到一次请求就降级一轮、重选一次主。若分区持续 60 秒,主集群可能被拖进几十轮无意义选举;而节点 4 恢复时带着高出十几的 term,按任期对齐规则,主集群会先无条件向它让位——哪怕它的日志落后。pre-vote 把这两件事同时挡掉:竞选不合法,term 就不涨;term 不涨,恢复时就没有「高 term 压人」的资本。

CheckQuorum:孤立 leader 自检

pre-vote 防的是「落后的节点当 leader」,CheckQuorum 防的是「已当选的 leader 悄悄脱离多数派」。场景:5 节点 etcd,节点 0 是 leader,突然 0、1 与 2、3、4 断连。2、3、4 构成多数派,它们看不到 0 的心跳,会重新选出一个新 leader(比如节点 2)。但节点 0 呢?它收不到任何更高 term 的消息(分区隔离),仍自认为是 leader:

  1. 客户端写请求仍发给 0,0 在本地把日志 append 到多数确认前的状态,然后——永远等不到多数响应;
  2. 0 没有降级,因为它根本没收到新 leader 的消息;
  3. 如果 0 对外宣称写入成功,客户端读到的是「已提交」,实际多数派里根本没有这条数据。

这就是孤立 leader(partitioned leader):它对客户端看似可用,对集群其实早已过期。CheckQuorum 让 leader 主动发现这个问题:leader 周期性检查自己是否仍与多数节点保持通信(收到任意消息、或自己的心跳得到多数响应)。若在一个完整选举超时周期内没能与多数派联络,leader 主动放弃领导权、转成 Follower。

与「收到更高 term 才降级」相比,CheckQuorum 是主动自检:不依赖外部消息,靠 leader 自己发现「我已经不是多数派」。它的代价是每条心跳都要统计响应、每个周期都要做一次多数确认,纯开销换安全。

实现上的关键选择是「检查周期」与「心跳周期」的比值:leader 每个选举超时区间内至少确认一次自己收到过多数节点的响应(回复、心跳、任意消息皆可)。若一个完整周期内没有过半响应,leader 就认为自己已经脱离多数派,主动降级。这个设计刻意不依赖「收到更高 term 消息」——被隔离的 leader 恰恰收不到任何消息,只有自检能发现它过期。

配合关系要看清:CheckQuorum 负责让孤立 leader 下台,pre-vote 负责让下台后的它(以及所有分区节点)在恢复时不能靠抬 term 复辟。两者一前一后,把「分区-恢复」这个完整生命周期都覆盖了。etcd 的 raft 库同样把 CheckQuorum 做成配置项,与 pre-vote 一起启用。

CheckQuorum 还有一个容易被忽略的连带作用:它是线性一致读(Linearizable Read)的前提之一。etcd 的线性一致读要求读请求经由当前 leader 发起并经过多数确认(ReadIndex 机制),如果 leader 可能是孤立节点,读就可能读到过期数据。CheckQuorum 保证「自认 leader」与「真 leader」重合,读路径才能放心地只做一次多数确认。第 6 章讲读路径时会再回到这个联系。

网络分区下控制面的表现

把上面的机制拼起来,看 etcd 真正分区的完整推演。5 节点集群,分区把 {0, 1} 与 {2, 3, 4} 隔开:

阶段多数派 {2,3,4}少数派 {0,1}
分区瞬间原 leader 0 心跳中断0 收不到任何消息,仍自认 leader
超时后2、3、4 选出新 leader(pre-vote + 日志检查保证安全)0 尝试 pre-vote,消息不可达,term 不涨、不竞选
写请求新 leader 正常提交,客户端可用0 的写请求多数确认永远凑不齐,CheckQuorum 让它降级
恢复后维持新 leader 与已提交日志0、1 以 Follower 身份追日志,逐条补齐到多数派进度

关键结论都在表格里:

  • 少数派无法提交:写要复制到多数派,被隔离的 {0,1} 无论如何凑不齐 3 票,所有写只能失败或超时——这是共识系统的正确行为,宁可不可用也不丢已确认数据;
  • leader 迁移:多数派总是能自己选出 leader 并继续提交,集群可用性由多数派继承;
  • 恢复后日志追赶:少数派回来时不带高 term(pre-vote 保护),以 Follower 身份用 AppendEntries 补齐日志,不覆盖任何已提交数据。

把「少数派无法提交」和「恢复后追赶」连起来看,还有一个容易被忽略的细节:网络恢复的瞬间是最脆弱的时刻。 如果少数派节点带着比多数派还高的 term 回来(pre-vote 未启用时的场景),多数派要被迫让位、经历新一轮选举,期间所有写再次暂停;而 pre-vote 让少数派「干净地回归」,恢复后的第一次心跳就能把角色重新对齐,日志追赶随之进行。机制的价值往往在「恢复那一瞬」最明显。

对 K8s 控制面,这段推演直接解释了两个运维上常见的行为。第一,etcd 出问题时 apiserver 的写请求会大面积超时或返回 5xx,因为任何写都过不了多数;第二,控制器主从切换(基于 Lease 的选举)会随 etcd 分区发生——多数派里的控制器续约成功成为主控,少数派里的控制器因续约失败让位,恢复后旧主控追日志重新变成备。整个控制面在分区期间「降级但安全」,正是 Raft 安全属性(5.2 节)在系统级的表现。

K8s 组件分区期间的表现对应的 Raft 机制
kube-apiserver写 etcd 超时/5xx;读仍可用(读到多数派数据)多数派才能提交
kube-controller-manager主控可能切换;旧主控续约失败让位Lease 选举 + CheckQuorum
kube-scheduler调度结果写不进去时重试写路径依赖提交
kubelet(数据面)继续上报本节点状态,受影响小与 etcd 无强一致依赖

一个实操上的观察点:绝大多数生产分区不会「恰好」把集群切成整齐的多数/少数,常见的是单节点掉线或心跳方向不对称(A 能收到 B、B 收不到 A)。此时上面的推演依然成立,只是多数派与少数派的成员随时间抖动。运维上要养成的习惯是:检查集群健康用 etcdctl endpoint health 同时看多个端点,而不是只盯当前 leader——因为「当前 leader 是谁」在网络分区下恰恰可能是假象,孤立 leader 会一直对外宣称自己健康。

本节 lab

两个测试分别复现本节前半与后半的机制:

TestSplitVoteRecovers 模拟同步超时导致的分裂:把 5 个节点的选举 timer 全部设为 1(同一 tick 超时),3 步后断言集群里有 ≥2 个 Candidate 且没有 Leader——分裂投票的现场。随后把节点 0 的 timer 设为 1(最先重试)、其余设为 100(延后),再跑 300 步,断言最终且唯一的 leader 是节点 0。随机超时错开 → 收敛,就是这个测试的两段式剧情。

TestPreVoteQuarantine 模拟被分区节点的隔离:把节点 4 从网络完全隔离(任何涉及 4 的消息被丢弃),先让主集群 0–3 正常选出 leader;再让分区节点 4 持续尝试 pre-vote,50 步后断言:节点 4 不是 leader,且其 term 不超过 1——它借 pre-vote 无法扰乱主集群,也不会通过无效竞选递增任期。

运行:

cd private/labs/k8s-etcd-lab
go test ./raft -run 'TestSplitVoteRecovers|TestPreVoteQuarantine' -v

两个测试合起来回答了本节的判断:分裂投票在随机超时下必然收敛,被隔离节点在 pre-vote 下必然无害。异常场景不是靠运气规避的,而是靠机制设计成「即使发生也安全、也会自愈」。

至此第 5 章的选举面就完整了:5.1 建立选举协议,5.2 用选举限制锁死「当选者必须安全」,本节用三道防线处理「当选过程与当选之后的分区异常」。下一章把视角转向日志:当选的 leader 如何把日志复制到多数派、如何判定提交、如何在落后节点上追赶——那里会复用本节 pre-vote 与 CheckQuorum 的配置组合,形成完整的复制与安全闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图