14.2 网络分区与脑裂防护:大多数方仲裁
14.1 节证明了任意两个多数派必然相交。本节把这条性质用到分布式系统最危险的故障——网络分区上:集群被切成互不可达的两半,两侧都天然地想继续服务,如果没有仲裁机制就是脑裂(brain split)。Raft 不检测分区、也不修复分区,它只靠一条前置规则——提交必须多数派确认——把「谁能继续」的裁判权永远交给多数派那一侧。
脑裂:两侧都想当主
脑裂的场景几乎每个分布式系统都逃不掉:网络不是可靠的,交换机故障、网线松动、防火墙策略误配、节点假死(进程活着但长时间无响应,被对端判定失联)都会把集群切成几块。K8s 控制面里这类切分至少发生在三条链路上:etcd 成员之间、apiserver 与 etcd 之间、Node 与 apiserver 之间。
「想当主」是分布式成员的默认倾向——每个成员都希望自己继续服务客户端。没有防护时,两侧同时接受写、各自推进状态,等到分区愈合,同一份数据出现两个互相矛盾的值,谁对谁错没有仲裁者。数据库的双主、DNS 的 split-brain 都吃过这个亏。
Raft 的立场与「检测到分区再降级」完全不同:它不把脑裂当作异常去事后处理,而是让「提交」这个动作本身只能在多数派上发生,从而在事前就让少数派丧失提交能力。这个「事前」很关键:它不需要集群感知到分区、不需要协调两侧「谁让步」,只需要每个成员在提交时严格数一遍确认票。
大多数方仲裁:commit 的多数派门槛
仲裁规则只有一条:commit 必须多数派确认。它带来两个直接推论:
- 分区后,含多数派的那一侧(成员数 ≥ q)能继续选主、继续提交——仲裁权天然落在多数方;
- 少数派那一侧(成员数 < q)无论选出谁当 leader,任何新日志都无法凑够多数派确认,commit 停滞——它不可能造成脑裂性双提交。
5 节点集群 q=3,分区 {0,1,2} 与 {3,4}:{0,1,2} 有 3 票可提交,{3,4} 只有 2 票、永远差一票。注意这里不存在「两全」:少数派确实可能在分区侧选出一个自封 leader,但这个 leader 的每一条写都提交不了,客户端等不到确认。脑裂在安全(safety)层面被堵死——不可能出现「同一条数据在两个 leader 上都确认提交且值不同」;代价是少数派侧完全不可用(availability 让位于多数派)。
把「提交需要多数派确认」翻译成实现语言:leader 的 maybeCommit 在统计 MatchIndex 时,确认者数量(含自己)达到 quorum 才推进 commitIndex;被分区到少数派的候选 leader 即使当选,其 commit 推进所需的确认者也永远不足。commit 门槛是一道物理屏障,不是一条纪律——少数派「想提交」的意愿再强,也凑不出多数派的票。
分区时间线:多数派推进、少数派停滞
把一次分区完整走一遍(对应 lab 的 TestNetworkPartitionMajorityArbitration):
- 分区前,5 节点正常运转,提交
set:a=1、set:b=2,确立一个分区前的 commit 边界; - 网络把集群切成 {0,1,2} 与 {3,4},两侧互不可达;
- 多数派 {0,1,2} 继续:原 leader 在多数派里则沿用,不在则按第 5.1 节选举协议重选;新写
set:c=3追加后走正常复制与确认,commit 越过旧边界推进; - 少数派 {3,4}:旧 leader 心跳被切断,可能在分区侧发起选举甚至自封 leader,但任何新日志都收不到多数派确认,CommitIndex 永远停在分区前边界;
- 分区愈合后,两侧重新连通,少数派通过日志复制追平(见下一节)。
lab 的断言就是第 4 步:节点 3、4 的 CommitIndex 不得超过分区前边界——「脑裂性双提交」被多数派门槛物理性地拦在 commit 之外。
K8s 里类似的形态:etcd 3 节点中 1 个节点被分区出去(3 节点 q=2,被分区侧只有 1 个节点),它读到的是分区前的旧快照,任何写都提交不了;apiserver 若连到它,会被转发或失败,而不是拿到「半个集群」的确认。这与第 10.3 节「分区下线性一致读宁可失败也不返回旧值」是同一个多数派门槛在读写两条路径上的分形。
少数派停滞还有个容易被误读的点:它不是「少数派主动停写」,而是「少数派根本停不下来之后被拦在 commit 之外」。旧 leader 的日志可以继续在它自己内存里增长,但那部分日志从未提交,客户端永远拿不到成功确认——这正是下一节要讲的「未提交日志可被覆盖」。
恢复收敛:日志追平与任期护栏
分区愈合不是终点,少数派要追回多数派的进度:
- 连通后,少数派节点收到新 leader 的心跳(任期更高),自动降级为 follower;
- 新 leader 按 nextIndex 逐条补发差距日志;若差距跨越快照点,走第 9 章 InstallSnapshot 直接把状态机压到快照位置,再补尾差;
- 追平后,少数派的日志、commitIndex、apply 全部对齐多数派,状态机最终一致。
这里有一条安全护栏:少数派即使在分区期间多写了几条「看起来属于自己任期」的日志,它们也从未被多数派确认提交。追平时 AppendEntries 的一致性检查(第 6.2 节)会把冲突段截断、覆盖为多数派日志的内容。已提交数据永远保留,未提交数据永远可被覆盖——这正是第 7.2 节 Leader 完整性的推论:新 leader 的日志必然包含全部已提交日志,所以「追平」只会添加已提交内容,不会回退它们。
任期在这条护栏里扮演的角色:少数派自封 leader 时把 term 递增到某个值,但它的日志没有包含多数派在更高任期提交的内容;一旦多数派一侧选出任期更高的新 leader,少数派节点的 term 被覆盖、降级为 follower,其「自封 leader」的合法性被任期仲裁推翻。任期是多数派仲裁的记账单位:谁的任期更高,谁的日志就是权威。
pre-vote 与 CheckQuorum:防止分区节点扰乱主集群
少数派不能提交,但还留着一个骚扰能力:它的节点如果持续超时、发起真实竞选(把 term+1),高任期 RequestVote 会迫使主集群节点降级、打断正常 leader,主集群可能陷入反复选举、短暂无主。这是第 5.3 节讲过的「被分区节点扰乱主集群」。
两条防线:
- pre-vote(第 5.3 节):发起真实竞选前,先以「拟用任期」征求法定预投票,拿到法定预投票才真正 term+1 竞选。被分区节点永远收不到法定预投票,就一直停在预投票阶段,不递增任期、不产生高任期消息——它无法用「任期压人」的方式骚扰主集群。lab 的
TestPreVoteQuarantine验证的正是这一点:节点 4 被完全隔离后,主集群 0–3 正常选主,节点 4 持续尝试 pre-vote,但任期始终不越过 1。 - CheckQuorum(第 5.3 节):leader 在任期内若收不到法定确认,主动放弃 leader 身份。这防止「旧 leader 其实已被分区出去,却一直占着位置服务过期读」——它把 leader 身份的存续也交给多数派持续见证。
pre-vote 的价值不只是「少一次竞选」:它把「扰乱」的代价从「主集群被迫降级重选」降为「被分区节点原地空转」。主集群的稳定性不取决于少数派节点有多折腾——这和第 10.2 节 ReadIndex「多数派确认一次管一个窗口」是同一种「隔离噪音」的设计思路。
三种分区形态与仲裁结果
把「多数派仲裁」套到具体形态上,可以列一张对照表(以 5 节点为例):
| 分区形态 | 切法 | 仲裁结果 |
|---|---|---|
| 一分为二,多数派在一侧 | {0,1,2} vs {3,4} | {0,1,2} 继续提交,{3,4} 停滞 |
| 单个节点被隔离 | {4} vs {0,1,2,3} | 主集群正常,{4} 追平后回归 |
| 一分为三,无任何一方过半 | {0,1} vs {2,3} vs {4} | 各方都无法提交,集群整体停摆直至愈合 |
第三行最反直觉:5 节点切成 2+2+1,三块都没有 3 票,谁也提交不了——集群「停摆」而不是「脑裂」。停摆和脑裂是两种结果:脑裂是错误(两侧同时提交矛盾值),停摆只是不可用(安全保住,可用性丧失)。多数派仲裁宁可停摆也不脑裂,这正是第 2.1 节 CAP 里「一致优先」的取舍在 Raft 里的日常形态。
这个「宁可停摆也不脑裂」的立场贯穿 Raft 全部设计:可用性可以折损,一致性不能打折——脑裂是错的,停摆只是慢。
脑裂的经典教训:为什么「检测后降级」不够
在共识算法出现前,脑裂的常见应对是「检测到分区后,主动降级自己」。这套思路有两个坑:
- 检测本身不可靠:怎么判断「对方死了还是网络断了」?TCP 超时、心跳超时都只是猜测。误判一个正常节点为故障、主动降级自己,白白损失可用性。
- 两侧可能同时检测失败:A 侧认为 B 死了而继续服务,B 侧也认为 A 死了而继续服务——检测机制在「两侧都误判」时反而成了脑裂的帮凶。
Raft 的多数派仲裁绕开了「检测」这个环节:它不需要任何人判断「分区发生了」,只需要每个成员在提交时数票。票数不足就是提交不了,无论两侧怎么「以为」,仲裁结果由票数决定。这就是「事前预防」与「事后检测」的本质区别——Raft 把脑裂问题的解法从「判断对错」变成「数票」。
apiserver 与 etcd 之间的分区
K8s 控制面里还有一条常被忽略的分区链路:apiserver 与 etcd 之间。
- apiserver 是无状态客户端,它不参与 etcd 的 quorum。它连上哪个 etcd 成员都行,但只有多数派确认的写才成功。
- 如果 apiserver 恰好连的是分区出去的少数派成员,它的写会超时失败、线性一致读会失败;控制器和调谐循环随后重试,apiserver 通过 etcd 客户端发现的健康成员重新路由。
- 所以「apiserver 与 etcd 分区」的表现不是脑裂,而是 apiserver 短暂不可写、不可强一致读,直到它切到多数派成员。控制面 apiserver 副本多的意义之一就在于此:多个 apiserver 只要有一个连得上多数派 etcd,集群就能继续收敛。
这条链路印证了 14.1 节的判断:quorum 义务在 etcd,不在 apiserver。apiserver 是多数派仲裁的「外围消费者」,不是「仲裁者」。
分区下的客户端行为:重试、转发与超时
多数派仲裁只约束成员,客户端的行为同样构成脑裂防护的最后一层:
- 写超时重试:客户端向分区出去的少数派成员写,必然超时(commit 推进不了)。etcd 客户端把请求重定向到当前 leader 或返回错误,上层(apiserver、controller)按退避重试。
- 读超时重试:线性一致读在少数派成员上同样完成不了确认(第 10.2 节),客户端按幂等语义重试到多数派成员。
- 关键边界:重试要幂等:如果客户端在超时后盲目重放写,可能造成同一命令被提交两次。etcd 的事务与租约、K8s 的 resourceVersion 乐观并发,都是为「分区超时 + 重试」提供的幂等护栏。
所以脑裂防护是三层叠加:成员侧的多数派门槛(本节的仲裁)、客户端侧的幂等重试(上层的纪律)、以及第 15.3 节要讲的一致性代价权衡。任何一层失效,脑裂防护都不完整。
分区期间的少数派能提供什么
多数派仲裁牺牲了少数派的可用性,但少数派并不是「彻底没用」:
- 串行化读仍可用:少数派成员可以响应 serializable 读(第 10.3 节),返回本地 mvcc 快照——旧但可用。监控、大盘等容忍旧的负载仍能服务。
- watch 停滞:watch 事件来自 apply,apply 依赖 commit;少数派 commit 停滞,新事件也不会产生——多数派一侧正常推进,少数派一侧的事件流冻结在分区边界。
- 写与线性一致读不可用:任何需要多数派确认的操作(写、ReadIndex 读、etcdctl endpoint health)在少数派上都会失败。
所以「牺牲可用性」不是「所有请求都失败」,而是「所有要求最新、要求落盘的请求都失败」。这与第 10.3 节的分区下读模式结论一致:线性一致读宁可失败也不返回旧值,串行化读宁可旧也要可用——多数派仲裁把这两档读的行为在分区下彻底分开。
分区 vs 节点故障:同一仲裁,两种表现
把「网络分区」和「节点故障」放一起看,会发现 Raft 用同一套多数派机制处理两者:
| 维度 | 节点故障(宕机) | 网络分区 |
|---|---|---|
| 仲裁结果 | 多数派继续,故障节点掉队 | 多数派继续,少数派侧停滞 |
| 故障方恢复 | 重启/替换后追平日志 | 分区愈合后追平日志 |
| 恢复路径 | 相同:日志复制/快照追平 | 相同:日志复制/快照追平 |
| 两者区别 | 故障节点自己是「坏」的 | 少数派节点可能是「好」的但被切走 |
对多数派来说,一个「彻底宕机」的节点和一个「被分区切走」的节点在协议上几乎无法区分:都收不到心跳、都回不了确认、都可能长期不在多数派确认里。Raft 因此不需要区分「它是死了还是被隔离了」——多数派机制对两种故障给出同样的仲裁。这也是 14.3 节会用「隔离」来模拟「fsync 挂起」的原因:在协议层面,它们等价。
本节小结
- 脑裂是「两侧都想当主」,Raft 不事后检测,而是用「提交必须多数派确认」在事前把裁判权交给多数方;
- 分区后多数派继续选主提交,少数派 commit 停在分区前边界,无脑裂性双提交;
- 恢复靠日志追平/快照,已提交数据不回退、未提交数据可覆盖;
- pre-vote 与 CheckQuorum 防止分区节点用高任期扰乱主集群。
网络分区是最直观的「多数派仲裁」故障形态,但多数派并不能解决所有故障——下一节看另一种故障:节点之间完全连通,但单个成员的磁盘慢到拖慢整个提交路径。
本节 lab
本节 lab 验证大多数方仲裁与 pre-vote 隔离,两个用例都在 private/labs/k8s-etcd-lab/raft/:
quorum_test.go的TestNetworkPartitionMajorityArbitration:5 节点分成 {0,1,2} 与 {3,4},多数派选主并提交第三条日志,少数派 commit 停滞在分区前(无脑裂双提交);raft_test.go的TestPreVoteQuarantine:被分区节点持续 pre-vote 无法扰乱主集群、不递增任期。
运行命令:
cd private/labs/k8s-etcd-lab
go test ./raft -run 'TestNetworkPartitionMajorityArbitration|TestPreVoteQuarantine' -v
预期断言:
TestNetworkPartitionMajorityArbitration:分区前两笔写(set:a=1、set:b=2)全部提交,记下 commit 边界;分区函数使 {0,1,2} 与 {3,4} 互不可达后,多数派 {0,1,2} 必然选出 Leader(原 leader 在多数派则沿用,否则重选),追加set:c=3后 commit 越过旧边界;同时节点 3、4 的 CommitIndex 不得大于分区前边界,否则判定为脑裂——双提交在多数派门槛处被拦住;TestPreVoteQuarantine:节点 4 完全隔离(涉及 4 的跨节点消息全被丢弃)后,主集群 0–3 必然选出 Leader,且 Leader 不是 4;50 步内节点 4 反复发起 pre-vote,既不能当选 Leader,任期也始终不超过 1——pre-vote 把分区节点的「任期骚扰」挡在主集群之外,主集群的选举不受分区节点影响。
把断言映射回本节的理论:TestNetworkPartitionMajorityArbitration 完整复现了「分区时间线」的五步——分区前确立 commit 边界、分区后多数派推进、少数派停滞;它断言的是「少数派不越界」,而不是「少数派崩溃」,这正是「安全(safety)保住、可用性(availability)牺牲在少数派」的验收口径。TestPreVoteQuarantine 则把第 5.3 节的 pre-vote 防线做成可运行断言:分区节点反复尝试竞选,却既拿不到法定预投票、也不递增任期,主集群选举完全不受干扰。
模拟器细节:TestNetworkPartitionMajorityArbitration 用 SetPartition 以 (a<3)!=(b<3) 为分区函数,把消息空间切成「a、b 都小于 3」与「a、b 都大于等于 3」两片互不可达的区域;TestPreVoteQuarantine 的分区函数把所有涉及 4 的消息丢弃。pre-vote 在 sim.go 的 prepareElection 里实现:Follower 超时先广播 MsgPreVote(携带拟用任期、不递增当前任期),只有 preVoteGranted 达到多数派才真正 startElection 递增任期——节点 4 被隔离后永远收不到 MsgPreVoteResponse,preVoteGranted 停在 1(只投自己),于是任期停在初始值,不越过 1。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。