《Kubernetes 分布式系统原理深入解析》14.1 多数派与 2f+1 容忍度

多数派 quorum=n/2+1,奇数集群以 2f+1=n 换 f 个节点故障容忍,两个 quorum 交集非空保证不会两侧同时提交。lab 用 TestQuorumMath 验证 1/3/5/7/9 的 quorum 恒等式,用 TestQuorumSurvivesTwoFailures 验证 5 节点隔离 2 个后主集群仍能选主并提交。

14.1 多数派与 2f+1 容忍度

第 10 章用线性一致读证明了「读也不能绕开多数派」:ReadIndex 靠一次多数派确认,把「当前 Leader 身份」和「读边界 commitIndex」绑定在同一个任期上。本节把这个反复出现的「多数派」抽象成 quorum(法定多数),讲清它的数学、为什么集群必须是奇数、以及读写两条路径如何站在同一条多数派上。理解这一点,后面 14.2 节的网络分区、14.3 节的磁盘故障才有判断依据。

从线性一致读到多数派

第 10.1 节旧 Leader 场景的病根是:分区出去的旧 Leader 单方面声称自己是 Leader,但它已经不在多数派的共同见证里。第 10.2 节 ReadIndex 四步算法里最关键的第 3 步「向多数派确认任期」,本质上是把「我是 Leader」从自我声明变成多数派见证。

这个见证之所以必须落在「多数派」而不是「任意一组节点」上,是因为多数派有一项任何其他集合都没有的性质:任意两个多数派必然相交。凡是需要共同见证的状态(谁被提交了、谁有权响应读),只要认证方是多数派,两个认证结果就一定在至少一个节点上重合——这个重合点把两次认证串成同一份事实。

用一个具体的例子建立直觉:3 节点集群里 quorum=2。无论两次认证发生在什么时候,只要每次都有 2 个节点参与,两次参与者的交集就至少有 1 个节点,因为 2+2=4 大于 3。这个重合节点两次都「在场」,它保有的提交位置就是两次认证共享的锚点。5 节点同理:3+3=6 大于 5,交集至少 1 个。只要认证集合大于一半,这个「交集非空」就必然成立。

「任意两次多数派认证必然共享至少一个节点」——这句话就是 quorum 的全部价值,也是本节唯一需要记住的结论。后面的 2f+1、奇数集群、脑裂防护,全是它的推论。

quorum 的数学:n/2+1 与 2f+1

quorum 的定义是「严格超过一半」:

  • 集群 n 个投票节点(learner 不参与投票,见第 8.3 节),法定多数 q = n/2 + 1(n/2 向下取整);
  • 可容忍的故障数 f = n - q:故障数不超过 f 时,存活的节点数 ≥ q,集群仍能凑齐多数派继续运转;故障数超过 f,存活节点不足 quorum,协议无法终止——这正是 4.1 节 FLP 结论的直观体现。

f = n - q 的推导很直接:集群一共 n 个节点,坏了 k 个还剩 n-k 个;要能继续选主与提交,必须 n-k ≥ q,即 k ≤ n-q。最大的 k 就是 f。对奇数 n:q = (n+1)/2,f = n - (n+1)/2 = (n-1)/2,于是 2f+1 = 2·(n-1)/2 + 1 = n。奇数集群下两者满足 2f+1 = n,这是 Raft 集群标准配制的由来。表格式地看:

n(奇数)q = n/2+1f = n-q2f+1存活多少节点仍够 quorum
11011
32132
53253
74374
95495

注意 q 严格大于 n/2 这一点不能打折:q 恰好等于 n/2 时,两组「多数」可能完全不相交——比如 4 节点里 {0,1} 与 {2,3} 就是两个各占一半且不相交的集合,两者各自主张的「已提交」可能互相矛盾。正确性会在分叉处崩塌。这是 quorum 数学里唯一的硬约束,也是 14.2 节防脑裂的根。

为什么必须是奇数集群

两个直觉容易混淆,先分清:

  1. 奇数不是为了「投票不平手」。分裂投票(第 5.3 节)在奇数集群照样发生——3 节点可以两个候选人各拿 1 票、再加一张旧任期票,照样选不出。Raft 靠随机超时和任期递增收敛,不靠奇偶。
  2. 奇数的真正理由是「用最少的节点换给定的容错」。容错 f 需要的最小集群是 2f+1:f=1 需要 3,f=2 需要 5。偶数集群 2f+2(4、6)的容错与奇数 2f+1(3、5)完全相同:
nqf与哪个奇数集群等价
4313(容 1)
6425(容 2)

4 节点和 3 节点都只能容 1 个故障,但 4 节点多付一台机器的成本、多一次广播、多一份 WAL 与 fsync 的 IO;6 节点和 5 节点同理。偶数集群的 2f+1=n 不成立,多了节点却不增加容错,生产配置因此几乎只见奇数。

还有一个经常被误解的细节:3 节点与 4 节点的「最多能坏几个而不停摆」相同。4 节点坏 1 个剩 3 个,仍够 quorum=3;坏 2 个剩 2 个,不够。3 节点坏 1 个剩 2 个,够 quorum=2;坏 2 个剩 1 个,不够。两者的上限都是 1。多出来的那个节点唯一的作用是拖慢写路径,没有任何容错收益——这就是「偶数集群白花钱」的精确含义。

生产集群怎么选:3、5、7 与 K8s 控制面

  • 3 节点容 1:最小高可用配置,多数测试环境与小规模 K8s 集群用,单节点故障不破 quorum。
  • 5 节点容 2:生产 K8s 控制面推荐。跨 3 个可用区时常见布局是 2+2+1,任一可用区整体故障都不破坏 quorum——这正是 2f+1=5 在故障域设计上的典型应用。
  • 7 节点容 3:少数需要极高容错或单节点故障率偏高的场景。写路径代价也随之放大(每条写要等 4 份确认),不常见。

K8s 控制面里真正承担 quorum 义务的只有 etcd:apiserver、controller-manager、scheduler 都是无状态多副本,谁活着都行;etcd 才是「写必须过多数派」的那一环。所以「控制面跑 3 个 apiserver」和「etcd 3 个成员」是两件事——前者故障只影响可用性,后者故障可能影响数据提交。

每加一个 etcd 成员,写路径的代价是线性的:leader 要等多数派(含自己)确认,即每条写至少要有 q 份成功 fsync 才提交。5 节点比 3 节点多等一份 fsync 确认,写延迟通常更高——这是「更多容错」的价格,选型时要在吞吐与容错之间权衡。

把读写放大摊开看:3 节点集群每条写要 2 份 fsync 确认,5 节点要 3 份,7 节点要 4 份。K8s 的每次调度、每次状态变更都落 etcd,对延迟敏感的控制面而言,多一份 fsync 就是多一段「最慢成员完成落盘」的等待。所以生产上「5 节点容 2」是主流,7 节点极少——容错每升一档,代价远不止多一台机器。

K8s 里到底谁在消费 quorum

把 K8s 的写入面过一遍,能看出 etcd 的 quorum 被谁消费:

  • apiserver 的一切写:Pod、ConfigMap、Secret、CRD 等所有资源对象的 Create/Update/Delete 都落到 etcd 的 Put/Txn——每条都要多数派确认才返回成功。kubectl apply 成功,就意味着该次写已在多数派成员上落盘。
  • Lease 心跳与选主:kubelet 用 Lease 资源向 apiserver 续约节点心跳,控制面组件(controller-manager/scheduler)用 Lease 选主。这些写同样是 etcd 写路径,多数派确认慢时,心跳续约和选主都受影响。
  • watch 的起始位置:informer 的 list-watch 以 etcd 的 revision 为起点,revision 来自已提交的日志位置——它天然是多数派确认后的状态。

quorum 慢 → 不只是「apiserver 写慢」,而是「一切以 etcd 为存储的状态变更都慢」:调度、资源创建、节点心跳、控制面选主。这就是 14.1 节「quorum 义务在 etcd」的含义——它是控制面所有「确定」的支点。

读写都站在同一条多数派上

多数派不只属于写路径:

  • 写(提交):Leader 把日志追加进自己的日志并广播 AppendEntries,等多数派 follower 确认复制完成后提交(第 6.3 节提交规则)。node.go 的 maybeCommit 就是数 MatchIndex:某个下标能被包括自己在内的多数派确认、且该下标日志属于当前任期,才推进 commitIndex。
  • 读(ReadIndex):第 10.2 节 ReadIndex 要多数派在同一任期确认 Leader 身份,才以 commitIndex 作读边界。

两条路径确认的是同一个集合概念——「多数派」。这笔账是有数学保证的:一笔写被 quorum A 确认提交,一笔读被 quorum B 确认边界,A 与 B 交集非空,所以 B 里必然有节点知道这笔写的提交位置,读到的边界必然覆盖它。线性一致读「写后读必可见」的保证,最后就落在这条交集性质上。

这个交集性质还解释了另一个常见困惑:为什么 ReadIndex 的确认「一次心跳往返」就够,而不是每次读都重新走一遍完整的提交流程?因为多数派的交集保证是全局的、贯穿整个任期的——读确认的是一次「从此以后的 Leader 身份」,而不是「此刻的一个值」。多数派确认一旦成立,此后的 commit 全都经由同一条多数派机制推进,读边界自然覆盖它们。

这解释了 14.2 节网络分区时少数派为什么既不能提交写、也不能完成线性一致读——不是纪律,是数学:少数派凑不出一个 quorum,任何「共同见证」都无法成立。

一个具体演算:每种规模能扛几次故障

把公式变成直觉,逐档走一遍「坏了 k 个会怎样」:

nqk=0k=1k=2k=3
323≥2 正常2≥2 正常1<2 停摆—
535≥3 正常4≥3 正常3≥3 正常2<3 停摆
747≥4 正常6≥4 正常5≥4 正常4≥4 正常

5 节点集群坏 2 个剩 3 个,仍够 quorum;坏 3 个剩 2 个就停摆。停摆的含义不是「数据坏了」,而是「凑不出多数派,选举与提交都无法终止」——节点可能还活着、网络可能还通,但协议不能继续推进。这也是 4.1 节 FLP 结论在可用性上的表现:只要存活节点不足 quorum,共识就无法达成新决定。

注意停摆与数据丢失是两件事:停摆期间已提交数据完好,恢复一个故障节点(凑回 quorum)集群即可继续。这也是为什么 etcd 运维里「3 节点坏 1 个」是告警阈值、而「坏 2 个」是紧急处理线。

从 quorum 看成员变更与 learner

第 8.2 节的联合共识、第 8.3 节的 learner,本质都是在回答同一个问题:quorum 集合变了怎么办。

  • 加一个节点,集群从 3 变成 4,quorum 从 2 变成 3——如果在旧 quorum=2 下提交、新 quorum=3 下也提交,两个配置的多数派未必相交,可能双提交。联合共识用「旧配置 quorum ∩ 新配置 quorum」同时满足来封死这个窗口。
  • learner(第 8.3 节)不投票:它同步日志但不计入 quorum,因此加 learner 不影响 f 与 q。把新节点先以 learner 身份追平日志、再提升为投票成员,是 etcd 平滑扩容的标准路径——它把「改 quorum 集合」拆成「先追平、再投票」两步,避免新成员把多数派拖慢。

所以 quorum 不是一组静态数字,而是一套会随成员变更迁移的仲裁边界。2f+1 描述的是静态容错,联合共识与 learner 解决的是动态容错。

etcd 与 K8s 里怎么观测 quorum

etcd 与 K8s 提供了直接观测 quorum 的入口:

  • etcdctl endpoint status:etcdctl endpoint status -w table --cluster 列出每个成员的角色、任期、commit 与 raftIndex。多数派成员之间这些数字应当基本对齐;落后明显的成员就是「不在多数派确认里」的候选者。
  • etcdctl endpoint health:健康检查会走一次线性一致读,只有能凑齐多数派确认的成员才报 healthy。被分区到少数派的成员在分区期间会报 unhealthy——这正是 quorum 门槛在运维探活上的体现。
  • K8s 探针:etcd 的 liveness/readiness 常以 etcdctl endpoint health 为底座;apiserver 到 etcd 的健康由 apiserver 的 /healthz 暴露,apiserver 拿到 etcd 多数派确认才算存储健康。

这三层观测共享同一个物理事实:多数派确认成立,才上报健康。quorum 不是一个配置项,而是 etcd 一切「健康/不健康」判断的底层算力。

多数派与故障域:2f+1 在跨可用区下的落法

把 2f+1 放到「故障域」里看,节点数量不是唯一维度,节点怎么分布同样决定容错:

  • 3 节点在一个可用区:容 1 个节点故障,但不容整个可用区故障——一个 AZ 挂掉,3 个节点全没,集群停摆;
  • 5 节点跨 3 个可用区(2+2+1):任一可用区整体故障最多带走 2 个节点,剩 3 个仍够 quorum=3——容错从「2 个节点」升级为「1 个可用区」,这是 K8s 生产控制面的标准布局;
  • 7 节点跨 3 个可用区(3+2+2):任一可用区故障剩 4 个,够 quorum=4;但任意两个可用区同时故障剩 2 个,停摆。

所以「7 节点容 3」只有在节点故障是独立随机事件时才成立;一旦故障按可用区关联(一次断电带走同一区的所有节点),真实容错要按故障域重新核算。设计 etcd 时先定故障域,再定节点数,顺序不能反——这和第 13 章卷四里故障域设计对一致性承诺的影响是同一个道理。

本节小结

  • quorum = n/2 + 1,严格大于一半;奇数集群容错 f 满足 2f+1 = n;
  • 奇数不是为避免平票,而是用最少节点(2f+1)换给定容错 f,偶数集群多付成本不增加容错;
  • 3/5/7 节点分别容 1/2/3 个故障;K8s 控制面里只有 etcd 承担 quorum 义务;
  • 写提交与 ReadIndex 读都依赖多数派,两个多数派交集非空是「写后读必可见」的根。

多数派是这一章所有结论的底座:14.2 的脑裂防护靠它,14.3 的慢盘不影响活性也靠它。下一节把它放进最极端的一类故障——网络分区。

本节 lab

本节 lab 验证 quorum 数学与「2 个故障下多数派仍可提交」,两个用例都在 private/labs/k8s-etcd-lab/raft/:

  • raft_test.go 的 TestQuorumMath:对 n ∈ {1,3,5,7,9} 逐一计算 q = n/2+1 与 f = n-q,断言 q 严格大于 n/2、2f+1 = n 恒成立;
  • quorum_test.go 的 TestQuorumSurvivesTwoFailures:用 5 节点 Sim 把节点 3、4 完全隔离(2 个故障 = f),断言主集群 {0,1,2} 仍能选出 Leader,且主集群追加 set:k=v 后 commit 推进到日志末尾。

运行命令:

cd private/labs/k8s-etcd-lab
go test ./raft -run 'TestQuorumMath|TestQuorumSurvivesTwoFailures' -v

预期断言:

  • TestQuorumMath:五个 n 值的 quorum 全部严格超过 n/2,2f+1 恒等于 n——多数派交集非空的数学前提;
  • TestQuorumSurvivesTwoFailures:隔离 2 个节点后主集群 {0,1,2} 必然选出 Leader(StepUntilLeader 在 500 步内收敛),且 Leader 不会落在被隔离的 3、4 上——隔离节点既收不到心跳也收不到投票请求;主集群追加 set:k=v 后,commit 推进到日志末尾,且 {0,1,2} 里至少一个非 Leader 节点的 commitIndex 同步推进——2f+1=5 的容错边界在可运行代码上得到验证。

把断言映射回本节的理论:TestQuorumMath 是「q > n/2 与 2f+1=n」的直接编码;TestQuorumSurvivesTwoFailures 则是 2f+1=5 的运行时证明——隔离 2 个节点后,存活 3 个恰好等于 quorum,主集群的选举和提交都照常推进。测试没有断言「被隔离的节点坏了」,而是断言「多数派侧不受影响」,这正是 quorum 设计的验收口径:容错的对象不是「少数派能恢复」,而是「多数派不用等少数派」。

模拟器细节:Sim 是事件驱动仿真,每步投递积压消息、leader 广播 AppendEntries、推进选举定时器。隔离通过 SetPartition 实现,分区函数返回 true 的消息被丢弃——节点 3、4 因此在 14.2 节的意义上是「同时故障」:既不能参与选举,也不能确认日志,但它们不影响主集群凑够 quorum。主集群提交的推进链路也值得留意:leader 追加 set:k=v 后把自己的 MatchIndex 指向新末尾,之后每一次 Step 都把该日志带给可达 follower,follower 回 AppendEntriesResponse 携带 MatchIndex,leader 的 maybeCommit 数到 2 个确认(自己 + 一个健康 follower)即提交——多数派确认不是抽象口号,就是这段具体的计数逻辑。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图