8.1 Quorum 类拓扑约束
第 7 章把卷生命周期讲完,数据有了「存储位」。但多数有状态系统的数据不是一份,而是复制组:同一份数据持有多个副本,副本之间靠多数派(quorum)达成一致。于是「副本放在哪」成了存储之后第一个必须回答的分布式问题——把副本集中在一个 zone,等于把多数派和这个 zone 的命绑在一起。这就是本节的 Quorum 类拓扑约束。
多数派算术:N 副本需要几个活着
复制组能继续写,靠的是「多数派成员可互相通信」。多数派的数量定义是严格超过一半:
| 副本数 N | quorum = N/2+1 | 可容忍同时故障副本数 |
|---|---|---|
| 2 | 2 | 0 |
| 3 | 2 | 1 |
| 4 | 3 | 1 |
| 5 | 3 | 2 |
注意 4 副本的 quorum 是 3,与 3 副本相同——多买一个副本并没有多买一点容错。这就是大多数复制组选 3 或 5 而不选 2 或 4 的算术原因:偶数副本只增加了同步与存储成本,没有换来更高的故障容忍度。这也是 8.1 一切讨论的出发点:副本数决定 quorum,quorum 决定「最少要留下几个」。
拓扑约束的本质:任意单故障域失效仍过多数派
「副本有 N 个」不等于「集群能坏 N-1 个」。因为故障是有拓扑相关性的:同一个 zone 宕机,该 zone 上的所有副本一起失联。于是 Quorum 类拓扑约束的形式化判定只有一条:
对复制组的副本分布,任意移除一个故障域(zone)后,剩余副本数仍 ≥ quorum。
再补一条前提:分布必须覆盖至少 2 个故障域——否则一个域承载全部副本,该域失效即全灭,谈不上多数派。
本节 lab 的 QuorumTopology.SatisfiesQuorum() 就是这条判定的直接翻译:先查覆盖域数,再遍历每个 zone,若 Replicas - 该zone副本数 < quorum 就返回 false。把「zone 数 + 每 zone 副本数」喂进去,返回「能否抗单域故障」——这是本节反复使用的最小模型。
三种典型分布:满足、失败与边缘
同一个算术套到三种分布上,恰好得到三种判定结果:
| 副本分布 | quorum | 最坏单域失效后剩余 | 判定 |
|---|---|---|---|
| 3 副本分 3 域(1/1/1) | 2 | 2 | 满足 |
| 3 副本挤 2 域(2/1) | 2 | 1 | 不满足 |
| 2 副本分 2 域(1/1) | 2 | 1 | 不满足(边缘) |
- 跨 zone 分布(1/1/1):任意一个 zone 挂掉,剩余 2 个副本仍等于 quorum,复制组继续可写。这正是 etcd、Cassandra 这类复制组期望的放置。
- 集中分布(2/1):承载 2 个副本的那个 zone 一挂,剩余 1 个副本 < quorum 2,复制组立即失去写能力。单 zone 宕机即失多数派——不是「坏了一个副本」,而是「坏了一个故障域」。
- 两副本边缘(1/1):2 副本的 quorum 本来就是 2,两个 zone 任何一个失效都只剩 1 个。所以两副本只提供「读冗余 / 故障转移的靶子」,不提供「多数派可用性」。
三行对应 lab 的三个测试。理解这三行,就理解了为什么很多数据库在 3 个 zone 各放一个副本,而不是把副本堆在一个 zone 里「省跨区带宽」。
在 K8s 里怎么表达:topologySpreadConstraints
K8s 原生用来表达「副本跨故障域摊开」的机制是 topologySpreadConstraints(Pod 调度软约束之上的硬约束):
topologySpreadConstraints:
- maxSkew: 1
minDomains: 3
topologyKey: topology.kubernetes.io/zone
whenUnsatisfiable: DoNotSchedule
labelSelector:
matchLabels:
app: quorum-app
逐字段对应到本节语义:
| 字段 | 含义 | 对应本节 |
|---|---|---|
topologyKey: topology.kubernetes.io/zone | 按 zone 维度摊开 | 故障域 = zone |
maxSkew: 1 | 任意两 zone 的副本数差 ≤ 1 | 不允许出现 2/1 的集中 |
minDomains: 3 | 至少覆盖 3 个 zone | 保证跨域 |
whenUnsatisfiable: DoNotSchedule | 放不下就不调度 | 硬约束,宁缺毋滥 |
DoNotSchedule 是 Quorum 场景的关键选择:宁可让 Pod 卡在 Pending,也不允许它落进一个打破多数派分布的节点。若改用 ScheduleAnyway,调度器会在满足 maxSkew 的约束内尽量摊,但不保证——对强一致复制组,这通常不可接受。
PDB:中断窗口的保险
topologySpreadConstraints 管「调度时怎么放」,但运行期的副本数还要另一张网兜底——PodDisruptionBudget(PDB):
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
name: quorum-app-pdb
spec:
minAvailable: 2
selector:
matchLabels:
app: quorum-app
PDB 与拓扑分布互补:拓扑分布回答「副本在哪」,PDB 回答「自愿中断(节点维护、池缩容)时最少能剩几个」。minAvailable: 2 直接写的就是 quorum——voluntary disruption 不能把副本降到多数派以下。真实集群里两者缺一不可:只有 PDB 没有拓扑分布,节点维护时没问题,但一个 zone 宕机照样全灭;只有拓扑分布没有 PDB,滚动维护可能恰好把 3 个副本里的 2 个同时停掉。
单 zone 宕机的连锁反应
把判定语义展开成一条故障时间线,就明白为什么这是「拓扑」问题而非「副本数」问题:
- zone A 宕机,其上副本全部失联。
- 若 zone A 承载 ≥ quorum 个副本,剩余副本 < quorum,复制组失去写能力。
- 恢复路径只有两条:等 zone A 回来,或由外部仲裁把副本迁移到其他 zone 重建多数派(后者在 8.3 节 Operator 的 failover 里展开)。
- 拓扑分布正确的组则直接跳过第 2 步:zone A 挂掉,剩余副本仍 ≥ quorum,读写在其余 zone 继续。
这条时间线说明一个容易被忽略的事实:单 zone 宕机对「正确分布的组」是容量损失,对「集中分布的组」是可用性损失。同样的副本数、同样的故障,结果差一个量级。
故障域的粒度:zone 与 hostname
「一个故障域」到底取多大,决定了约束的松紧。K8s 内置两组 topologyKey 最常用:
| topologyKey | 故障域粒度 | 对应故障 | 例子 |
|---|---|---|---|
topology.kubernetes.io/zone | 可用区 | 区域断电、区域网络 | 3 副本各放一个 zone |
kubernetes.io/hostname | 单节点 | 单机宕机、磁盘坏 | 副本摊到不同节点 |
对 Quorum 复制组,正确做法通常是两级都要:跨 zone 保证「区域级故障不失多数派」,zone 内跨节点保证「单节点意外不掉一个域」。只跨节点不跨 zone,一个 zone 宕机照样全灭;只跨 zone 不跨节点,两个副本可能恰好落在同一节点,一次单机故障就打掉两个域。
topologySpreadConstraints 一个 constraint 只能写一个 topologyKey,所以两级放置要叠两个 constraint(K8s 1.19+ 支持多个),或用一个 spread 约束 + 一个反亲和:
topologySpreadConstraints:
- maxSkew: 1
topologyKey: topology.kubernetes.io/zone
whenUnsatisfiable: DoNotSchedule
labelSelector: { matchLabels: { app: quorum-app } }
- maxSkew: 1
topologyKey: kubernetes.io/hostname
whenUnsatisfiable: DoNotSchedule
labelSelector: { matchLabels: { app: quorum-app } }
注意 zone 级约束隐含了节点级需求的一部分:maxSkew: 1 摊到 3 个 zone,若一个 zone 内只有一个节点,它自然迫使副本落在不同节点上。但 zone 内节点很多时,必须显式加 hostname 级约束,否则调度器可能把同 zone 的两个副本放同一节点。
跨域复制的代价:quorum 跨 zone 的延迟账
拓扑约束摊开副本不是免费的。副本跨 zone 意味着每次提交都要跨 zone 往返:leader 在 zone A,follower 在 zone B/C,一次 quorum 写入的 RTT 等于「最慢的那个多数派成员」的网络往返。设计时要算这本账:
| 部署形态 | 单次写延迟 | 抗故障能力 |
|---|---|---|
| 单 zone 内 3 副本 | 同 zone RTT(亚毫秒级) | 只抗节点级故障 |
| 跨 3 zone 3 副本 | 跨 zone RTT(毫秒级) | 抗区域级故障 |
这本账没有免费午餐:要抗 zone 级故障,就要付跨 zone 的网络延迟与带宽成本。很多系统的折中是「同区域双 zone + 异地一个仲裁副本」,或把读走本地副本、只让写跨区(读写分离把延迟压到写路径上)。Quorum 拓扑约束只回答「副本在哪」,「每次写要多付多少延迟」是它直接定价的——规划跨 zone 复制前,先把 RPO/RTO 与延迟预算一起算(第 9.2 节展开)。
放置校验:上线前的检查清单
给一个多数派复制组设计放置时,按顺序过这几条:
- 副本数选了奇数(3/5),避开偶数副本的「加副本不加容错」陷阱。
- 覆盖的 zone 数 ≥ 2,且任意 zone 上的副本数 ≤ N - quorum。
-
topologySpreadConstraints用DoNotSchedule而非ScheduleAnyway。 -
minDomains与实际 zone 数一致,避免maxSkew空转。 - zone 内副本用 hostname 级约束再摊一层,避免两个副本落同一节点。
- PDB 的
minAvailable≥ quorum,且与拓扑约束同标签选择器。 - 单 zone 故障演练验证过「剩余副本 ≥ quorum」这条判定,并实测过跨区写延迟预算。
三个常见误解
- 「副本数多就等于可用性高,3 副本放同一个 zone 也能坏两次」——错误。故障是拓扑相关的,同一个 zone 的副本同时失效;3 副本集中放,一个 zone 宕机就只剩 1 个,低于 quorum 2,直接失写。
- 「2 副本分两个 zone,任何 zone 挂了还有 1 个副本能继续服务」——错误。2 副本的 quorum 是 2,任何单域失效都低于多数派;两副本只有故障转移目标,没有多数派可用性。
- 「PDB 和 topologySpreadConstraints 只要配一个就行」——错误。两者管不同阶段:拓扑分布管调度期放置,PDB 管运行期自愿中断;Quorum 组两者都要配齐。
一句话总结本节
Quorum 类拓扑约束是多数派算术在「放置」上的投影:副本必须分布在足够多的故障域,且任意单域失效后剩余副本仍 ≥ quorum。用 topologySpreadConstraints 管调度期摊开、用 PDB 管运行期兜底,而判定能否抗单域故障,只需 N - max(单域副本数) ≥ quorum 一行算术。
下一节把这个「复制组」落到更细的粒度:当数据被拆成分片、每片多副本时,K8s 如何用 CRD 表达这个分片与副本结构。
本节 lab
本节三个测试落在 stateful 包的 QuorumTopology.SatisfiesQuorum() 上,一一对应上面那张「满足、失败、边缘」表:
cd private/labs/k8s-net-lab
go test ./stateful -run TestQuorumAcrossZones -v
go test ./stateful -run TestQuorumConcentrationFails -v
go test ./stateful -run TestQuorumTwoZoneEdge -v
TestQuorumAcrossZones:构造 3 副本分 3 域(各 1 个),断言SatisfiesQuorum()为真——对应「跨 zone 分布满足多数派」。TestQuorumConcentrationFails:构造 3 副本挤 2 域(2/1),断言SatisfiesQuorum()为假——对应「副本集中同 zone,单 zone 宕机即失多数派」。TestQuorumTwoZoneEdge:构造 2 副本分 2 域(1/1),断言SatisfiesQuorum()为假——对应「两副本边缘场景,任一域失效低于 quorum」。
三个测试各 1 个断言,运行见 ok k8s-net-lab/stateful。这就是把「任意单故障域失效仍过多数派」这一条判定固化成最小可运行验证的样子——后续 8.2 分片、8.3 故障转移都在这个判定之上叠加。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。