13.3 故障域设计对一致性承诺的影响
13.2 节讲了分区的表现与恢复,但有一个问题它没有回答:**为什么有的集群分区后还剩多数派,有的直接整体拒写?**答案不在故障本身,而在部署时副本被摆在了哪里。本节把「摆在哪里」形式化——故障域设计,并用一个可判定的函数回答「这个放置能否扛住某几个域同时宕机」。
这一节会先定义故障域这个「独立失效单位」,再给出 Survives 判定的算式与换算表,最后把结论落到 etcd 与有状态应用的部署决策上——并顺带戳破「副本放得越多越安全」这个直觉误区。
故障域:副本放置的独立失效单位
故障域(fault domain)指一组共享同一个失效原因的资源集合。一台电源短路会让整机柜掉电,机架就是一个故障域;一个可用区断网会让其中所有节点失联,可用区是更大的故障域。域是嵌套的,Kubernetes 的 topology.kubernetes.io/zone、topology.kubernetes.io/region 标签就是给这种嵌套做的显式标注。
| 域层级 | 失效原因示例 | K8s 里的标注 |
|---|---|---|
| 节点 | 单机磁盘/网卡故障 | kubernetes.io/hostname |
| 机架/交换 | 整柜掉电、交换机宕机 | 自定义 topologyKey |
| 可用区 | 机房断网、区域停电 | topology.kubernetes.io/zone |
| 地域 | 大区故障、光缆中断 | topology.kubernetes.io/region |
副本越多、放置越散,越能扛住单点失效——但代价也越大。故障域设计的本质是回答一个问题:在「域」这个粒度上,我们愿意牺牲什么去换取「单域失效不破坏多数派」。
分散 vs 集中:单域宕机对多数派的影响
同是 3 副本,摆法不同,结局天差地别。lab 的 Placement 类型用 Domains 把副本分布记成「域 → 副本数」,Survives(lost, quorum) 则回答「同时丢失 lost 中的域后,剩余副本是否仍 ≥ quorum」:
spread := &Placement{Domains: map[string]int{"a": 1, "b": 1, "c": 1}} // 三副本分散
collapsed := &Placement{Domains: map[string]int{"a": 3}} // 三副本同域
| 放置策略 | 分布 | 丢 1 个域后剩余 | quorum=2 | 结论 |
|---|---|---|---|---|
| 分散(跨 3 区) | a:1 b:1 c:1 | 2 | 2 | Survives,多数派仍在 |
| 集中(全放 a 区) | a:3 | 0 | 2 | 不 Survives,全军覆没 |
| 跨两域各半 | a:2 b:2 | 2 | 2 | 丢一域 Survives,两域全丢不 Survives |
集中放置的代价最直观:三副本放同一可用区,可用区一宕,集群同时失去 3 个副本——副本数 3 只是纸面冗余,真实冗余是 0。分散放置把「同时失效」的粒度从节点提升到可用区:只要一次故障不横跨两个可用区,多数派就安然无恙。
Survives 判定:把「冗余」算成「可同时丢失的域集合」
Survives 的计算值得拆开看,它比「副本数够不够」更准确:
func (p *Placement) Survives(lost []string, quorum int) bool {
remaining := 0
for d, n := range p.Domains {
if d 不在 lost 中 {
remaining += n
}
}
return remaining >= quorum
}
它把冗余从「副本总数」重定义成「在 lost 这组域同时失效后仍够法定人数的性质」。这个重定义带来两个实用的换算:
- 可容忍的域失效数 = 使 remaining ≥ quorum 的最大 |lost|。三副本分散跨三区,
|lost|最大为 1(丢 2 个区就只剩 1 副本);四副本跨两域各 2,|lost|最大为 1(丢两域就清零)。 - Survives 是 quorum 的函数。quorum 是成员数的函数,而成员数由副本数决定——所以「要放几个副本」与「要跨几个域」不能分开决策。
副本数与域数的匹配:5 副本该跨几区
最常见的设计失误是「副本数够了但域数不够」。用公式看:5 副本 quorum=3,若全部放 2 个可用区(3:2),丢其中任一区后剩余是 2 或 3——丢 3 副本那侧直接不 Survives。把副本与域的关系列成规划表:
| 副本总数 | quorum | 分散域数 | 丢 1 域后剩余 | 丢 2 域后剩余 |
|---|---|---|---|---|
| 3 | 2 | 3 区各 1 | 2 | 1 |
| 5 | 3 | 5 区各 1 | 4 | 3 |
| 5 | 3 | 3 区 2:2:1 | 3 或 2 | 1 |
| 7 | 4 | 3 区 3:2:2 | 4 或 5 | 2 |
读表的判据是「丢 1 域后剩余是否 ≥ quorum」。3 副本跨 3 区、5 副本跨 5 区都能满足;5 副本跨 3 区(2:2:1)丢 1 域后可能只剩 2 < quorum 3——这一行就是典型的「副本不少,但域数不够」的隐患。规划故障域时,判据不是「总副本数」,而是「最坏情况下一个域整体消失后剩多少」。
一个常被追问的例子:「5 副本为什么放 5 个域最好,放 3 个域就不行?」因为 quorum 只认成员数、不认域数,而「5 副本跨 3 区 2:2:1」的隐患正是第 13.1 节「可容忍同时故障 f」在域粒度上的重演:节点数(副本数)足够,可同时丢失的失效单位(域)不够,等价于把多数派冗余集中到了少数几个失效单位里。判据永远要落到「丢失一组域后剩余 ≥ quorum」,而不是「副本总数」。
反例:双机房 3+3 为什么反而更脆弱
上一节的等价变体里提到过「双机房各 3 节点、总 6 成员」:断成 3:3 时两侧都摸不到 quorum=4。这里把它放大到故障域设计来看,教训更完整:
| 部署 | 总副本 | 域分布 | 断成 | 结果 |
|---|---|---|---|---|
| 双机房各 3 | 6 | A:3 B:3 | 3:3 | 两侧都 < quorum 4,整体拒写 |
| 三机房各 2 | 6 | A:2 B:2 C:2 | 2:2:2 | 任何一侧都 < quorum 4,整体拒写 |
| 五机房 + 1 冗余 | 6 | 5 区各 1 + 1 区多 1 | 3:3 | 3 侧刚好 = quorum 3?取决于切法 |
前两行说明一个直觉陷阱:「把副本平均分到少数几个大域」不等于分散。6 副本放 2 个域,等于把一次故障的范围从「1 个域」提升到「半数副本」——任何一域整体失效都直接伤及一半,而多数派只容得下 2 个副本消失。要扛「单域整体失效」,副本数必须大于「域数减一」乘某个安全因子,最稳妥的组合是每个域只放少量副本、域数多于副本半数。
跨地域 vs 同地域:延迟与承诺的交换
分散的收益是「单域失效不破坏多数派」,代价是跨域延迟。这组交换在「同地域多可用区」与「跨地域多机房」之间有质的不同:
| 维度 | 同地域多可用区 | 跨地域多机房 |
|---|---|---|
| 单域失效可扛 | 是(可用区整体掉电) | 是(大区级故障) |
| 写路径延迟 | 可用区间 RTT(毫秒级) | 机房间 RTT(几十到几百毫秒) |
| 每次写都要多数派确认 | 3 副本跨 3 区,确认最快 2 跳 | 每跳都是公网延迟,写变慢 |
| 典型适用 | 常规生产集群 | 容灾、联邦、双活(第 11 章) |
多数派协议的一个特性放大了跨地域的代价:每次写都要等多数派 ack。把 3 副本放 3 个可用区,多数派确认可能只多一跳;放到 3 个城市,每次写都要等最慢的多数派成员返回,写吞吐直接受限于跨机房延迟。所以「跨地域故障域」很少用 3 副本多数派硬扛,而是交给第 9 章的异步复制、第 11 章的联邦最终一致——故障域设计要跟着「提交路径」选,不是单纯追求分散。
拓扑约束:把故障域写进调度
故障域设计不能停留在部署文档里,Kubernetes 提供了两个把它写进调度器的机制(第 8.1 节已经讲过 quorum 类拓扑约束,这里补上它与 Survives 的关系):
| 机制 | 表达什么 | 与 Survives 的关系 |
|---|---|---|
topologySpreadConstraints | 副本应尽量跨 topologyKey 分布 | 让 Domains 的分布更均匀,减小 lost 打击面 |
podAntiAffinity | 同一组副本不要放同一域 | 直接防止「集中放置」 |
nodeSelector / 污点 | 只放到满足条件的节点 | 限定故障域范围,同时引入单域风险 |
用第 8.1 节的拓扑约束把「跨 3 区各 1 副本」表达出来,等价于预先声明 Domains = {a:1, b:1, c:1}——调度器负责把它变成现实。手写的故障域是规划,调度器执行的故障域才是现实:若约束配错(例如只配了反亲和但没配跨区),Domains 可能退化成单域集中,Survives 判据立刻变脆。
从 etcd 到有状态应用:同一套 Survives 语言
故障域设计不只属于 etcd,第 8.1 节的拓扑约束(PodTopologySpread)、第 8.3 节有状态应用的跨节点复制,用的都是同一套「分布 → 多数派」换算:
| 系统 | 域的选择 | quorum 由谁决定 | Survives 判据 |
|---|---|---|---|
| etcd 控制面 | 可用区/机架 | 成员数 | 丢 1 域后成员 ≥ quorum |
| 有状态应用副本 | 节点/可用区 | 应用自身复制组 | 丢 1 域后副本 ≥ quorum |
| 跨地域联邦成员(第 11 章) | 地域 | 无 quorum(联邦靠最终一致) | 不适用,换可用性判据 |
注意最后一行:不是所有系统都要满足 quorum。联邦控制面第 11 章用的是最终一致,它没有「多数派」概念,故障域设计的判据就从「Survives」换成「至少一个成员存活、收敛继续」。选择判据之前,先确认系统是否真的有 quorum。
故障域的运维账本
故障域设计在交付后不是一劳永逸,节点搬迁、可用区增删都会悄悄改变 Domains。把它当运维账本定期核对:
| 检查项 | 周期 | 判据 |
|---|---|---|
| 副本实际落在哪些域 | 每次扩缩容后 | 与规划 Domains 一致 |
| 单域副本数是否越界 | 每周 | 丢任一域后剩余仍 ≥ quorum |
| 拓扑约束是否生效 | 每次新增工作负载 | 约束没被「无可用节点」绕过 |
| 域的失效假设是否仍成立 | 每季度 | 可用区布局/机房拓扑没变 |
「无可用节点」是常被忽略的绕过路径:topologySpreadConstraints 要求跨 3 区,但某可用区节点池缩容后调度器发现放不下,会放宽约束把副本堆到 2 个区——约束被放宽的那一刻,Survives 判据已经悄悄失效。故障域账本的作用就是定期把它抓回来。
三个常见误解
- 「副本数多就自动抗单域故障」——错误。副本全放一个域,单域故障一次带走全部副本,纸面冗余不等于真实冗余。
- 「跨域部署越平均越好」——错误。双机房 3:3 平均分布恰恰是最脆弱的切法,断成 3:3 时两侧都不足多数派;域数太少时「平均」等于「把鸡蛋分进两个篮子」。
- 「故障域只关系 etcd 控制面,业务应用不用管」——错误。任何有多数派复制机制的状态服务都适用同一套 Survives 判据;无 quorum 的系统(如联邦)才需要换判据。
一句话总结本节
故障域设计把「副本放在哪里」重定义成「同时丢失哪些域后仍够多数派」:副本跨域分散时单域宕机留下足够副本、集中放置时单域宕机即失守,判据用 Survives(lost, quorum) 显式给出。分散换的是「单域失效不破坏多数派」,代价是跨域延迟与运维复杂度——这个交换要在部署前算清楚,而不是故障后后悔。
下一章从「被动承受故障」转向「主动制造故障」:混沌工程如何在生产里持续验证这些一致性承诺真的成立。
本节 lab
本节的测试落在 splitbrain 包的 Placement 类型上,验证「分散 vs 集中 vs 跨两域的 Survives 判定」:
cd private/labs/k8s-net-lab
go test ./splitbrain -run TestFaultDomainSpreading -v
- 分散三区
a:1 b:1 c:1:断言丢a区后仍满足 quorum=2——对应「分散放置单域宕机多数派仍在」。 - 同域集中
a:3:断言丢a区后不满足多数派——对应「集中放置单域宕机即失守」。 - 跨两域
a:2 b:2:断言丢a区后仍满足 quorum=2、丢a与b两区后不满足——对应「域数足够时单域可扛、全域皆失则不可」。 - 共 4 条断言,跑完见
ok k8s-net-lab/splitbrain。这就是「分散 / 集中 / 跨两域」三种放置策略的 Survives 最小闭环。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。