《Kubernetes 分布式系统原理深入解析》13.3 故障域设计对一致性承诺的影响

故障域设计决定分区的结局:副本跨域分散时单域宕机仍留多数派,集中放置则单域宕机即全军覆没。本节用副本分布推导 Survives 判定,并对比分散、集中、跨两域三种放置策略对一致性承诺的影响。lab 用 splitbrain 包的 TestFaultDomainSpreading 验证三副本分散丢一区仍满足多数派、同域集中丢一域即失守。

13.3 故障域设计对一致性承诺的影响

13.2 节讲了分区的表现与恢复,但有一个问题它没有回答:**为什么有的集群分区后还剩多数派,有的直接整体拒写?**答案不在故障本身,而在部署时副本被摆在了哪里。本节把「摆在哪里」形式化——故障域设计,并用一个可判定的函数回答「这个放置能否扛住某几个域同时宕机」。

这一节会先定义故障域这个「独立失效单位」,再给出 Survives 判定的算式与换算表,最后把结论落到 etcd 与有状态应用的部署决策上——并顺带戳破「副本放得越多越安全」这个直觉误区。

故障域:副本放置的独立失效单位

故障域(fault domain)指一组共享同一个失效原因的资源集合。一台电源短路会让整机柜掉电,机架就是一个故障域;一个可用区断网会让其中所有节点失联,可用区是更大的故障域。域是嵌套的,Kubernetes 的 topology.kubernetes.io/zone、topology.kubernetes.io/region 标签就是给这种嵌套做的显式标注。

域层级失效原因示例K8s 里的标注
节点单机磁盘/网卡故障kubernetes.io/hostname
机架/交换整柜掉电、交换机宕机自定义 topologyKey
可用区机房断网、区域停电topology.kubernetes.io/zone
地域大区故障、光缆中断topology.kubernetes.io/region

副本越多、放置越散,越能扛住单点失效——但代价也越大。故障域设计的本质是回答一个问题:在「域」这个粒度上,我们愿意牺牲什么去换取「单域失效不破坏多数派」。

分散 vs 集中:单域宕机对多数派的影响

同是 3 副本,摆法不同,结局天差地别。lab 的 Placement 类型用 Domains 把副本分布记成「域 → 副本数」,Survives(lost, quorum) 则回答「同时丢失 lost 中的域后,剩余副本是否仍 ≥ quorum」:

spread := &Placement{Domains: map[string]int{"a": 1, "b": 1, "c": 1}} // 三副本分散
collapsed := &Placement{Domains: map[string]int{"a": 3}}             // 三副本同域
放置策略分布丢 1 个域后剩余quorum=2结论
分散(跨 3 区)a:1 b:1 c:122Survives,多数派仍在
集中(全放 a 区)a:302不 Survives,全军覆没
跨两域各半a:2 b:222丢一域 Survives,两域全丢不 Survives

集中放置的代价最直观:三副本放同一可用区,可用区一宕,集群同时失去 3 个副本——副本数 3 只是纸面冗余,真实冗余是 0。分散放置把「同时失效」的粒度从节点提升到可用区:只要一次故障不横跨两个可用区,多数派就安然无恙。

Survives 判定:把「冗余」算成「可同时丢失的域集合」

Survives 的计算值得拆开看,它比「副本数够不够」更准确:

func (p *Placement) Survives(lost []string, quorum int) bool {
	remaining := 0
	for d, n := range p.Domains {
		if d 不在 lost 中 {
			remaining += n
		}
	}
	return remaining >= quorum
}

它把冗余从「副本总数」重定义成「在 lost 这组域同时失效后仍够法定人数的性质」。这个重定义带来两个实用的换算:

  • 可容忍的域失效数 = 使 remaining ≥ quorum 的最大 |lost|。三副本分散跨三区,|lost| 最大为 1(丢 2 个区就只剩 1 副本);四副本跨两域各 2,|lost| 最大为 1(丢两域就清零)。
  • Survives 是 quorum 的函数。quorum 是成员数的函数,而成员数由副本数决定——所以「要放几个副本」与「要跨几个域」不能分开决策。

副本数与域数的匹配:5 副本该跨几区

最常见的设计失误是「副本数够了但域数不够」。用公式看:5 副本 quorum=3,若全部放 2 个可用区(3:2),丢其中任一区后剩余是 2 或 3——丢 3 副本那侧直接不 Survives。把副本与域的关系列成规划表:

副本总数quorum分散域数丢 1 域后剩余丢 2 域后剩余
323 区各 121
535 区各 143
533 区 2:2:13 或 21
743 区 3:2:24 或 52

读表的判据是「丢 1 域后剩余是否 ≥ quorum」。3 副本跨 3 区、5 副本跨 5 区都能满足;5 副本跨 3 区(2:2:1)丢 1 域后可能只剩 2 < quorum 3——这一行就是典型的「副本不少,但域数不够」的隐患。规划故障域时,判据不是「总副本数」,而是「最坏情况下一个域整体消失后剩多少」。

一个常被追问的例子:「5 副本为什么放 5 个域最好,放 3 个域就不行?」因为 quorum 只认成员数、不认域数,而「5 副本跨 3 区 2:2:1」的隐患正是第 13.1 节「可容忍同时故障 f」在域粒度上的重演:节点数(副本数)足够,可同时丢失的失效单位(域)不够,等价于把多数派冗余集中到了少数几个失效单位里。判据永远要落到「丢失一组域后剩余 ≥ quorum」,而不是「副本总数」。

反例:双机房 3+3 为什么反而更脆弱

上一节的等价变体里提到过「双机房各 3 节点、总 6 成员」:断成 3:3 时两侧都摸不到 quorum=4。这里把它放大到故障域设计来看,教训更完整:

部署总副本域分布断成结果
双机房各 36A:3 B:33:3两侧都 < quorum 4,整体拒写
三机房各 26A:2 B:2 C:22:2:2任何一侧都 < quorum 4,整体拒写
五机房 + 1 冗余65 区各 1 + 1 区多 13:33 侧刚好 = quorum 3?取决于切法

前两行说明一个直觉陷阱:「把副本平均分到少数几个大域」不等于分散。6 副本放 2 个域,等于把一次故障的范围从「1 个域」提升到「半数副本」——任何一域整体失效都直接伤及一半,而多数派只容得下 2 个副本消失。要扛「单域整体失效」,副本数必须大于「域数减一」乘某个安全因子,最稳妥的组合是每个域只放少量副本、域数多于副本半数。

跨地域 vs 同地域:延迟与承诺的交换

分散的收益是「单域失效不破坏多数派」,代价是跨域延迟。这组交换在「同地域多可用区」与「跨地域多机房」之间有质的不同:

维度同地域多可用区跨地域多机房
单域失效可扛是(可用区整体掉电)是(大区级故障)
写路径延迟可用区间 RTT(毫秒级)机房间 RTT(几十到几百毫秒)
每次写都要多数派确认3 副本跨 3 区,确认最快 2 跳每跳都是公网延迟,写变慢
典型适用常规生产集群容灾、联邦、双活(第 11 章)

多数派协议的一个特性放大了跨地域的代价:每次写都要等多数派 ack。把 3 副本放 3 个可用区,多数派确认可能只多一跳;放到 3 个城市,每次写都要等最慢的多数派成员返回,写吞吐直接受限于跨机房延迟。所以「跨地域故障域」很少用 3 副本多数派硬扛,而是交给第 9 章的异步复制、第 11 章的联邦最终一致——故障域设计要跟着「提交路径」选,不是单纯追求分散。

拓扑约束:把故障域写进调度

故障域设计不能停留在部署文档里,Kubernetes 提供了两个把它写进调度器的机制(第 8.1 节已经讲过 quorum 类拓扑约束,这里补上它与 Survives 的关系):

机制表达什么与 Survives 的关系
topologySpreadConstraints副本应尽量跨 topologyKey 分布让 Domains 的分布更均匀,减小 lost 打击面
podAntiAffinity同一组副本不要放同一域直接防止「集中放置」
nodeSelector / 污点只放到满足条件的节点限定故障域范围,同时引入单域风险

用第 8.1 节的拓扑约束把「跨 3 区各 1 副本」表达出来,等价于预先声明 Domains = {a:1, b:1, c:1}——调度器负责把它变成现实。手写的故障域是规划,调度器执行的故障域才是现实:若约束配错(例如只配了反亲和但没配跨区),Domains 可能退化成单域集中,Survives 判据立刻变脆。

从 etcd 到有状态应用:同一套 Survives 语言

故障域设计不只属于 etcd,第 8.1 节的拓扑约束(PodTopologySpread)、第 8.3 节有状态应用的跨节点复制,用的都是同一套「分布 → 多数派」换算:

系统域的选择quorum 由谁决定Survives 判据
etcd 控制面可用区/机架成员数丢 1 域后成员 ≥ quorum
有状态应用副本节点/可用区应用自身复制组丢 1 域后副本 ≥ quorum
跨地域联邦成员(第 11 章)地域无 quorum(联邦靠最终一致)不适用,换可用性判据

注意最后一行:不是所有系统都要满足 quorum。联邦控制面第 11 章用的是最终一致,它没有「多数派」概念,故障域设计的判据就从「Survives」换成「至少一个成员存活、收敛继续」。选择判据之前,先确认系统是否真的有 quorum。

故障域的运维账本

故障域设计在交付后不是一劳永逸,节点搬迁、可用区增删都会悄悄改变 Domains。把它当运维账本定期核对:

检查项周期判据
副本实际落在哪些域每次扩缩容后与规划 Domains 一致
单域副本数是否越界每周丢任一域后剩余仍 ≥ quorum
拓扑约束是否生效每次新增工作负载约束没被「无可用节点」绕过
域的失效假设是否仍成立每季度可用区布局/机房拓扑没变

「无可用节点」是常被忽略的绕过路径:topologySpreadConstraints 要求跨 3 区,但某可用区节点池缩容后调度器发现放不下,会放宽约束把副本堆到 2 个区——约束被放宽的那一刻,Survives 判据已经悄悄失效。故障域账本的作用就是定期把它抓回来。

三个常见误解

  • 「副本数多就自动抗单域故障」——错误。副本全放一个域,单域故障一次带走全部副本,纸面冗余不等于真实冗余。
  • 「跨域部署越平均越好」——错误。双机房 3:3 平均分布恰恰是最脆弱的切法,断成 3:3 时两侧都不足多数派;域数太少时「平均」等于「把鸡蛋分进两个篮子」。
  • 「故障域只关系 etcd 控制面,业务应用不用管」——错误。任何有多数派复制机制的状态服务都适用同一套 Survives 判据;无 quorum 的系统(如联邦)才需要换判据。

一句话总结本节

故障域设计把「副本放在哪里」重定义成「同时丢失哪些域后仍够多数派」:副本跨域分散时单域宕机留下足够副本、集中放置时单域宕机即失守,判据用 Survives(lost, quorum) 显式给出。分散换的是「单域失效不破坏多数派」,代价是跨域延迟与运维复杂度——这个交换要在部署前算清楚,而不是故障后后悔。

下一章从「被动承受故障」转向「主动制造故障」:混沌工程如何在生产里持续验证这些一致性承诺真的成立。

本节 lab

本节的测试落在 splitbrain 包的 Placement 类型上,验证「分散 vs 集中 vs 跨两域的 Survives 判定」:

cd private/labs/k8s-net-lab
go test ./splitbrain -run TestFaultDomainSpreading -v
  • 分散三区 a:1 b:1 c:1:断言丢 a 区后仍满足 quorum=2——对应「分散放置单域宕机多数派仍在」。
  • 同域集中 a:3:断言丢 a 区后不满足多数派——对应「集中放置单域宕机即失守」。
  • 跨两域 a:2 b:2:断言丢 a 区后仍满足 quorum=2、丢 a 与 b 两区后不满足——对应「域数足够时单域可扛、全域皆失则不可」。
  • 共 4 条断言,跑完见 ok k8s-net-lab/splitbrain。这就是「分散 / 集中 / 跨两域」三种放置策略的 Survives 最小闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图