《Kubernetes 分布式系统原理深入解析》14.3 故障注入如何验证各章一致性结论

本节把第 8 到 13 章的一致性推导拿到故障注入下验收:杀 Leader 不丢已提交数据、少数派写被拒、单点磁盘故障不破坏多数派、多数派失效只读降级。lab 用 chaos 包的 ReplicatedLog 类型与 6 个测试逐条验证 QuorumWritable、NoDataLoss 与 Uncommitted 不变量。

14.3 故障注入如何验证各章一致性结论

14.2 节把实验编排成了生产流程,但还差最后一环:实验的结论到底是什么。前几章推导了一堆一致性承诺——多数派可写、已提交不丢、少数派拒写——本节的职责是把它们拿到故障注入下逐条验收。lab 的 ReplicatedLog 类型提供了两个不变量函数,6 个测试覆盖 4 类故障场景,正好对应第 8、9、13 章的结论。

这一节会像做物理实验一样,把「假设 → 注入 → 观测 → 结论」走四遍:每个故障场景都先写清楚它要验证的承诺,再给出 lab 断言,最后把运行证据与推导结论对上。读完你应当能回答:故障注入到底证明了什么、没证明什么。

ReplicatedLog:一个可注入故障的多数派日志

ReplicatedLog 是这一节的最小实验台:它模拟一个多数派复制日志,Append(entry, acks) 只有拿到 ≥ quorum 的 ack 才推进 CommitIndex。围绕它定义了两个不变量函数,混沌实验的「检查」环节就落在这两个函数上:

不变量签名检验什么
QuorumWritable(reachable)reachable >= Quorum()故障期间写是否仍可用
NoDataLoss(newLeaderHas)newLeaderHas >= CommitIndex故障后已提交数据是否仍在

这两个不变量恰好是第 14.1 节「三类核心不变量」在代码里的落地:QuorumWritable 对应多数派可写与少数派拒写,NoDataLoss 对应已提交数据不丢。lab 的实验台刻意只留这两个函数,是因为所有故障场景最终都归结为「写可用性」与「已提交持久性」两个维度——其余承诺都可以由这两者组合推出。

一次混沌实验在这张实验台上的执行是标准化的:先 Append 写入并提交,再注入故障(模拟杀掉节点、分区、磁盘故障),最后用两个不变量函数检查系统状态。不变量成立则实验通过,成立不了就说明推导或实现有破绽。

杀 Leader:已提交数据不丢

第一个场景对应第 13.1 节的 fencing 结论。实验过程:3 节点日志提交两条 k1、k2(各 3 票),然后「杀死 Leader」,新 Leader 从多数派恢复。NoDataLoss(2) 断言新 Leader 至少保留 2 条已提交条目:

  • 已提交的 k1、k2 在多数派上各自有 3 份,杀 Leader 只带走 Leader 自己那份,多数派仍有副本;
  • 新 Leader 必然从多数派选任,而多数派持有全部已提交条目——已提交数据不丢不是「运气」,是多数派复制的结构保证。

对照第 9.3 节 etcd 备份恢复:备份在多数派之外,故障恢复靠多数派自身回放,两者的共同前提都是「已提交数据在多数派上冗余」。

少数派写不提交:未提交条目可能丢

第二个场景精确对应第 13.1 节「少数派被拒写」。实验:3 节点日志先提交 c1(3 票),再写入 c2 但只有 Leader 自己 1 票——acks=1 < quorum 2,Append 返回 false,CommitIndex 停在 1。两个断言值得拆解:

断言结果含义
Append("c2", 1) 返回 falsec2 未提交少数派写不被承认
Committed()==1只有 c1 提交未提交条目不计入承诺
NoDataLoss(1)新 Leader 至少 1 条已提交 c1 不丢

关键在第二、三行的组合:未提交的 c2 允许丢失,已提交的 c1 必须保留。这正是复制日志的一致性边界——「已提交」是承诺的及格线,「未提交」不承诺。混沌实验验证的不是「系统不丢任何数据」,而是「不丢已提交数据」这一条明确边界;把未提交当承诺才是灾难。

网络分区:少数派写被拒、多数派可写

第三个场景直接复现第 13.1 节的五节点分区。TestNetworkPartitionRejectsMinorityWrites 用 5 成员日志(quorum=3)断言两个方向:

  • QuorumWritable(2) 为 false——分区后少数派只剩 2 个成员可达,写不可用;
  • QuorumWritable(3) 为 true——多数派 3 个成员可达,写可用。

这组断言验证了「少数派拒写、多数派可写」在运行证据层面的成立。注意它与理论推导的对应:理论说 CanCommit = 组内成员数 ≥ quorum,实验把 reachable 当「组内成员数」,QuorumWritable 就是 CanCommit 的复制日志版本。故障注入没有发明新结论,只是给已有结论补上了运行时证据。

把它和第 13.1 节的 TestMinorityCannotCommit 对照读:那个测试断言的是 5 节点里 {1,2} 不能提交、{3,4,5} 能提交;本节这个测试断言的是同样的成员数比例在日志复制上的可写性。两处结论同构,验证对象不同——这正是「同一套仲裁逻辑在多个层面重复兑现」的例证。

单点磁盘故障:不破坏多数派

第四个场景对应第 9 章的持久化主题。3 节点日志提交 d1(3 票),然后模拟「1 个节点磁盘故障」——剩 2 个成员可达:

不变量参数断言
QuorumWritable(2)2 ≥ quorum 2true,写仍可用
NoDataLoss(1)1 ≥ CommitIndex 1true,已提交数据仍在

单点磁盘故障不破坏多数派,是这个场景要验证的结论。它的工程对应是:第 9 章讨论过「云盘 vs 分布式存储」的持久化承诺,单节点磁盘坏了,只要多数派上还有完整日志,写入不受影响、已提交数据可恢复——这正是「多数派冗余」对持久化的保护。混沌实验把它从「应该如此」变成「实测如此」。

多数派失效:只读降级

第五个场景是最坏情形,对应第 13.2 节「数据面失去多数派拒写」。3 节点日志提交 d1 后,模拟 2 个节点磁盘故障——只剩 1 个成员可达,1 < quorum 2:

不变量参数断言
QuorumWritable(1)1 < 2false,写被拒(只读降级)
NoDataLoss(1)1 ≥ 1true,已提交数据仍在

这组断言验证两个同时成立的结论:失去多数派时写必须被拒,但已提交数据必须仍在。只读降级不是「系统坏了」,而是「宁可不可写,也不丢已提交数据」——一致性承诺在可用性上的优先级,第 13.2 节的 Face 表已经推导过,这里用运行证据坐实。

一张表收拢:故障注入 ↔ 各章结论

把本节 6 个测试与全书结论对位,混沌工程的验证价值一目了然:

故障注入验证的结论出处
节点丢失(可达数变化)多数派可写、少数派拒写13.1、13.2
杀 Leader已提交数据不丢、未提交可丢13.1 fencing、9.3
网络分区少数派拒写、多数派可写13.1、13.2
单点磁盘故障多数派冗余保护持久化9.3、8.3
多数派磁盘失效只读降级、已提交不丢13.2、9.3

这些结论没有一条是新知识——它们全部来自第 8、9、13 章。混沌工程的全部意义在于:把「推导成立」升级成「在可控故障下仍然成立」。任何一条在实验中违背,都意味着要么代码有 bug,要么当初的推导假设(如多数派仲裁、fencing 生效)在实现里被悄悄削弱了。

从这个角度回看第 13 章的 lab:splitbrain 的 CanCommit 与 Fence 验证的是协议的判定逻辑,chaos 的 ReplicatedLog 验证的是同一套逻辑在日志复制上的落地——两个包共同构成「推导 → 协议实现 → 运行证据」的完整链条,这也是本节标题里「验证各章结论」的准确含义。

如何设计一次验证实验

把第 14.1 节的设计流程落到 14.3 节的实验台上,一次验证实验走四步:

步骤动作本例
1. 选承诺从各章结论里挑一条要验证的「已提交数据不丢」
2. 选故障挑最能挑战该承诺的故障杀 Leader
3. 定断言把承诺翻译成不变量函数调用NoDataLoss(2)
4. 跑实验先提交、再注入、后断言Append → 杀 Leader → 检查

这套流程的价值在于可组合:同一张实验台,换承诺、换故障、换断言参数,就能覆盖第 8、9、13 章的所有结论。lab 的 6 个测试就是这四步流水线的 6 次实例化——它们共用 ReplicatedLog,差异只在「先写什么、注入什么、断言什么」。

故障注入与 CI 回归测试的异同

混沌实验常被拿来和单元测试类比,两者的关系值得说清:

维度CI 回归测试故障注入验证
输入固定的输入与期望故障 + 不变量
对象函数/模块行为系统级一致性承诺
结论正确/错误承诺成立/被违背
失败含义代码有 bug推导假设或实现有破绽

单元测试验证「代码按预期工作」,故障注入验证「系统在故障下仍兑现承诺」。前者测的是确定性行为,后者测的是不确定环境下的不变量——所以两者互补而非替代:先有单元测试保证正常路径正确,再用故障注入保证故障路径的承诺成立。一致性系统尤其需要后者,因为多数派、fencing 这类承诺只在故障发生时才有机会被检验。

实验结论的读法:通过 ≠ 绝对正确

最后给「实验通过」一个精确的读法,避免过度解读。故障注入通过说明:

  • 被测的故障形态下,系统兑现了承诺;
  • 该承诺的推导假设(多数派、fencing 等)在实现里确实生效;
  • 这个结论对「被测的注入点、时长、时机」成立。

它不说明「系统绝不出问题」:没测的故障形态、没覆盖的时间窗、实现里未被触发的新 bug,都可能让它失效。故障注入补强的是置信度,不是保证——这也是为什么第 14.2 节的编排要把实验做成持续流程:单次通过只证明「那一刻成立」,持续通过才累积成「长期可信」。

三个常见误解

  • 「故障注入要证明系统不丢任何数据」——错误。一致性承诺的边界是「已提交数据不丢」,未提交条目允许丢失;把承诺放宽或收窄都会得到错误结论。
  • 「多数派失效时系统应该继续可写才算高可用」——错误。失去多数派后写被拒(只读降级)是防数据撕裂的刻意设计,不是缺陷。
  • 「混沌实验通过 = 系统绝对正确」——错误。它只验证了「被测故障下不变量成立」,没有覆盖的故障形态与时间窗依然可能出问题;它补强的是置信度,不是绝对保证。

一句话总结本节

故障注入把第 8 到 13 章的一致性推导拿到运行证据下逐条验收:杀 Leader 不丢已提交数据、少数派写被拒且未提交条目允许丢、单点磁盘故障不破坏多数派、多数派失效只读降级但已提交数据仍在。推导给结论,注入给证据,ReplicatedLog 的不变量函数是两者的连接点。

至此,卷四从 Pod 网络一路讲到混沌工程:网络抽象、存储一致性、多集群联邦、脑裂与故障域、最后用故障注入给所有一致性结论收束。

本节 lab

本节的六个测试落在 chaos 包的 ReplicatedLog 类型上,逐条验证「多数派可写、已提交不丢、未提交可丢、只读降级」四类一致性边界:

cd private/labs/k8s-net-lab
go test ./chaos -run TestQuorumWritabilityUnderNodeLoss -v
go test ./chaos -run TestCommittedNoDataLossAfterKillLeader -v
go test ./chaos -run TestUncommittedMayBeLost -v
go test ./chaos -run TestNetworkPartitionRejectsMinorityWrites -v
go test ./chaos -run TestDiskFailureSingleNodeStillWritable -v
go test ./chaos -run TestDiskFailureMajorityLossReadOnly -v
  • TestQuorumWritabilityUnderNodeLoss:5 成员日志在可达数 5/4/3 时断言可写、2 时断言拒写——4 条断言,对应「多数派可写、少数派拒写」。
  • TestCommittedNoDataLossAfterKillLeader:3 节点提交两条后杀 Leader,断言已提交 2 条不丢——3 条断言,对应「杀 Leader 不丢已提交数据」。
  • TestUncommittedMayBeLost:断言 1 票的 c2 不提交、只提交 1 条、新 Leader 保留 1 条——4 条断言,对应「未提交允许丢、已提交必须留」。
  • TestNetworkPartitionRejectsMinorityWrites:5 成员分区后断言可达 2 拒写、可达 3 可写——2 条断言,对应「分区少数派拒写」。
  • TestDiskFailureSingleNodeStillWritable:3 节点单盘故障,断言写仍可用、已提交不丢——2 条断言,对应「单点磁盘故障不破坏多数派」。
  • TestDiskFailureMajorityLossReadOnly:3 节点两盘故障,断言写被拒、已提交数据仍在——2 条断言,对应「多数派失效只读降级」。

六个测试共 17 条断言,跑完见 ok k8s-net-lab/chaos。这就是「故障注入 → 不变量检查 → 结论成立」的一致性验证闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图