14.3 故障注入如何验证各章一致性结论
14.2 节把实验编排成了生产流程,但还差最后一环:实验的结论到底是什么。前几章推导了一堆一致性承诺——多数派可写、已提交不丢、少数派拒写——本节的职责是把它们拿到故障注入下逐条验收。lab 的 ReplicatedLog 类型提供了两个不变量函数,6 个测试覆盖 4 类故障场景,正好对应第 8、9、13 章的结论。
这一节会像做物理实验一样,把「假设 → 注入 → 观测 → 结论」走四遍:每个故障场景都先写清楚它要验证的承诺,再给出 lab 断言,最后把运行证据与推导结论对上。读完你应当能回答:故障注入到底证明了什么、没证明什么。
ReplicatedLog:一个可注入故障的多数派日志
ReplicatedLog 是这一节的最小实验台:它模拟一个多数派复制日志,Append(entry, acks) 只有拿到 ≥ quorum 的 ack 才推进 CommitIndex。围绕它定义了两个不变量函数,混沌实验的「检查」环节就落在这两个函数上:
| 不变量 | 签名 | 检验什么 |
|---|---|---|
QuorumWritable(reachable) | reachable >= Quorum() | 故障期间写是否仍可用 |
NoDataLoss(newLeaderHas) | newLeaderHas >= CommitIndex | 故障后已提交数据是否仍在 |
这两个不变量恰好是第 14.1 节「三类核心不变量」在代码里的落地:QuorumWritable 对应多数派可写与少数派拒写,NoDataLoss 对应已提交数据不丢。lab 的实验台刻意只留这两个函数,是因为所有故障场景最终都归结为「写可用性」与「已提交持久性」两个维度——其余承诺都可以由这两者组合推出。
一次混沌实验在这张实验台上的执行是标准化的:先 Append 写入并提交,再注入故障(模拟杀掉节点、分区、磁盘故障),最后用两个不变量函数检查系统状态。不变量成立则实验通过,成立不了就说明推导或实现有破绽。
杀 Leader:已提交数据不丢
第一个场景对应第 13.1 节的 fencing 结论。实验过程:3 节点日志提交两条 k1、k2(各 3 票),然后「杀死 Leader」,新 Leader 从多数派恢复。NoDataLoss(2) 断言新 Leader 至少保留 2 条已提交条目:
- 已提交的
k1、k2在多数派上各自有 3 份,杀 Leader 只带走 Leader 自己那份,多数派仍有副本; - 新 Leader 必然从多数派选任,而多数派持有全部已提交条目——已提交数据不丢不是「运气」,是多数派复制的结构保证。
对照第 9.3 节 etcd 备份恢复:备份在多数派之外,故障恢复靠多数派自身回放,两者的共同前提都是「已提交数据在多数派上冗余」。
少数派写不提交:未提交条目可能丢
第二个场景精确对应第 13.1 节「少数派被拒写」。实验:3 节点日志先提交 c1(3 票),再写入 c2 但只有 Leader 自己 1 票——acks=1 < quorum 2,Append 返回 false,CommitIndex 停在 1。两个断言值得拆解:
| 断言 | 结果 | 含义 |
|---|---|---|
Append("c2", 1) 返回 false | c2 未提交 | 少数派写不被承认 |
Committed()==1 | 只有 c1 提交 | 未提交条目不计入承诺 |
NoDataLoss(1) | 新 Leader 至少 1 条 | 已提交 c1 不丢 |
关键在第二、三行的组合:未提交的 c2 允许丢失,已提交的 c1 必须保留。这正是复制日志的一致性边界——「已提交」是承诺的及格线,「未提交」不承诺。混沌实验验证的不是「系统不丢任何数据」,而是「不丢已提交数据」这一条明确边界;把未提交当承诺才是灾难。
网络分区:少数派写被拒、多数派可写
第三个场景直接复现第 13.1 节的五节点分区。TestNetworkPartitionRejectsMinorityWrites 用 5 成员日志(quorum=3)断言两个方向:
QuorumWritable(2)为 false——分区后少数派只剩 2 个成员可达,写不可用;QuorumWritable(3)为 true——多数派 3 个成员可达,写可用。
这组断言验证了「少数派拒写、多数派可写」在运行证据层面的成立。注意它与理论推导的对应:理论说 CanCommit = 组内成员数 ≥ quorum,实验把 reachable 当「组内成员数」,QuorumWritable 就是 CanCommit 的复制日志版本。故障注入没有发明新结论,只是给已有结论补上了运行时证据。
把它和第 13.1 节的 TestMinorityCannotCommit 对照读:那个测试断言的是 5 节点里 {1,2} 不能提交、{3,4,5} 能提交;本节这个测试断言的是同样的成员数比例在日志复制上的可写性。两处结论同构,验证对象不同——这正是「同一套仲裁逻辑在多个层面重复兑现」的例证。
单点磁盘故障:不破坏多数派
第四个场景对应第 9 章的持久化主题。3 节点日志提交 d1(3 票),然后模拟「1 个节点磁盘故障」——剩 2 个成员可达:
| 不变量 | 参数 | 断言 |
|---|---|---|
QuorumWritable(2) | 2 ≥ quorum 2 | true,写仍可用 |
NoDataLoss(1) | 1 ≥ CommitIndex 1 | true,已提交数据仍在 |
单点磁盘故障不破坏多数派,是这个场景要验证的结论。它的工程对应是:第 9 章讨论过「云盘 vs 分布式存储」的持久化承诺,单节点磁盘坏了,只要多数派上还有完整日志,写入不受影响、已提交数据可恢复——这正是「多数派冗余」对持久化的保护。混沌实验把它从「应该如此」变成「实测如此」。
多数派失效:只读降级
第五个场景是最坏情形,对应第 13.2 节「数据面失去多数派拒写」。3 节点日志提交 d1 后,模拟 2 个节点磁盘故障——只剩 1 个成员可达,1 < quorum 2:
| 不变量 | 参数 | 断言 |
|---|---|---|
QuorumWritable(1) | 1 < 2 | false,写被拒(只读降级) |
NoDataLoss(1) | 1 ≥ 1 | true,已提交数据仍在 |
这组断言验证两个同时成立的结论:失去多数派时写必须被拒,但已提交数据必须仍在。只读降级不是「系统坏了」,而是「宁可不可写,也不丢已提交数据」——一致性承诺在可用性上的优先级,第 13.2 节的 Face 表已经推导过,这里用运行证据坐实。
一张表收拢:故障注入 ↔ 各章结论
把本节 6 个测试与全书结论对位,混沌工程的验证价值一目了然:
| 故障注入 | 验证的结论 | 出处 |
|---|---|---|
| 节点丢失(可达数变化) | 多数派可写、少数派拒写 | 13.1、13.2 |
| 杀 Leader | 已提交数据不丢、未提交可丢 | 13.1 fencing、9.3 |
| 网络分区 | 少数派拒写、多数派可写 | 13.1、13.2 |
| 单点磁盘故障 | 多数派冗余保护持久化 | 9.3、8.3 |
| 多数派磁盘失效 | 只读降级、已提交不丢 | 13.2、9.3 |
这些结论没有一条是新知识——它们全部来自第 8、9、13 章。混沌工程的全部意义在于:把「推导成立」升级成「在可控故障下仍然成立」。任何一条在实验中违背,都意味着要么代码有 bug,要么当初的推导假设(如多数派仲裁、fencing 生效)在实现里被悄悄削弱了。
从这个角度回看第 13 章的 lab:splitbrain 的 CanCommit 与 Fence 验证的是协议的判定逻辑,chaos 的 ReplicatedLog 验证的是同一套逻辑在日志复制上的落地——两个包共同构成「推导 → 协议实现 → 运行证据」的完整链条,这也是本节标题里「验证各章结论」的准确含义。
如何设计一次验证实验
把第 14.1 节的设计流程落到 14.3 节的实验台上,一次验证实验走四步:
| 步骤 | 动作 | 本例 |
|---|---|---|
| 1. 选承诺 | 从各章结论里挑一条要验证的 | 「已提交数据不丢」 |
| 2. 选故障 | 挑最能挑战该承诺的故障 | 杀 Leader |
| 3. 定断言 | 把承诺翻译成不变量函数调用 | NoDataLoss(2) |
| 4. 跑实验 | 先提交、再注入、后断言 | Append → 杀 Leader → 检查 |
这套流程的价值在于可组合:同一张实验台,换承诺、换故障、换断言参数,就能覆盖第 8、9、13 章的所有结论。lab 的 6 个测试就是这四步流水线的 6 次实例化——它们共用 ReplicatedLog,差异只在「先写什么、注入什么、断言什么」。
故障注入与 CI 回归测试的异同
混沌实验常被拿来和单元测试类比,两者的关系值得说清:
| 维度 | CI 回归测试 | 故障注入验证 |
|---|---|---|
| 输入 | 固定的输入与期望 | 故障 + 不变量 |
| 对象 | 函数/模块行为 | 系统级一致性承诺 |
| 结论 | 正确/错误 | 承诺成立/被违背 |
| 失败含义 | 代码有 bug | 推导假设或实现有破绽 |
单元测试验证「代码按预期工作」,故障注入验证「系统在故障下仍兑现承诺」。前者测的是确定性行为,后者测的是不确定环境下的不变量——所以两者互补而非替代:先有单元测试保证正常路径正确,再用故障注入保证故障路径的承诺成立。一致性系统尤其需要后者,因为多数派、fencing 这类承诺只在故障发生时才有机会被检验。
实验结论的读法:通过 ≠ 绝对正确
最后给「实验通过」一个精确的读法,避免过度解读。故障注入通过说明:
- 被测的故障形态下,系统兑现了承诺;
- 该承诺的推导假设(多数派、fencing 等)在实现里确实生效;
- 这个结论对「被测的注入点、时长、时机」成立。
它不说明「系统绝不出问题」:没测的故障形态、没覆盖的时间窗、实现里未被触发的新 bug,都可能让它失效。故障注入补强的是置信度,不是保证——这也是为什么第 14.2 节的编排要把实验做成持续流程:单次通过只证明「那一刻成立」,持续通过才累积成「长期可信」。
三个常见误解
- 「故障注入要证明系统不丢任何数据」——错误。一致性承诺的边界是「已提交数据不丢」,未提交条目允许丢失;把承诺放宽或收窄都会得到错误结论。
- 「多数派失效时系统应该继续可写才算高可用」——错误。失去多数派后写被拒(只读降级)是防数据撕裂的刻意设计,不是缺陷。
- 「混沌实验通过 = 系统绝对正确」——错误。它只验证了「被测故障下不变量成立」,没有覆盖的故障形态与时间窗依然可能出问题;它补强的是置信度,不是绝对保证。
一句话总结本节
故障注入把第 8 到 13 章的一致性推导拿到运行证据下逐条验收:杀 Leader 不丢已提交数据、少数派写被拒且未提交条目允许丢、单点磁盘故障不破坏多数派、多数派失效只读降级但已提交数据仍在。推导给结论,注入给证据,ReplicatedLog 的不变量函数是两者的连接点。
至此,卷四从 Pod 网络一路讲到混沌工程:网络抽象、存储一致性、多集群联邦、脑裂与故障域、最后用故障注入给所有一致性结论收束。
本节 lab
本节的六个测试落在 chaos 包的 ReplicatedLog 类型上,逐条验证「多数派可写、已提交不丢、未提交可丢、只读降级」四类一致性边界:
cd private/labs/k8s-net-lab
go test ./chaos -run TestQuorumWritabilityUnderNodeLoss -v
go test ./chaos -run TestCommittedNoDataLossAfterKillLeader -v
go test ./chaos -run TestUncommittedMayBeLost -v
go test ./chaos -run TestNetworkPartitionRejectsMinorityWrites -v
go test ./chaos -run TestDiskFailureSingleNodeStillWritable -v
go test ./chaos -run TestDiskFailureMajorityLossReadOnly -v
TestQuorumWritabilityUnderNodeLoss:5 成员日志在可达数 5/4/3 时断言可写、2 时断言拒写——4 条断言,对应「多数派可写、少数派拒写」。TestCommittedNoDataLossAfterKillLeader:3 节点提交两条后杀 Leader,断言已提交 2 条不丢——3 条断言,对应「杀 Leader 不丢已提交数据」。TestUncommittedMayBeLost:断言 1 票的c2不提交、只提交 1 条、新 Leader 保留 1 条——4 条断言,对应「未提交允许丢、已提交必须留」。TestNetworkPartitionRejectsMinorityWrites:5 成员分区后断言可达 2 拒写、可达 3 可写——2 条断言,对应「分区少数派拒写」。TestDiskFailureSingleNodeStillWritable:3 节点单盘故障,断言写仍可用、已提交不丢——2 条断言,对应「单点磁盘故障不破坏多数派」。TestDiskFailureMajorityLossReadOnly:3 节点两盘故障,断言写被拒、已提交数据仍在——2 条断言,对应「多数派失效只读降级」。
六个测试共 17 条断言,跑完见 ok k8s-net-lab/chaos。这就是「故障注入 → 不变量检查 → 结论成立」的一致性验证闭环。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。