14.2 Chaos Mesh 架构与实验编排
14.1 节把一次混沌实验定义成「注入→观察→恢复」的生命周期,但生产环境不会只跑一个实验:可能同时挂着「每周一次的磁盘故障演练」与「发版前的杀 Leader 演练」。谁来排队、谁决定注入顺序、谁保证两个实验不会互相踩踏?本节拆解编排器——它在 lab 里叫 MeshController,生产形态就是 Chaos Mesh 的 controller。
编排器要回答的核心问题只有一个:让每个实验都在受控的时刻注入、在受控的时长后退出,并且任何时刻都能说清「现在谁在被注入」。回答它需要三个部件:队列、注入器、状态记账。
Chaos Mesh 的 CRD 与控制器形态
生产 Chaos Mesh 不是一段脚本,而是建立在 Kubernetes 自身机制上的控制器。它的核心对象是一个 CRD——ChaosExperiment——而 lab 的 MeshController 正是这个 CRD 控制器的微缩版:
| 组件 | lab 对应 | 生产对应 |
|---|---|---|
| 实验声明 | Experiment 结构体 | ChaosExperiment CRD |
| 控制器循环 | Step(now) | controller 的 reconcile |
| 注入执行 | Daemon.Inject | chaos-daemon(DaemonSet) |
| 状态记账 | Injected map | CRD 的 .Status 字段 |
为什么把实验做成 CRD 而非脚本?因为 CRD 让混沌实验声明式、可审计、可回滚:声明是对象、状态是字段、控制器负责把声明推向状态。这和第 10 章联邦把资源做成总表、第 8 章 Operator 把分片做成 CRD 是同一个设计取向——分布式系统的运维动作,凡是值得重复执行的,都值得变成声明式对象。
编排器:把「一次实验」变成「实验队列」
Chaos Mesh 是 Kubernetes 上的控制器,它的核心是把混沌实验声明成 CRD 对象,再由一个控制器循环驱动。lab 的 MeshController 是这个控制器的骨架,它持有三样东西:
| 状态 | 作用 | 生产对应 |
|---|---|---|
Queue | 待执行/已执行的实验列表 | ChaosExperiment CRD 列表 |
Daemon | 注入执行器(上一节) | chaos-daemon 侧车容器 |
Injected | 每个实验是否已注入的记账 | 实验状态字段(.Status) |
关键分工在 Queue 与 Injected 之间:队列决定「有哪些实验」,记账决定「哪些已注入」。Step(now) 每推进一步,就遍历队列、把还没注入的实验注入掉、再统计当前仍处于注入期的数量。这与第 10.3 节联邦调谐循环的形状一致——每轮从现状重算,不记忆上一轮结果。
串行注入:避免两个实验同时命中同一目标
MeshController 最值得解释的设计是它不为并发优化。Step 对队列做的是顺序遍历,任何时刻允许的注入是「所有已入队但未注入的实验全部注入」,而到期判定各自独立。为什么刻意不做并发调度?
| 方案 | 行为 | 风险 |
|---|---|---|
| 串行注入(本实现) | 逐个入队、逐个到期 | 两个实验可能短暂重叠,但目标可预判 |
| 并发注入多个实验 | 同时注入多个故障 | 两故障叠加,无法归因不变量违背来自哪个实验 |
混沌实验的结论必须可归因:如果「杀 Leader」与「断分区」同时生效,不变量违背了,你无法说是谁的错。编排器宁可让实验重叠窗口可算,也要保住结论可归因。这也是生产 Chaos Mesh 里「两个实验声明同一目标」会被拒绝或排队的原因——不是技术做不到并发,而是混沌工程的方法论要求「一次只变一个变量」。
实验优先级与队列调度
Step 的遍历是「全部未注入的都要注入」,但真实 Chaos Mesh 里实验队列需要优先级——不是所有实验都想同一时刻生效:
| 优先级 | 实验类型 | 例子 |
|---|---|---|
| 低 | 周期性演练 | 每周磁盘故障演练 |
| 中 | 发版关联 | 每次发版前跑杀 Leader |
| 高 | 事故复盘复现 | 复现线上故障的注入 |
优先级影响两件事:入队顺序(高优先实验先注入)与重叠策略(高优先实验可以打断或等待低优先实验)。但无论优先级怎么排,「一次只验证一个变量」的原则不破——lab 用串行遍历保证这一点,生产实现则在声明阶段就拒绝「同一目标同时挂两个实验」。队列的本质是把「什么时候做哪个实验」从人肉记忆变成显式调度。
注入 → 验证 → 恢复:编排的三阶段
Chaos Mesh 把一个实验的生命周期拆成三个阶段,lab 的 Step + Current 是它的最小实现:
| 阶段 | 行为 | lab 对应 | 生产实例 |
|---|---|---|---|
| 注入 | 实验从队列进入注入期 | Step 里 Inject + Injected=true | chaos-daemon 注入故障 |
| 验证 | 检查实验是否仍在注入期 | Daemon.Running | 检查器探测不变量 |
| 恢复 | 到期自动退出,实验结束 | Running 过期即 delete | 故障自动解除 |
Step 的返回值「当前处于注入期的实验数」就是编排器对上层暴露的健康度:非零表示还有故障在生效,零表示队列清空、系统回到无故障基线。配合 Current(now) 返回具体是哪些实验在注入,运维能实时看到「此刻谁正在被注入」。
以两个实验 a(Duration=100)、b(Duration=200)为例,时间线很清晰:
now=1000:Step注入 a 与 b,Step返回 2;now=1050:Current返回 a、b 两个——都还在注入期;now=1150:a 已过 100 期、自动清理,Current只返回 b——到期自动恢复不是外部任务,是每次检查顺带完成的。
这段时间线也说明编排器对「故障叠加」的态度:a 与 b 在 1000–1100 之间重叠,但两者目标不同、时长不同,重叠窗口是确定的,实验报告里可以明确区分「a 覆盖期」与「b 覆盖期」。
验证阶段:注入成功不代表实验成功
编排的「验证」阶段容易和「注入」混为一谈,需要单独拎出来。注入成功只代表「故障生效了」,验证才回答「承诺有没有被违背」:
| 阶段 | 问的问题 | 失败的含义 |
|---|---|---|
| 注入 | 故障生效了吗 | 注入失败,实验无效 |
| 验证 | 不变量还成立吗 | 系统违背承诺,结论为「失败」 |
| 恢复 | 故障清除了吗 | 残留故障,实验本身变成事故 |
lab 里没有单独的验证器——Step 的职责是推进实验状态,不变量检查由第 14.3 节的检查器担任。这种职责分离在工程上是刻意的:编排器管「实验进行到哪一步」,检查器管「系统有没有违背承诺」,两者耦合会导致「实验没跑好」与「系统真坏了」分不清。
幂等与声明式:为什么 Step 可以反复调用
Step 能被反复调用且结果稳定,靠的是 Injected 记账:已注入的实验不会重复注入(if !mc.Injected[e.Name] 拦住),已过期的实验由 Running 自动移出。这个形状与第 10.3 节调谐循环、第 13.2 节租约到期如出一辙——「已处理」用状态记住,重复调用只是再检查一遍,不是再执行一遍。
生产 Chaos Mesh 同样依赖幂等:controller 的 reconcile 循环每秒都可能触发,如果 Step 不幂等,同样的实验会被重复注入几十次。Injected 记账是「实验状态机」的核心,它把「执行动作」与「记录状态」分开——这也是所有 Kubernetes 控制器通用的形态。
把这个形态再往前推一步:只要 Injected 是持久化的状态而非内存标记,控制器重启后实验也能从中断处继续——这也是为什么生产实现把实验状态放进 CRD 的 .Status 而不是进程内 map:状态外置,控制器可重启,实验不重放。
编排的失败处理:实验注入失败怎么办
编排器还得分清三种失败,lab 没有为它们建类型,但工程上必须处理:
| 失败形态 | 表现 | 处理 |
|---|---|---|
| 注入失败 | Daemon 返回错误 | 实验置失败状态,不进入注入期,不污染 Injected |
| 目标不存在 | Target 指向已删除对象 | 校验目标存在再注入,否则跳过并告警 |
| 恢复失败 | 到期后故障未清除 | 告警并重试清理,视为「残留故障」事故 |
前两类可以用「先校验后注入」规避,第三类最危险——故障到期没有自动恢复,相当于混沌实验变成了真实事故。生产 Chaos Mesh 对残留故障有额外的补偿动作(强制清理、人工介入),lab 里 Running 的 delete 是理想化的「到期即恢复」,真实实现还要加一层「恢复动作执行与确认」。
这三类失败都可以靠「先校验后注入」与「到期必确认」两条纪律收敛:前者把「目标不存在」与「注入失败」拦在注入之前,后者把「恢复失败」变成可告警的显式状态。编排器的正确性指标不是「实验跑得多快」,而是「失败都能归位」——注入失败进失败状态,残留故障进事故流程,而不是糊在「实验进行中」。
编排时间线示例
把 14.2 节的机制缝合成一次双实验的编排时间线:
| 时刻 | 事件 | Current | Step 返回值 |
|---|---|---|---|
| T0 | 入队 a(时长 100)、b(时长 200) | [] | — |
| T1 | Step(1000):注入 a、b | [a, b] | 2 |
| T2 | Step(1050):都仍在注入期 | [a, b] | 2 |
| T3 | Step(1150):a 到期自动清理 | [b] | 1 |
| T4 | Step(1200):b 到期 | [] | 0 |
这张时间线演示了「到期自动恢复」不是一条额外的清理命令,而是 Running 探测时顺带的 delete。Step 返回 0 是编排器的稳定态判据——所有实验退出注入期,系统回到无故障基线。对照第 10.3 节联邦调谐的「待处理归零」,两者都把「非零值」当作「还有欠账」的显式记账。
多命名空间与多集群编排
单个集群内的实验编排是基础,生产 Chaos Mesh 还要处理两个放大维度:
| 维度 | 问题 | 编排策略 |
|---|---|---|
| 多命名空间 | 同名实验可能撞车 | 按命名空间隔离实验队列 |
| 多集群 | 同一故障要在不同集群验证 | 每集群一个控制器实例,独立队列 |
多集群编排与第 11 章的联系很直接:联邦把资源分布到多个集群,混沌实验则要在每个集群单独验证一致性承诺——跨集群的承诺(第 11 章的最终一致)无法用单个集群的实验验证,必须在多集群编排层面单独设计。lab 的 MeshController 是单集群模型,放大到多集群时,「每集群一个 Step」的编排是保留局部归因能力的关键:任何不变量违背都能定位到具体集群。
三个常见误解
- 「Chaos Mesh 就是自动化执行混沌实验的脚本」——错误。它是一套状态机:实验入队、串行注入、到期自动恢复,
Injected记账让每个实验只注入一次。 - 「编排器应该尽量并发注入多个实验,越快越好」——错误。并发注入使故障叠加、结论不可归因;串行或可控重叠是混沌实验可复现的前提。
- 「实验到期就完事了,不需要再确认故障是否清除」——错误。理想实现里
Running到期即清理,生产里必须有「恢复确认」步骤,残留故障要当成事故处理。
一句话总结本节
Chaos Mesh 的编排器把一次实验放大成可持续流程:实验入队、按序注入、到期自动恢复,Injected 记账保证每个实验只注入一次、Step 幂等可反复推进,重叠窗口可控以保住结论可归因。编排的本质是让混沌实验成为「可重复、可归因、可自动恢复」的生产流程,而不是靠人盯着的临时破坏。
下一节回答「编排的结论怎么落地」:用故障注入逐条验证第 8 到 13 章的一致性结论。
本节 lab
本节的测试落在 chaos 包的 MeshController 上,验证「排队注入、到期退出」的编排语义:
cd private/labs/k8s-net-lab
go test ./chaos -run TestMeshControllerScheduling -v
- 入队
a(Duration=100)与b(Duration=200),首个Step(1000)断言注入两个实验、返回注入期计数 2——对应「首个 Step 注入全部未注入实验」。 now=1050断言Current返回两个实验——对应「都处于注入期」。now=1150断言只剩b在注入期——对应「a 到期自动退出注入」。- 共 3 条断言,跑完见
ok k8s-net-lab/chaos。这就是「入队 → 按序注入 → 到期自动恢复」的编排最小闭环。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。