《Kubernetes 分布式系统原理深入解析》14.2 Chaos Mesh 架构与实验编排

混沌实验要成为生产流程,必须有一个编排器:实验入队、按序注入、到期自动恢复。本节拆解 Chaos Mesh 的编排队列与 inject→verify→recover 三阶段,并解释为什么串行注入避免两个实验同时命中同一目标。lab 用 chaos 包的 TestMeshControllerScheduling 验证首个 Step 注入全部实验、到期后自动退出注入期。

14.2 Chaos Mesh 架构与实验编排

14.1 节把一次混沌实验定义成「注入→观察→恢复」的生命周期,但生产环境不会只跑一个实验:可能同时挂着「每周一次的磁盘故障演练」与「发版前的杀 Leader 演练」。谁来排队、谁决定注入顺序、谁保证两个实验不会互相踩踏?本节拆解编排器——它在 lab 里叫 MeshController,生产形态就是 Chaos Mesh 的 controller。

编排器要回答的核心问题只有一个:让每个实验都在受控的时刻注入、在受控的时长后退出,并且任何时刻都能说清「现在谁在被注入」。回答它需要三个部件:队列、注入器、状态记账。

Chaos Mesh 的 CRD 与控制器形态

生产 Chaos Mesh 不是一段脚本,而是建立在 Kubernetes 自身机制上的控制器。它的核心对象是一个 CRD——ChaosExperiment——而 lab 的 MeshController 正是这个 CRD 控制器的微缩版:

组件lab 对应生产对应
实验声明Experiment 结构体ChaosExperiment CRD
控制器循环Step(now)controller 的 reconcile
注入执行Daemon.Injectchaos-daemon(DaemonSet)
状态记账Injected mapCRD 的 .Status 字段

为什么把实验做成 CRD 而非脚本?因为 CRD 让混沌实验声明式、可审计、可回滚:声明是对象、状态是字段、控制器负责把声明推向状态。这和第 10 章联邦把资源做成总表、第 8 章 Operator 把分片做成 CRD 是同一个设计取向——分布式系统的运维动作,凡是值得重复执行的,都值得变成声明式对象。

编排器:把「一次实验」变成「实验队列」

Chaos Mesh 是 Kubernetes 上的控制器,它的核心是把混沌实验声明成 CRD 对象,再由一个控制器循环驱动。lab 的 MeshController 是这个控制器的骨架,它持有三样东西:

状态作用生产对应
Queue待执行/已执行的实验列表ChaosExperiment CRD 列表
Daemon注入执行器(上一节)chaos-daemon 侧车容器
Injected每个实验是否已注入的记账实验状态字段(.Status)

关键分工在 Queue 与 Injected 之间:队列决定「有哪些实验」,记账决定「哪些已注入」。Step(now) 每推进一步,就遍历队列、把还没注入的实验注入掉、再统计当前仍处于注入期的数量。这与第 10.3 节联邦调谐循环的形状一致——每轮从现状重算,不记忆上一轮结果。

串行注入:避免两个实验同时命中同一目标

MeshController 最值得解释的设计是它不为并发优化。Step 对队列做的是顺序遍历,任何时刻允许的注入是「所有已入队但未注入的实验全部注入」,而到期判定各自独立。为什么刻意不做并发调度?

方案行为风险
串行注入(本实现)逐个入队、逐个到期两个实验可能短暂重叠,但目标可预判
并发注入多个实验同时注入多个故障两故障叠加,无法归因不变量违背来自哪个实验

混沌实验的结论必须可归因:如果「杀 Leader」与「断分区」同时生效,不变量违背了,你无法说是谁的错。编排器宁可让实验重叠窗口可算,也要保住结论可归因。这也是生产 Chaos Mesh 里「两个实验声明同一目标」会被拒绝或排队的原因——不是技术做不到并发,而是混沌工程的方法论要求「一次只变一个变量」。

实验优先级与队列调度

Step 的遍历是「全部未注入的都要注入」,但真实 Chaos Mesh 里实验队列需要优先级——不是所有实验都想同一时刻生效:

优先级实验类型例子
低周期性演练每周磁盘故障演练
中发版关联每次发版前跑杀 Leader
高事故复盘复现复现线上故障的注入

优先级影响两件事:入队顺序(高优先实验先注入)与重叠策略(高优先实验可以打断或等待低优先实验)。但无论优先级怎么排,「一次只验证一个变量」的原则不破——lab 用串行遍历保证这一点,生产实现则在声明阶段就拒绝「同一目标同时挂两个实验」。队列的本质是把「什么时候做哪个实验」从人肉记忆变成显式调度。

注入 → 验证 → 恢复:编排的三阶段

Chaos Mesh 把一个实验的生命周期拆成三个阶段,lab 的 Step + Current 是它的最小实现:

阶段行为lab 对应生产实例
注入实验从队列进入注入期Step 里 Inject + Injected=truechaos-daemon 注入故障
验证检查实验是否仍在注入期Daemon.Running检查器探测不变量
恢复到期自动退出,实验结束Running 过期即 delete故障自动解除

Step 的返回值「当前处于注入期的实验数」就是编排器对上层暴露的健康度:非零表示还有故障在生效,零表示队列清空、系统回到无故障基线。配合 Current(now) 返回具体是哪些实验在注入,运维能实时看到「此刻谁正在被注入」。

以两个实验 a(Duration=100)、b(Duration=200)为例,时间线很清晰:

  • now=1000:Step 注入 a 与 b,Step 返回 2;
  • now=1050:Current 返回 a、b 两个——都还在注入期;
  • now=1150:a 已过 100 期、自动清理,Current 只返回 b——到期自动恢复不是外部任务,是每次检查顺带完成的。

这段时间线也说明编排器对「故障叠加」的态度:a 与 b 在 1000–1100 之间重叠,但两者目标不同、时长不同,重叠窗口是确定的,实验报告里可以明确区分「a 覆盖期」与「b 覆盖期」。

验证阶段:注入成功不代表实验成功

编排的「验证」阶段容易和「注入」混为一谈,需要单独拎出来。注入成功只代表「故障生效了」,验证才回答「承诺有没有被违背」:

阶段问的问题失败的含义
注入故障生效了吗注入失败,实验无效
验证不变量还成立吗系统违背承诺,结论为「失败」
恢复故障清除了吗残留故障,实验本身变成事故

lab 里没有单独的验证器——Step 的职责是推进实验状态,不变量检查由第 14.3 节的检查器担任。这种职责分离在工程上是刻意的:编排器管「实验进行到哪一步」,检查器管「系统有没有违背承诺」,两者耦合会导致「实验没跑好」与「系统真坏了」分不清。

幂等与声明式:为什么 Step 可以反复调用

Step 能被反复调用且结果稳定,靠的是 Injected 记账:已注入的实验不会重复注入(if !mc.Injected[e.Name] 拦住),已过期的实验由 Running 自动移出。这个形状与第 10.3 节调谐循环、第 13.2 节租约到期如出一辙——「已处理」用状态记住,重复调用只是再检查一遍,不是再执行一遍。

生产 Chaos Mesh 同样依赖幂等:controller 的 reconcile 循环每秒都可能触发,如果 Step 不幂等,同样的实验会被重复注入几十次。Injected 记账是「实验状态机」的核心,它把「执行动作」与「记录状态」分开——这也是所有 Kubernetes 控制器通用的形态。

把这个形态再往前推一步:只要 Injected 是持久化的状态而非内存标记,控制器重启后实验也能从中断处继续——这也是为什么生产实现把实验状态放进 CRD 的 .Status 而不是进程内 map:状态外置,控制器可重启,实验不重放。

编排的失败处理:实验注入失败怎么办

编排器还得分清三种失败,lab 没有为它们建类型,但工程上必须处理:

失败形态表现处理
注入失败Daemon 返回错误实验置失败状态,不进入注入期,不污染 Injected
目标不存在Target 指向已删除对象校验目标存在再注入,否则跳过并告警
恢复失败到期后故障未清除告警并重试清理,视为「残留故障」事故

前两类可以用「先校验后注入」规避,第三类最危险——故障到期没有自动恢复,相当于混沌实验变成了真实事故。生产 Chaos Mesh 对残留故障有额外的补偿动作(强制清理、人工介入),lab 里 Running 的 delete 是理想化的「到期即恢复」,真实实现还要加一层「恢复动作执行与确认」。

这三类失败都可以靠「先校验后注入」与「到期必确认」两条纪律收敛:前者把「目标不存在」与「注入失败」拦在注入之前,后者把「恢复失败」变成可告警的显式状态。编排器的正确性指标不是「实验跑得多快」,而是「失败都能归位」——注入失败进失败状态,残留故障进事故流程,而不是糊在「实验进行中」。

编排时间线示例

把 14.2 节的机制缝合成一次双实验的编排时间线:

时刻事件CurrentStep 返回值
T0入队 a(时长 100)、b(时长 200)[]—
T1Step(1000):注入 a、b[a, b]2
T2Step(1050):都仍在注入期[a, b]2
T3Step(1150):a 到期自动清理[b]1
T4Step(1200):b 到期[]0

这张时间线演示了「到期自动恢复」不是一条额外的清理命令,而是 Running 探测时顺带的 delete。Step 返回 0 是编排器的稳定态判据——所有实验退出注入期,系统回到无故障基线。对照第 10.3 节联邦调谐的「待处理归零」,两者都把「非零值」当作「还有欠账」的显式记账。

多命名空间与多集群编排

单个集群内的实验编排是基础,生产 Chaos Mesh 还要处理两个放大维度:

维度问题编排策略
多命名空间同名实验可能撞车按命名空间隔离实验队列
多集群同一故障要在不同集群验证每集群一个控制器实例,独立队列

多集群编排与第 11 章的联系很直接:联邦把资源分布到多个集群,混沌实验则要在每个集群单独验证一致性承诺——跨集群的承诺(第 11 章的最终一致)无法用单个集群的实验验证,必须在多集群编排层面单独设计。lab 的 MeshController 是单集群模型,放大到多集群时,「每集群一个 Step」的编排是保留局部归因能力的关键:任何不变量违背都能定位到具体集群。

三个常见误解

  • 「Chaos Mesh 就是自动化执行混沌实验的脚本」——错误。它是一套状态机:实验入队、串行注入、到期自动恢复,Injected 记账让每个实验只注入一次。
  • 「编排器应该尽量并发注入多个实验,越快越好」——错误。并发注入使故障叠加、结论不可归因;串行或可控重叠是混沌实验可复现的前提。
  • 「实验到期就完事了,不需要再确认故障是否清除」——错误。理想实现里 Running 到期即清理,生产里必须有「恢复确认」步骤,残留故障要当成事故处理。

一句话总结本节

Chaos Mesh 的编排器把一次实验放大成可持续流程:实验入队、按序注入、到期自动恢复,Injected 记账保证每个实验只注入一次、Step 幂等可反复推进,重叠窗口可控以保住结论可归因。编排的本质是让混沌实验成为「可重复、可归因、可自动恢复」的生产流程,而不是靠人盯着的临时破坏。

下一节回答「编排的结论怎么落地」:用故障注入逐条验证第 8 到 13 章的一致性结论。

本节 lab

本节的测试落在 chaos 包的 MeshController 上,验证「排队注入、到期退出」的编排语义:

cd private/labs/k8s-net-lab
go test ./chaos -run TestMeshControllerScheduling -v
  • 入队 a(Duration=100)与 b(Duration=200),首个 Step(1000) 断言注入两个实验、返回注入期计数 2——对应「首个 Step 注入全部未注入实验」。
  • now=1050 断言 Current 返回两个实验——对应「都处于注入期」。
  • now=1150 断言只剩 b 在注入期——对应「a 到期自动退出注入」。
  • 共 3 条断言,跑完见 ok k8s-net-lab/chaos。这就是「入队 → 按序注入 → 到期自动恢复」的编排最小闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图