《Kubernetes 分布式系统原理深入解析》5.2 控制器即负反馈系统:收敛与震荡

负反馈系统会收敛,也可能震荡。本节从控制理论借来『增益、延迟、超调、振荡』的概念,分析 K8s 控制器何时收敛干净、何时抖动:缓存滞后造成测量延迟、执行器过激造成超调、多个控制器互相干扰造成振荡。结合 HPA 的稳定窗口与 Deploy 的滚动节奏,给出抑制振荡的设计原则。lab 用 controller/reconcile.go 验证比例控制律的收敛行为。

5.2 控制器即负反馈系统:收敛与震荡

上一节说控制器是负反馈系统。本节讨论它的动力学:什么条件下干净收敛,什么条件下抖动震荡。K8s 的工程实践(稳定窗口、滚动节奏、重试退避)其实都是在驯服负反馈系统的动态行为。

收敛的理想条件

一个负反馈系统干净收敛需要三个条件:

  1. 测量准确:实际状态读数接近真实(缓存滞后小)。
  2. 动作有效:执行器的动作确实改变被控对象。
  3. 增益合适:每轮修正量不至于过头或不够。

满足时,误差单调减小到零:

误差 3 → 动作 +3 → 误差 0(一次到位)
或
误差 3 → 动作 +1.5 → 误差 1.5 → 动作 +1 → 误差 0.5 → ... → 0(渐进)

震荡的三种来源

K8s 控制器出现「反复横跳」的三种典型来源:

1. 测量延迟(缓存滞后)

缓存滞后 = 测量延迟。控制器基于旧状态决策:

实际就绪 3,缓存仍显示 2 → 控制器以为差 1 → 创建 1 → 实际变 4 → 缓存更新后
控制器看到 4 多 1 → 删 1 → 实际 3 → 缓存又旧 → 再创建 → 无限震荡

根本问题:动作生效(Pod 创建/删除)与测量反映(缓存更新)之间存在延迟,控制器在「看到结果前」又动作了。这就是为什么控制器要用 workqueue 退避:给缓存足够时间反映动作结果。

2. 动作过激(增益过高)

比例控制增益过高,每轮修正量大于误差需要:

误差 1 → 动作创建 2(过激)→ 实际超 1 → 误差 -1 → 删 2 → 又欠 1 → ...

工程对应:滚动更新每轮动的副本太多、HPA 每轮缩放步长过大。缓解:限制每轮动作量(maxSurge/maxUnavailable、HPA 的 min/max 变化)。

3. 多个控制器互相干扰

Deployment→RS→Pod 是链式调谐,上游还没收敛,下游就开始动:

Deployment 建 RS(desired=3)
RS 控制器看到 0 副本 → 建 3 Pod
Deployment 又更新(滚动)→ 建新 RS → 旧 RS 还没删完

不是死循环,但会出现中间态的反复。链式控制器靠「每层幂等 + 每层各自收敛」最终稳定——上层期望一旦稳定,下层逐层追平。

超调与回调:滚动更新的动力学

Deployment 滚动更新就是一次「有超调的收敛」:

  • 期望:全部切到新版本。
  • 过程:先建新副本(surge),旧副本等新副本就绪再删(unavail)。
  • 中间态:新旧并存、总副本短暂超 desired(surge)。

这不是震荡,而是受控的超调——maxSurge/maxUnavailable 显式限制了每轮的超调量。滚动完成后误差归零,系统稳定在新状态。这比「一把删光再建」更安全,因为保证了可用副本的下限。

抑制震荡的设计原则

把控制理论转成控制器设计规则:

问题抑制手段K8s 例子
测量延迟动作后等待、退避workqueue 指数退避
增益过高限制每轮修正量maxSurge/maxUnavailable
测量噪声平滑窗口、稳定阈值HPA 稳定窗口
互相干扰层级隔离、幂等RS/Deploy 分层收敛
自我放大输出不喂回输入status 不写回 spec

核心一条:控制器的输出只能朝「减小误差」方向走,且每次动作要有界。无界的修正 + 延迟的测量 = 震荡的必然。

稳定窗口:HPA 的震荡抑制

HPA 是典型的负反馈控制器,它的稳定窗口机制:

  • 目标利用率(期望)vs 当前利用率(测量)。
  • 每轮算出需要的副本数,但只有连续 N 个周期都在同一区间才执行。
  • 稳定窗口(默认 300s)抑制了「利用率抖动 → 副本数抖动」的负反馈振荡。

这就是工程上对「测量噪声」的驯服:不是每个误差都动作,而是误差持续存在才动作。代价是响应变慢,收益是系统稳定。

控制器的节拍:周期、事件与退避

负反馈系统的「每轮动作」在 K8s 里由三种驱动力组成:

驱动力触发作用
事件watch 增量(对象变化)快速响应变化
周期(resync)informer 定时兜底漏掉的漂移
重试(退避)reconcile 失败处理失败的动作

三者共同决定控制器的「节拍」。节拍太快的后果:

事件 → 处理 → 失败 → 立即重试 → 又失败 → 无限快速循环(打爆 apiserver)

所以 reconcile 失败必须退避(workqueue 指数退避,卷二第 6 章)。退避不是惩罚,是给「失败原因」时间消化:缓存追上、依赖对象创建、外部系统恢复。节拍由「事件 + 周期 + 退避」三者调制,才稳定。这也是 3.3 节 relist 退避在控制器层面的镜像:凡是重试,都要退避。

一个完整的振荡治理案例:HPA 的稳定窗口

HPA 把「测量噪声」驯服成稳定行为的完整路径:

  1. 测量:每 15s 读一次 Pod 的 CPU 利用率。
  2. 计算:期望副本 = ceil(当前副本 × 当前利用率 / 目标利用率)。
  3. 决策:若期望副本与当前副本不同,先记入稳定窗口(默认 300s)。
  4. 执行:仅当窗口内决策持续一致才缩放。
t=0   利用率 120% → 期望 4(当前 3)→ 记入窗口
t=15s 利用率 90%  → 期望 3(当前 3)→ 窗口清零(决策变了)
t=30s 利用率 115% → 期望 4 → 重新记入
...持续 300s 决策都是 4 → 才真正扩容到 4

稳定窗口 = 控制理论里的「平滑 + 滞回」:把「瞬时误差」变成「持续误差」,过滤噪声。代价是响应慢(一次扩容要 5 分钟确认),收益是副本数不会随 CPU 抖动反复横跳——这正是负反馈系统「有界动作」的工程实现。与滚动更新的 maxSurge 相比,一个限「单轮动作量」,一个限「动作的条件」:前者防过激,后者防噪声,共同抑制震荡。

三个常见误解

  • 「控制器震荡说明控制器坏了」——通常是「测量延迟 + 动作过激」,可通过退避和限幅修复,不是重写控制器。
  • 「收敛 = 立即收敛」——错误。收敛是渐进的,受测量延迟、动作节奏、层级传播影响;快的毫秒级(RS 补副本),慢的分钟级(HPA 稳定窗口)。
  • 「负反馈只减误差所以不会振荡」——错误。负反馈加延迟就可能超调振荡;负反馈是「稳定」的必要不充分条件。

诊断震荡:三步定位法

控制器「反复横跳」时,按三步定位(对应 5.2 节的三个来源):

  1. 看测量延迟:观察对象更新是否滞后于实际动作。滞后明显 → 加退避、调长 resync 间隔。
  2. 看动作量:比较「每次修正的幅度」与「误差大小」。修正总是过头(创建 2 个实际只要 1 个)→ 限制每轮动作(maxSurge、缩放步长)。
  3. 看期望来源:谁在改 spec?若是控制器自己写 spec(正反馈)→ 立即修:控制器绝不能写回 spec。

三步定位的顺序是先「测量」后「动作」最后「来源」,因为来源问题(正反馈)最危险,但也最常见地被前两步掩盖。任何「看起来无休止的收敛循环」都优先怀疑正反馈——它不靠延迟与增益,是结构性的发散。

一个数字直觉:延迟多长算「够长」

「给缓存时间反映结果」到底多久够?经验值:

场景延迟构成建议等待
RS 补副本watch + Pod 创建秒级
滚动更新逐层传播数十秒
HPA 缩放稳定窗口本身300s

原则是「等待 ≥ 一层动作生效的时间」。等太短,动作还没反映进缓存,控制器基于旧测量再次动作(震荡);等太长,收敛变慢。workqueue 的退避让控制器「自己等」,而不是依赖固定 sleep——这是异步系统的正确做法。

本节 lab

本节验证比例控制律的收敛动力学:增益越高收敛越快但越接近振荡边界:

cd private/labs/k8s-ctrl-lab
go test ./controller -run 'TestFeedbackConvergence|TestFeedbackPartial' -v
  • TestFeedbackConvergence:rate=1.0 一步收敛——高增益、无延迟时的理想情况。
  • TestFeedbackPartial:rate=0.5 多步收敛——有限增益下渐进逼近,误差单调递减。两例对比展示「增益决定收敛节奏」。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图