11.3 伸缩滞后与振荡:稳定窗口设计
11.1 的比例公式给出了「该扩多少」,但真实集群里 HPA 不会每拍都跟着公式跳。因为回路里到处都是滞后:指标有延迟、副本变化要时间生效、负载本身会抖动。这些滞后叠加,让「精确追踪目标」变成「振荡的源头」。本节讲振荡从哪来,稳定窗口如何压住它,以及压住它的代价。
读完本节,你应该能解释生产里的两个经典现象:为什么扩容像「一瞬间」而缩容像「慢动作」;为什么把同步周期调小反而没帮助。
振荡的根源
伸缩振荡不是 HPA 的 bug,而是反馈回路的固有特性。三个来源叠加:
- 指标抖动:监控毛刺、单 Pod 重启、采样噪声,都会让「利用率」拍一下。
- 控制回路滞后:从「负载变化」到「HPA 看到」要经过采集与同步(几十秒);从「改 replicas」到「新副本就绪」要经过调度、拉镜像、启动、探针(几十秒到分钟级)。
- 伸缩异步生效:HPA 改了
spec.replicas,副本不是瞬时就位,负载在一段时间里被摊到旧副本上,指标先升后降——这个「过冲」又成为下一次决策的输入。
典型的振荡循环:负载突增 → HPA 扩一批副本 → 新副本还没就绪,指标继续偏高 → 再扩一批 → 副本就绪后负载骤降 → HPA 又要缩……每一步决策都在对「上一拍的滞后」做反应,于是副本数像钟摆一样来回。
判断一个集群是否在振荡,不需要复杂的谱分析:kubectl get hpa -w 观察副本数是否在几分钟内来回跳,或者看工作负载的 replicas 历史曲线是不是锯齿状。锯齿的周期通常与「指标延迟 + 副本就绪时间」同量级——这本身就是滞后存在的证据。
振荡还有一个放大器:多实例副本的「同相」。如果多个 Deployment 用相同的指标源与窗口,它们的扩容会在同一时间发生,负载与资源水位一起跳——单个 HPA 的振荡被放大成集群级的呼吸效应。给不同工作负载错开指标源或窗口,本身就是一种降噪。
识别振荡还要排除一个干扰:版本发布、节点滚动引起的副本数抖动不算振荡。振荡的特征是「频率接近回路滞后周期、且没有外部原因」;发布导致的抖动有明确的触发事件,两者要区分开,否则会在稳定窗口上调出错误的方向。
控制回路滞后与伸缩异步生效
理解滞后要区分两条时间轴:
- 信号轴:负载实际变化 → 采集 → 同步到 HPA。默认 15s 同步 + metrics-server 几十秒窗口,信号到达 HPA 的延迟量级是「秒到一分钟」。
- 执行轴:HPA 写 replicas → Deployment 创建 Pod → 调度 → 容器启动 → 就绪。一个从 0 到就绪的 Pod,快则几十秒,慢则数分钟;在这段时间里,它既不计入副本分母的「就绪」部分,也不承接负载。
两条轴叠加,使得「现在看到的指标」反映的是「几分钟前的负载 + 几分钟前的副本数」。比例公式把这种带滞后的输入放大成副本变化,再把变化喂回回路——这就是为什么没有稳定机制的纯比例控制必然振荡。稳定窗口的职责,是在这个反馈环上人为加阻尼。
用一个数字化的例子感受滞后:某服务从 10 副本的热度暴涨到需要 20 副本。t=0 负载变化,t≈30s HPA 才从指标里看到,t≈60s 新副本就绪。这 60s 里,前 30s 是「看不见」,后 30s 是「看得见但还没生效」。如果负载在 t=35s 已经回落,HPA 却还在按 t=30s 的滞后数据决定扩容——这就是一次典型的「扩了不该扩的」。
稳定窗口:扩容与缩容两套窗口
K8s 的稳定机制分方向设计,因为扩容与缩容的代价不对称:
| 机制 | 默认 | 行为 |
|---|---|---|
缩容稳定窗口 --horizontal-pod-autoscaler-downscale-stabilization-window | 5m | 缩容时保留窗口内「最大的期望副本数」,不立刻缩到最新低值 |
扩容稳定窗口 --horizontal-pod-autoscaler-upscale-stabilization-window | 0(1.29+ 可配) | 扩容时同样要求期望在窗口内稳定,默认关闭 |
容忍带 --horizontal-pod-autoscaler-tolerance | 0.1 | 比例在 1±0.1 内不伸缩 |
缩容窗口是默认打开的:一次低利用率采样不足以触发缩容,HPA 只取窗口内「最不激进」的值(最大副本数)作为候选,直到低负载持续稳定才真正缩。扩容默认没有稳定窗口,因为突增时宁可快也不愿等——但代价是可能出现一次过扩,随后被缩容窗口慢慢拉回来。
为什么稳定机制是「时间窗口」而不是「次数限制」?因为时间与滞后同维度:滞后按秒计、窗口按分钟计,二者可以直接相加。若用「次数限制」(如 3 轮内不重复伸缩),在 15s 同步下只有 45s 的抑制,明显不够;时间窗口则能直接对应「等一个完整的信号周期」。用时间来表达稳定,是把控制论语言翻译成运维语言的关键一步。
缩容稳定窗口的「取窗口内最大期望」是一种保守策略:窗口里出现过 20,即使当前采样算出的期望只有 5,缩容候选也还是「窗口内比 20 小的最大值」。只有当整个窗口内的期望都稳定低于现状,缩容才落地。这意味着缩容总是滞后于最新采样——它用过去的最高需求兜底,避免一次低采样就把容量砍掉。
如果把两套窗口都关掉,HPA 就退化成「每拍按公式跳」的纯比例控制——11.1 的阶梯表会原样上演,副本数在 10 与 11 之间反复。稳定窗口是让公式「坐得住」的装置。
冷却/稳定抑制的机制
lab 用 Cooldown 模拟稳定窗口:副本变化后,Cooldown 轮内不重复伸缩。看 TestHpaCooldownPreventsOscillation 的完整轨迹(min=1、max=20、target=0.8、cooldown=2、初始 10 副本):
| 轮次 | 平滑利用率 | 期望 | 夹取后 | 能否变化 | 结果 |
|---|---|---|---|---|---|
| 1 | 1.6(首轮原始) | 20 | 20 | 是 | 扩到 20 |
| 2 | 1.0(EMA) | 25 | 20 | 已到 max | 不动 |
| 3 | 0.7 | 18 | 18 | 否(冷却中) | 保持 20 |
| 4 | 0.55 | 14 | 14 | 是(冷却结束) | 缩到 14 |
关键看第 3 轮:平滑利用率已经掉到 0.7、期望 18,但冷却窗口还开着,即使公式想缩也不缩。到第 4 轮冷却结束,才执行缩容到 14。这就是稳定抑制的本质:不是公式算得不对,而是算对了也要等一等,等确认低负载不是单次抖动。
真实 K8s 的缩容稳定窗口语义类似但更保守:它取窗口内最大的期望副本数,所以「想缩」与「稳定后缩」之间还有一层——只有窗口内所有期望都比现状低,缩容才可能发生。
lab 的 Cooldown 用「轮次」计,真实窗口用「时间」计——这是简化模型的取舍:轮次适合测试,时间适合生产。两者在概念上等价:都是「变化之后的一段静默期」。理解这一点,就能在读到代码里 Round-LastChange <= Cooldown 时,与真实 K8s 的 now-lastScaleTime < window 对上号。
扩容:为什么默认没有稳定窗口
扩容稳定窗口默认是 0,不是疏忽,而是「可用性优先」的显式取舍:
- 扩容的伤害集中在「不够用」:晚一分钟扩容,可能持续打穿 SLO,甚至触发级联故障。
- 扩容的过度成本是「多花几分钟的钱」,且可以被缩容窗口拉回。两个方向不对称,默认配置就落在「扩快缩慢」。
- 但抖动大的业务(促销流量毛刺、批处理波动)会为「扩快」付出反复横跳的代价——这时反而值得打开扩容稳定窗口把毛刺滤掉。1.29+ 提供该参数,等于给「扩快缩慢」的默认装了一个可调节的开关。
打开扩容稳定窗口后,HPA 会像缩容一样要求扩容期望在窗口内持续,才真正执行扩容。代价是突增响应变慢——所以它适合「抖动大但不致命的负载」,不适合「真正的流量尖峰」。
滞后对伸缩决策的影响
滞后不只是「慢」,它会系统性地扭曲决策:
- 扩容过冲:指标反映的是滞后负载,HPA 多扩的副本可能比实际需要多。新副本就绪后,过冲的部分又成为缩容的候选——一次突增往往带来「扩→缩」两次操作。
- 缩容滞后放大:缩容稳定窗口 5m + 执行轴滞后,一个真实下降趋势从发生到副本收敛,可能横跨数分钟。对成本敏感的场景,这个窗口要按「指标新鲜度 + 副本就绪时间」来校准。
- 周期性负载(如整点任务):如果周期与稳定窗口相近,HPA 可能永远追不上——窗口刚让副本缩下来,下一波又来了。这类负载要考虑更长的稳定窗口或人工调度。
理解滞后,调参才有方向:先量出「信号延迟 + 副本就绪时间」这两个数字,再决定窗口设多大,而不是拍脑袋设一个 5m 之外的随机值。
还有一个数学事实:决策频率远高于指标新鲜度时,HPA 只是重复消费同一份数据。把同步周期调到 15s 以下、或把指标窗口收短,并不会让决策更准——只会让「同一份滞后数据」被计算更多次。真正减少滞后的是缩短采集周期与拉近指标源,而不是加快 HPA 的节拍。别用「更频繁决策」去治「信号本来就旧」的病。
另一个被滞后掩盖的真相:副本数的「平台期」不等于负载稳定。负载持续上升时,如果副本就绪速度跟不上,HPA 会连续扩到 max——曲线看起来是平的,其实是「扩不动了」。区分「稳定」与「卡在上限」,要把 maxReplicas 与利用率放在一起看。
稳定窗口的代价与调参策略
稳定窗口不是免费午餐,它牺牲的是响应速度:
- 缩容窗口的代价:负载真实下降后,闲置副本多存活一段(默认最多 5m)。对成本敏感的场景这是实打实的浪费;对可用性无碍。
- 扩容没有默认窗口的代价:一次真实突增可能过度扩容,随后被缩容窗口拉回,期间副本数抖动——资源账单与调度压力都受影响。
- 窗口太小的代价:抖动穿透,振荡加剧,副本数来回跳,比「稍微慢一点」更伤。
- 窗口太大的代价:对趋势反应迟钝,突增时扩容慢、下降时回收慢。
调参策略可以落到一张决策表:
| 场景 | 建议 |
|---|---|
| 负载平滑、成本敏感 | 缩容窗口可缩短到 1–2m,扩到合理值即可 |
| 负载抖动大、延迟敏感 | 保持缩容窗口 5m,把扩容稳定窗口开大一点(如 1m)滤抖动 |
| 指标本身延迟大(外部指标) | 窗口至少不小于指标延迟,否则永远在追滞后 |
| 周期性突增负载 | 扩容不要窗口、缩容窗口拉长,接受每波的过扩 |
一条原则:振荡的伤害大于迟缓。副本数来回跳既浪费资源又放大噪声,宁可让决策「慢半拍、稳下来」。
调参前先量化两个数字:D_metric(指标从发生到 HPA 可见)与 D_ready(新副本从创建到就绪)。缩容窗口的合理下限约等于 D_metric + D_ready——比这更短,窗口内的「稳定证据」还不足以代表趋势;比这长,闲置成本增加。用监控数据把这两个 D 量出来,调参就从「拍脑袋」变成「按量级校准」。
不同稳定窗口下的行为对比
用一个简化推演对比(同一串利用率采样,初始 10 副本):
| 配置 | 行为描述 |
|---|---|
| 无窗口、无容忍带 | 每拍都按公式跳,利用率每个小波动都变成副本变化,振荡剧烈 |
| 仅容忍带(0.1) | 小偏差不触发,但大的单次抖动仍穿透,出现一次大扩一次大缩 |
| 容忍带 + 缩容窗口 5m | 小偏差与单次低值都被抑制,缩容稳定,扩容即时 |
| 容忍带 + 双向稳定窗口 | 扩缩都受阻尼,最稳,但双向都慢,对突增响应最差 |
真实 HPA 默认是第三行:扩容即时、缩容保守。这个不对称是刻意的——低负载多花几分钟钱可以接受,高负载晚几分钟扩容可能直接打穿服务。
这张表也解释了「为什么调参先动缩容窗口」:它是默认打开、影响成本、与指标延迟强相关的那一个。扩容窗口是「要不要开」的二选一,缩容窗口是「开多大」的连续调节——前者是策略开关,后者是数值调优,复杂度不在一个量级。
把这张表记成一句运维口令:「扩不设窗、缩开 5 分钟、容忍带兜小抖」。多数集群用默认配置就能稳定,调参只在振荡已经发生、或成本/延迟极端敏感时才需要。
三个常见误解
- 「稳定窗口越短越好,响应快」——错误。窗口短会让单次抖动直接穿透,反而引发振荡;正确做法是按方向分别调,扩容可以快,缩容必须稳。
- 「只有缩容需要稳定,扩容不用」——错误。扩容默认没有稳定窗口是「默认取值」,不是「原则」。1.29+ 可以给扩容也配窗口;突增场景要不要开,取决于抖动与成本哪个更伤。
- 「加稳定窗口就是加延迟」——这是只看到一半。它加的是「确认趋势」的延迟,换掉的是「来回伸缩」的振荡;在成本与可用性的天平上,通常值得。
本节 lab
本节把「冷却/稳定窗口抑制频繁伸缩」落到 HPA.Scale 的 Cooldown 逻辑:
cd private/labs/k8s-sched-lab
go test ./autoscaler -run TestHpaCooldownPreventsOscillation -v
用例构造了「先高负载扩到 20 → 连续两轮低利用率 → 冷却结束后才缩到 14」的完整轨迹:第 3 轮期望已算到 18,但冷却窗口未过,拒绝伸缩;第 4 轮冷却结束才执行缩容。这正是本节「稳定抑制:算对了也要等一等」的可运行验证——振荡的抑制不是靠改公式,而是靠给公式的结果加一道冷却门。
再对照 11.1 的 TestHpaSmoothMetric:平滑滤掉的是「指标噪声」,冷却滤掉的是「决策频率」。两者作用于回路的不同环节——平滑在输入侧、冷却在输出侧,缺一个振荡都压不住。
如果把 Cooldown 从 2 调到 0,同一个用例会在每轮都尝试变化——这正是「没有稳定窗口的纯比例回路必然振荡」的直接实验证据。
一句话总结本节
伸缩振荡是「指标滞后 + 执行滞后 + 抖动」叠加的固有现象,HPA 用分方向的稳定窗口抑制它:扩容默认即时、缩容默认保守(5m 窗口内取最大期望)。稳定窗口的代价是响应变慢,但振荡的伤害远大于迟缓——第 11 章的 HPA 到此完整:比例公式定方向,平滑与窗口定节奏。
下一章换到垂直维度:VPA 会动态调整 requests,而这会直接改变 HPA 的利用率分母——第 12 章讲 VPA 时,这个耦合点会反复出现。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。