14.1 Cluster Autoscaler:模拟调度与池伸缩
第 11~13 章处理的是『副本级伸缩』:HPA 把副本从 2 扩到 20,VPA 调 requests,KEDA 用业务指标驱动。但副本扩到上限之后呢?节点不够,Pod 只能停在 Pending。本节开始讲第二层伸缩——节点级伸缩:Cluster Autoscaler(CA)如何判断集群装不装得下,如何安全地加节点、减节点,以及它和调度器之间谁说了算。
伸缩的第二层:从副本到节点
副本级与节点级伸缩是两条互相依赖的控制回路:
- 副本级(第 11~13 章):扩到
maxReplicas内,秒级到分钟级生效,改的是 Deployment 的副本数。 - 节点级(本节起):扩到
maxNodes内,分钟级生效,改的是节点池成员。
关键耦合:副本扩了不代表能调度。HPA 把副本从 5 扩到 20,如果集群只剩 2 台满节点,那 15 个新副本全部 Pending。副本级伸缩假设『集群有足够容量』,节点级伸缩负责兑现这个假设。生产里两个控制器通常一起用:HPA 按负载扩副本,CA 按 Pending 补节点。
CA 的本质:把节点池当被伸缩的工作负载
CA 是一个独立控制器,不参与单个 Pod 的调度,它把整个节点池当作一个可以被伸缩的对象:
- 它的输入是集群状态:节点列表、各自容量与已分配、Pending 的 Pod。
- 它的输出是节点池的增删建议:向云厂商的节点组(AWS 的 AutoScaling Group、GCP 的 Managed Instance Group)增加或减少实例。
- 它是一个控制回路:周期性评估『够不够』→ 决定加/减 → 执行 → 观察结果,与 HPA 的『取指标→算期望→执行→观察』同构。
CA 不直接绑定任何 Pod。它更像『池管理员』:池子空了就补,池子空了太久就回收。它的决策质量取决于一件事——能不能准确预判调度器会把 Pod 放哪,这就引出模拟调度。
模拟调度:装得下吗
CA 判断『装得下吗』不靠猜,而是复制调度器的过滤逻辑做一次试放:
- 收集集群里 Pending 的 Pod(调度失败或刚提交的)。
- 对每个 Pod,按现有节点的容量、已分配资源、污点、节点选择器、亲和性等约束逐个试放。
- 能被现有节点装下的,记为『模拟已调度』,占掉相应资源;装不下的,进『放不下』集合。
这一步是 CA 的心脏,它的精度决定扩容是否正确:
- 它复用的是调度器的过滤阶段(能放哪),不包含评分阶段(放哪更好)——CA 只关心『有没有地方放』。
- 模拟结果与真实调度可能不一致:CA 认为装得下,真实调度器可能因评分、反亲和、卷约束放不进去。所以 CA 看到『放不下』会立刻扩容,但看到『装得下』不会立刻缩容——不对称的信任。
- 模拟会考虑 DaemonSet 已占用的资源、节点可分配(而非容量)、预留缓冲,避免把节点算成『满的』或『空的』。
lab 的 ClusterAutoscaler.Simulate 就是这个最小模型。把 lab 的数字走一遍:n1(8 核)按顺序装下 2 个 3 核 Pod,用掉 6 核剩 2 核;n2 同理装下 2 个、剩 2 核。每个 8 核节点最多放 2 个 3 核 Pod(3 个需要 9 核),两台共 4 个,第 5、6 个无论如何都放不下——18 核需求对 16 核容量,最少就有 2 个装不下。Simulate 返回 2,与理论下限一致。
这个例子还暴露一个特性:模拟调度按给定顺序贪心放置,不做最优装箱。本例因『每节点最多 2 个 3 核 Pod』是硬约束,贪心结果恰好等于最优;但在碎片化场景里(如不同大小 Pod 混排),放置顺序会影响『多少个放不下』。CA 刻意用贪心,是为了和真实调度器行为一致——调度器本来就按优先级逐 Pod 放置,不是全局最优。CA 模拟的是真实行为,不是理论最优;正因如此,它对『看起来装不下』的判定宁可激进地扩。
扩容路径:装不下 → 加节点
模拟调度的结果直接喂给扩容逻辑:
- 只要存在『现有任何节点都装不下』的 Pod,CA 就触发扩容——不需要等,不需要观察期。因为 Pending 的 Pod 在持续烧可用性,晚一分钟扩就多一分钟不可用。
- 扩容对象是节点组的成员:CA 从配置好的节点组里选一个(
expander策略决定选哪个组,常见有random、least-waste、most-pods、priority),调用云厂商 API 增加一台实例。 - 加实例不是绑定 Pod:节点创建、注册、Ready 之后,由真实调度器把 Pending 的 Pod 放上去。CA 只负责『让节点出现』,不负责『把 Pod 放对位置』。
- 多个节点组时,CA 按 expander 策略挑选:
least-waste选浪费最少的组,priority按配置的优先级顺序,most-pods选能放最多 Pod 的组。
lab 的 NeedsScaleUp 与 AddNode 就是这个路径:未调度 Pod 存在且未到节点上限 → 加节点 → 重放未调度 Pod → 全部装下。注意加节点后 CA 只重放『未调度的 Pod』,已调度的 Pod 不搬家——扩容永远优先解决眼前装不下的,而不是重新平衡全局。
节点组与扩容选择策略
CA 面对的不是单一节点池,而是多个节点组(每组是同构实例集合,对应云上一个 ASG/MIG)。扩容时先选组,再选规格:
| expander 策略 | 选组逻辑 | 适用场景 |
|---|---|---|
| random | 随机挑一个能扩的组 | 最小配置、无所谓规格 |
| least-waste | 选调度后浪费最少(碎片最小)的组 | 混规格、省成本 |
| most-pods | 选能放最多 Pod 的组 | 高密度小 Pod 工作负载 |
| priority | 按用户配置的组优先级从上往下 | 混合 spot/on-demand 策略 |
| price | 按单位成本选最省的组 | 成本敏感、规格差异大 |
组级决策的生产意义:用优先级或价格把『便宜优先』与『稳定优先』织进扩容。例如 spot 组优先级高、on-demand 组兜底,spot 不可用时自动落到 on-demand——CA 让『扩哪个组』也成为可声明的策略,而不是硬编码。组的 min/max 同时是伸缩的边界:max 防止某组失控扩爆,min 保证常驻容量。
扩容滞后:云厂商的分钟级
扩容从决策到生效有一条固定的时延链:
CA 判定装不下 → 云 API 申请实例 → 实例启动(拉基础镜像)→ kubelet 注册节点 → 节点 Ready → 真实调度器绑定 Pod → Pod 启动(拉业务镜像)→ 探针通过
其中云厂商创建实例本身就要 15 分钟(实例调度、卷挂载、user-data 初始化),Pod 冷启动再叠分钟级。**总时延常达 38 分钟**。这条链路的后果是:
- CA 必须提前反应:不能等 5 个副本全部 Pending 才扩,而是在模拟发现趋势时就扩。生产常配『缓冲节点』或
expander偏好来提前铺容量。 - 扩容是开环等待:CA 发出加节点请求后,无法加快节点 Ready;它能做的只是尽量准确地预判需要几台,别扩少了又扩多了。
- 对比缩容:扩容要快(有 Pod 在等),缩容要慢(怕误删)。这个不对称在第 14.3 节还会展开。
缩容的谨慎:低利用率只是必要条件
缩容的决策比扩容谨慎得多,低利用率只是必要条件,不是充分条件。CA 的缩容判定是一连串检查:
- 利用率低:节点上(排除 DaemonSet)的 Pod 请求资源利用率低于
--scale-down-utilization-threshold(默认 0.5)。 - 持续 unneeded:节点保持『不再需要』状态超过
--scale-down-unneeded-time(默认 10 分钟)。短于这个窗口的波动不触发——这是缩容的滞后设计。 - 可迁移性验证:把该节点所有 Pod 在模拟调度里放去其他节点,全部放得下才算可缩。有一丝放不下,就保留整台节点。
- 护栏检查:节点有本地存储、带特殊污点、被 annotation 排除(
cluster-autoscaler.kubernetes.io/safe-to-evict相关)、或 Pending 数量在变,都会终止缩容。
缩容执行本身也谨慎:先给节点打缩容标记、驱逐其上的 Pod(尊重 PodDisruptionBudget)、等 kubelet 清空、最后调用云 API 终止实例。每一步都可能被护栏打断,所以一台节点从『看起来空闲』到真正消失,通常经过十几分钟。把这条链画成时间线(默认参数):
t=0 节点利用率连续低于 0.5
t=10min scale-down-unneeded-time(10m) 到期,判定『不再需要』
t=10min+ 可迁移性验证通过 → 节点打缩容标记,进入驱逐
t≈10~12min 驱逐其上的 Pod(尊重 PDB、terminationGracePeriodSeconds)
t≈12min+ kubelet 清空确认 → 调用云 API 终止实例
t≈13min+ 节点从集群消失,容量回收
对比扩容的 3~8 分钟:缩容从判定到完成更慢(10 分钟起步),这不是低效,而是刻意设计——缩容错了要等更久才能发现,宁可慢也不误杀。
不可缩节点与可迁移性验证
为什么可迁移性验证是硬门槛?因为节点缩了,上面的 Pod 不会消失,只会被重新调度。如果别处放不下,驱逐等于制造更多 Pending,灾难性地放大问题:
- 验证放不下 → 保留节点:即使利用率只有 0.1,只要它承载的 Pod 无处可去,它就是『必要节点』。
- 本地存储节点默认不缩:
--scale-down-nodes-with-local-storage默认 false,空目录/本地卷的数据会随节点销毁,不能迁移。 - PDB 是第二道锁:驱逐 Pod 会检查 PDB 允许的可用副本下限,低于下限就停——缩容驱逐与 9.x 章讲的驱逐护栏是同一套机制。
safe-to-evict注解:个别 Pod 可以显式声明可驱逐,加速它的宿主节点缩容;反之可声明不可驱逐,保住关键 Pod。
一句话:缩容的本质是『先证明这台节点消失后一切照常』,证明不了就不动。
与调度器的协同
CA 和调度器是『建议者』与『执行者』的关系:
- CA 只增删节点组成员,从不绑定 Pod。它改变的是集群的容量供给。
- 调度器做最终的 Pod 放置:节点 Ready 后,Pending 的 Pod 按正常的第 1~5 章链路排队、过滤、评分、绑定。
- 两者通过状态观察协同,没有直接调用:CA 看到 Pending 就扩,看到节点利用率低就缩;调度器看到新节点就放 Pod,看到节点删了就把 Pod 重新调度。
- 不一致的来源:CA 的模拟是过滤逻辑子集,可能误判『装得下』或『放不下』。所以 CA 对扩容激进(信不过模拟时宁可多扩),对缩容保守(宁可多留)。不对称设计是这两个控制回路的稳定性来源。
- 闭环的最后一环是观察:CA 扩了节点,调度器把 Pod 放上去,CA 看到 Pending 清零才认为扩容成功;缩了节点,被驱逐的 Pod 在其他节点重启,CA 观察到利用率恢复才认为缩容成功。任何一环没发生,CA 会重试或回退——它从不假设云厂商 API 一定成功。
调度器与 CA 的分工可以一句话概括:调度器管理『Pod 往哪放』的空间分配,CA 管理『集群有多大的空间』的容量供给。前者解决『这一批怎么摆』,后者解决『空间不够时从哪来、空间多余时怎么收』。
扩容/缩容触发条件对比
把两个方向的决策逻辑并排,差异一目了然:
| 维度 | 扩容 | 缩容 |
|---|---|---|
| 触发信号 | 存在现有节点装不下的 Pod | 节点利用率低于阈值 |
| 前置验证 | 模拟调度放不下 | 模拟调度全部可迁移 |
| 时间窗口 | 立即触发,不等 | 需持续 unneeded ≥ 10 分钟 |
| 对象 | 增加节点组成员 | 驱逐 Pod 后终止实例 |
| 主要护栏 | max-nodes-total、组上限 | 本地存储、PDB、safe-to-evict |
| 设计哲学 | 快而激进(有 Pod 在等) | 慢而保守(怕误删) |
这张表值得记住:扩容为『可用的现在』买单,缩容为『不确定的未来』设防。所有参数(scale-down-utilization-threshold、scale-down-unneeded-time、max-nodes-total)都是这两极之间的旋钮。
三个常见误解
- 「CA 会替调度器决定 Pod 放哪」——错误。CA 只增删节点组成员,从不绑定 Pod;放置永远由真实调度器完成。CA 是容量供给方,不是放置决策方。
- 「节点利用率低就立刻被缩」——错误。低利用率只是必要条件,还要过『持续 unneeded 10 分钟』和『所有 Pod 可迁移』两道关,任何一道不过就保留节点。
- 「扩容是即时的」——错误。从 CA 判定到新 Pod 真正跑起来通常要 3~8 分钟(云实例创建 + 镜像 + 探针)。所以生产必须提前扩、留缓冲,不能把 CA 当秒级响应工具。
本节 lab
本节把『模拟调度 + 扩容』的闭环落到 autoscaler/autoscaler.go 的 ClusterAutoscaler.Simulate/NeedsScaleUp/AddNode:
cd private/labs/k8s-sched-lab
go test ./autoscaler -run TestClusterAutoscalerScaleUp -v
TestClusterAutoscalerScaleUp 用 2 个 8 核节点模拟 6 个 3 核 Pod:Simulate 判定 2 个装不下 → NeedsScaleUp 成立 → AddNode 后重放 BufferPods 全部装下。这正是本节扩容路径的最小可运行模型:模拟调度装不下 → 加节点 → 重放未调度 Pod 装下。真实 CA 的差异只在节点来自云厂商节点组、放置交给真实调度器,判定逻辑与 lab 完全一致——改 MaxNodes 还能看到节点上限对扩容的夹取,对应本节 max-nodes-total 护栏。
更直观的做法是给 Nodes 再追加一个 AddNode 的节点后重新 Simulate(BufferPods),观察未调度数从 2 降到 0——正是扩容闭环『决策→执行→验证』的完整形状。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。