《Kubernetes 分布式系统原理深入解析》14.3 与调度/驱逐协同、冷启动

缩容不是『删一台节点』一个动作,而是判定→cordon→驱逐→清空→终止的一串协同,每步都有 PDB、受保护 Pod 与可迁移性护栏。本节讲缩容安全护栏、镜像与探针带来的冷启动代价、HPA/节点级/VPA 的时间尺度差异,以及 maxUnavailable 滚动与缩容的叠加。lab 用缩容与扩容两个用例对照验证利用率阈值判定。

14.3 与调度/驱逐协同、冷启动

14.1、14.2 讲了节点级伸缩器如何『决定』加节点、减节点。但『决定减』离『真的减下来』之间隔着一条很长的协同链:驱逐、清空、终止,每一步都可能被护栏打断。本节把这条链、缩容的安全边界、冷启动的成本,以及它们如何反过来影响伸缩决策讲清楚。

缩容是一串协同,不是一步到位

CA 或 Karpenter 决定缩一台节点后,实际执行是一串串行动作:

1 判定节点空闲(利用率低 + 可迁移性验证通过)
2 cordon:标记不可调度,拒绝新 Pod
3 驱逐其上的 Pod(逐 Pod 发 Eviction API)
4 等待 kubelet 清空:终止容器、解除挂载、上报 Node 变空
5 调用云 API 终止实例
6 清理集群内的 Node 对象

每一步都可能是阻塞点:

  • 第 3 步被 PDB 卡住:某个 Pod 可用副本将低于下限,驱逐请求被拒绝,缩容暂停等待。
  • 第 3 步被优雅停机拖住:Pod 的 terminationGracePeriodSeconds(默认 30s)决定容器优雅停止的上限,长停机脚本会把整条链拉长。
  • 第 4 步被 volume 卸载卡住:节点还有卷未解除挂载时,kubelet 不会确认空,终止被挂起。

所以『缩容』的正确心智模型是一串受护栏约束的收敛动作,不是一行云 API 调用。它的耗时是各步之和——这也解释了为什么 14.1 里一台节点从『空闲』到『消失』要十几分钟。

Cordon 与驱逐 API:执行细节

前三步用的是两个标准 Kubernetes 机制,值得单独看:

  • Cordon:对 Node 打 spec.unschedulable: true。语义是『别再调度新 Pod 上来』,已在其上的 Pod 不受影响。缩容先 cordon 再驱逐,保证『一边在搬离、一边没有新入住』。
  • Eviction API:POST /api/v1/namespaces/{ns}/pods/{name}/eviction,请求体带 terminationGracePeriodSeconds。kube-apiserver 在放行前检查 PDB——可用副本会跌破 minAvailable 就返回 429/TooManyRequests,驱逐被拒绝。
  • 驱逐是逐个的:缩容器一次驱逐一个 Pod,等它确认终止(或被拒绝)再处理下一个,而不是一把梭。这样任一步被 PDB 拦住,都能停下重新评估。

这个执行模型保证:缩容的每一步都可中断、可重试、可观察。这也是为什么它不是一行云 API 调用——中间夹着 apiserver 的协商与 PDB 的裁决。

缩容安全护栏:受保护 Pod 与级联失败

缩容设计的第一原则是别让缩容制造新的故障。护栏分三层:

  • PDB 护栏:驱逐 Pod 前检查 PodDisruptionBudget 允许的可用副本下限,跌破就拒绝驱逐。这是『主动缩容』与『失联强制删除』的分水岭——9.3 章讲过,节点失联的强制删除会绕过 PDB,而主动缩容必须尊重 PDB。
  • 受保护 Pod:DaemonSet Pod、static/mirror Pod 不可驱逐;safe-to-evict 注解显式声明不可驱逐的 Pod 也不能碰;带本地存储的节点默认整台不缩(数据随节点销毁)。
  • 级联失败防护:可迁移性验证保证『这台节点消失后所有 Pod 都能放去别处』,否则保留;max-nodes-total 与 disruption budgets 限制一次最多删多少,避免同时清空太多容量触发雪崩。

这三层合起来的语义是:缩容只允许发生在『证明安全』之后。每层都是『先证明,后执行』的检查点,任何一层不过就整体暂停——而不是部分驱逐。

把护栏的动态作用走一个具体例子(3 副本 Deployment,PDB 要求 minAvailable: 2):

  1. 节点缩容想驱逐这个 Deployment 在目标节点上的 1 个副本。
  2. 检查时集群里该 Deployment 可用副本恰好 2 个——驱逐 1 个会跌破 2,Eviction API 返回拒绝,缩容暂停。
  3. 一段时间后,滚动更新或扩容把可用副本补到 3,缩容器重试驱逐,这次放行。
  4. 注意护栏没有『杀掉』缩容,只是让缩容等待——直到条件允许,链继续往下走。

这说明 PDB 与缩容是协商关系:缩容器反复尝试,PDB 决定何时放行。缩容不会硬闯,也不会放弃,它在一个受约束的循环里等机会。

冷启动代价:镜像、探针、就绪

每个新副本从『被创建』到『接流量』都要付一次固定启动成本,三段为主:

  • 拉镜像:镜像几十 MB 到几 GB,冷节点(该镜像从未缓存)要完整下载,几十秒到几分钟;并发扩容时镜像仓库还可能成为瓶颈。
  • 启动探针与就绪探针:应用进程起来后,startupProbe 给慢启动应用兜底,readinessProbe 通过前 Pod 不进 EndpointSlice、不接流量。
  • Endpoint 收敛:Pod Ready 后,Controller 更新 EndpointSlice,才真正有流量路由进来——这一步也有秒级延迟。

加总:一个副本从创建到接流量常见 30 秒到数分钟。把各段摊开看成本构成:

启动段典型耗时影响因素
调度与容器创建1~5s调度队列、镜像是否已缓存
拉镜像10s~几分钟镜像大小、冷/热节点、并发数
启动探针兜底0~几十秒应用启动速度、startupProbe 阈值
就绪探针通过秒~几十秒依赖初始化、健康检查逻辑
Endpoint 收敛秒级EndpointSlice 更新、DNS 缓存

这个数字不是背景噪音,而是伸缩决策的直接成本项——每次扩容都付,每次缩到 0 再拉起都再付一次。

冷启动如何影响伸缩决策

冷启动成本会反过来塑造伸缩策略:

  • 频繁伸缩 = 高频冷启动:负载每 10 分钟抖动一次,就频繁扩缩,每次的冷启动成本累加起来可能超过『常驻多几个副本』的浪费。
  • 缩到 0 再拉起的代价最高:从 0 到 1 没有预热副本可复用,冷启动全量付费。所以 scale-to-zero 只适合真正低频、延迟不敏感的批处理。
  • 稳定窗口是省钱的:cooldown/稳定窗口让副本数在波动中保持不动,把『反应灵敏』换成『少付启动费』。伸缩不是越快越好,是每单位可用性付的启动费最少。
  • 保底副本是缓冲:minReplicaCount 维持少量常驻,让小幅波动不需要冷启动就能消化,只在突破时才扩。

一句决策原则:当『负载波动周期 ≪ 冷启动时间』时,保持常驻比伸缩更划算;反之才值得频繁伸缩。量化见下文。

时间尺度:HPA 秒级、节点级分钟级、VPA 更慢

三层伸缩的时间尺度完全不同,理解后才能组合:

伸缩层决策周期生效时延职责
HPA/KEDA(副本级)15s秒到分钟随负载调副本数
节点级(CA/Karpenter)秒级巡检扩容 3~8 分钟、缩容 10+ 分钟保证集群容量供给
VPA(资源级)观测窗口小时级小时到天调 requests,防 OOM/浪费

它们的关系不是替代而是接力:HPA 扩副本但受节点容量上限约束;节点级伸缩器看到 Pending 后补节点,把容量上限抬起来;VPA 在更长时间尺度上修正单副本的资源画像。生产里三者常同时工作——不要指望任何一层单独解决全部伸缩问题。

把接力关系整理成一张决策清单,用于组合配置:

  1. 先定常驻底线:minReplicaCount 与节点组 min 保底,覆盖波动下限,避免缩到 0 高频冷启动。
  2. 副本级应对瞬时负载:HPA/KEDA 的指标与稳定窗口处理秒到分钟的波动,它是第一道防线。
  3. 节点级兜底容量:副本扩到上限仍 Pending 时,CA/Karpenter 补节点;扩容的 3~8 分钟滞后要靠『提前扩』或缓冲节点消化。
  4. PDB 覆盖叠加:为关键工作负载设 minAvailable,让滚动更新与节点缩容的驱逐撞车时仍有底线。
  5. 用冷启动成本核算判断:负载波动周期与冷启动时间对比决定『频繁伸缩』还是『维持保底』,见下文算式。

这五步把三个时间尺度、两类伸缩器、两层护栏串成一个完整的伸缩策略——每一层解决自己被设计来解决的那一段,谁也不替代谁。

滚动更新与 maxUnavailable 的叠加

节点级缩容与 Deployment 滚动更新是两个独立的驱逐源,它们叠加时容易踩坑:

  • 滚动更新用 maxUnavailable/maxSurge 控制同时停/加多少副本:maxUnavailable: 25% 意味着一次最多 25% 副本不可用。
  • 节点缩容驱逐的 Pod 也在减少可用副本。两者同时发生时,可用副本被『滚动替换 + 节点驱逐』双重消耗,可能跌破业务能承受的水位,尽管各自都在自己的护栏内。
  • 对策:给关键工作负载设 PDB,让节点缩容的驱逐也受『可用副本下限』约束;把滚动更新安排在节点缩容低谷期,或让 PDB 的 minAvailable 覆盖两者叠加的最坏情况。

这是第 9 章驱逐语义在节点级伸缩上的延伸:PDB 不只保护主动中断,也保护『两个主动中断撞车』。

频繁伸缩的隐形成本核算

把隐形成本量化成一个可复核的算式:

每次扩容固定成本 = 调度延迟 + 镜像拉取 + 探针等待 + Endpoint 收敛
每次缩容固定成本 = 驱逐 + 优雅停机 + 节点资源回收

举例:镜像拉取平均 40s、探针等待 30s、Endpoint 10s,则每次扩容约 80s 的『不可用时间』。若每天扩缩 30 次、平均 5 副本,一天就有 30 × 5 × 80s ≈ 3.3 小时 的副本时间花在启动上——这些副本在多数时刻并不产生处理能力。把这个数字和『常驻多 2 个副本』的成本对比,就能客观决定是频繁伸缩还是维持保底。伸缩不是免费的,它的账单就是冷启动与驱逐的开销。

把两种策略在同一个负载剖面下对比(波动 30 次/天、峰值需要 5 副本、冷启动 80s):

策略配置每天启动开销资源闲置
频繁伸缩min 1、跟随负载扩到 5约 3.3 小时副本时间低
保底常驻min 3、只在峰值扩约 1.1 小时(30 次 × 2 副本 × 80s)中等
全常驻min 5、从不缩0高(低谷时 5 副本闲置)

没有绝对最优——选择取决于『启动开销』与『闲置成本』的比值:镜像越大、探针越慢,越偏向常驻;机器越贵、低谷越长,越偏向频繁伸缩。

三个常见误解

  • 「缩容就是调用云 API 删一台机器」——错误。缩容是一条判定→cordon→驱逐→清空→终止的串行链,每步都可能被 PDB、优雅停机、卷卸载卡住,耗时是各步之和。
  • 「主动缩容的驱逐和节点失联的删除一样,都绕过 PDB」——错误。节点失联的强制删除绕过 PDB;主动缩容必须尊重 PDB,跌破可用下限就暂停。
  • 「伸缩越快越好」——错误。冷启动是固定成本,负载波动周期短于冷启动时间时,频繁伸缩是净亏损;稳定窗口与保底副本往往更省钱。

本节 lab

本节把『利用率阈值缩容』与『模拟扩容』的对照落到 autoscaler/autoscaler.go 的 MaybeScaleDown 与 Simulate:

cd private/labs/k8s-sched-lab
go test ./autoscaler -run 'TestClusterAutoscalerScaleDown|TestClusterAutoscalerScaleUp' -v

TestClusterAutoscalerScaleDown 验证:2 台 8 核节点各只用 1 核,平均利用率 1/8 远低于 ScaleDownThreshold 0.5 → 移除最空闲的一台;只剩 1 台后不再缩容(护栏:不能缩到空集群)。TestClusterAutoscalerScaleUp 对照验证扩容侧『装不下→加节点』。两个用例合起来正是本节的核心:缩容靠『利用率低于阈值且可迁移』触发,扩容靠『模拟调度装不下』触发,两侧护栏不同,方向相反。

在 lab 里把 ScaleDownThreshold 调高到 0.9 再跑 TestClusterAutoscalerScaleDown,可以观察护栏的敏感性:阈值越高越容易被判定空闲——对应生产里调 scale-down-utilization-threshold 的直觉;而 MaxNodes 对应 max-nodes-total 的上限护栏。一个小模型覆盖本节缩容侧的全部关键旋钮。

至此,第 14 章收束:节点级伸缩从『模拟调度判定』到『声明式生命周期』再到『驱逐协同与冷启动』,形成了节点容量供给的完整闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图