5.3 抢占的代价与可容忍性
5.1 节讲了抢占「怎么做」,本节问一个更尖锐的问题:为什么可以这么做。抢占驱逐正在运行的 Pod——中断用户流量、打断批处理、制造孤儿工作。这些代价是真实的,抢占能存在,是因为它把「高优先级工作必须尽快运行」的价值,与「低优先级工作被中断」的代价做了权衡。
本节把抢占的三种代价量化,讨论把代价压到可容忍的四道防线,最后给出设计判断:抢占不是银弹,什么场景该换别的机制。
代价一:被驱逐 Pod 的 SLO 中断
最直接的代价:受害者 Pod 的可用性承诺被破坏。
- 一个无状态 API 的 Pod 被抢占:它的请求被终止,副本重建,但流量由其他副本承接——中断可容忍。
- 一个批处理任务被抢占:处理到一半的作业直接死亡,进度丢失(除非 checkpoint)——代价高。
- 一个有状态数据库 Pod 被抢占:可能是灾难性的——所以 K8s 默认禁止抢占带 PodDisruptionBudget 约束的受害者。
代价高低取决于被驱逐者的可中断性:无状态副本最便宜,批处理次之,有状态最贵。抢占的合理性依赖「受害者是可重试的」这个前提——这解释了为什么抢占常与无状态工作负载配套使用。
代价二:级联效应
一个 Pod 被驱逐,可能引发一连串后果:
- 被驱逐 Pod 的
terminationGracePeriod(默认 30s)内还没退干净,会被 SIGKILL——优雅终止失败。 - 它的控制器发现副本数不达标,重新创建——刚腾出的资源又被占用。
- 新 Pod 又与高优先级 Pod 竞争,再次被抢占——形成「抢占 → 重建 → 再抢占」的乒乓。
级联效应是抢占最难控制的部分:调度器的驱逐决策是局部的(一个节点、一个 Pod),但后果是全局的(触发一串控制器动作)。K8s 用 nominatedNode + 回队列重试(5.1 节)打断这种乒乓——高优先级 Pod 等受害者真正退出再绑定,避免「抢占到一半又被别的事件打乱」。
代价三:调度浪费
抢占本身消耗调度资源:
- 抢占模拟:对每个候选节点算「驱逐谁、够不够」——是比普通调度更重的计算。
- 重复调度:被驱逐的 Pod 要重新排队、重新 Filter/Score、重新绑定。
- 提名队列管理:高优先级 Pod 挂在 nominatedNode 上的管理成本。
这些浪费平时不明显,但在抢占风暴(第 5.2 节提到的优先级军备竞赛)时会被放大:大量高优先级 Pod 互相驱逐、反复重排,调度器吞吐被抢占模拟吃光,反而拖慢正常调度。抢占是成本高且不可控的操作,必须被触发条件严格限制——这是 5.1 节「三个前置条件缺一不可」的动机。
把代价压到可容忍的四道防线
抢占能存在而不失控,靠四层设计:
| 防线 | 机制 | 压掉的代价 |
|---|---|---|
| 触发限制 | 资源不足类失败 + 优先级够高 + PreemptLowerPriority | 无关失败不触发 |
| 破坏最小化 | 优先级最低 + 资源大者优先 + PDB 保护 | 少驱逐、不伤关键受害者 |
| 异步化 | nominatedNode + 回队列等事件 | 不阻塞、打断乒乓 |
| 优雅终止 | terminationGracePeriod、PreStop hook | 给受害者退场时间 |
这四道防线对应 5.1 节的流程设计。抢占的正确性不在「能不能抢」,在「抢得克制」——每道防线都在压缩代价。
可容忍性的判断基准
给运维一个判断「这次抢占可不可接受」的基准:
可容忍 ⟺ 受害者可重试(无状态/可 checkpoint)且 驱逐数最少且 优雅终止可完成
三个条件任一不满足(有状态受害者、一次驱逐一片、30s 都退不完),抢占就是不可接受的——这时该考虑替代机制,而不是依赖抢占。
什么时候不该用抢占
抢占的替代方案各解决不同问题:
| 场景 | 替代方案 | 对应章节 |
|---|---|---|
| 有状态受害者不能被打断 | 预留资源(Reserved)、节点池隔离 | 8.1 |
| 资源整体不足 | 节点伸缩(Cluster Autoscaler) | 14 |
| 低优先级工作要稳定 | 用 QoS 隔离 + 驱逐顺序,而非抢占 | 9 |
| 高优先级要保障 | 预留节点/专用节点池 | 3.2 |
抢占解决的是「短期的、资源竞争的、可重试负载之间的优先级冲突」。资源长期不足该扩容、关键负载该隔离——把抢占当万能解,是把临时手段当成了架构。
抢占风暴与抑制机制
5.2 节提到优先级军备竞赛会引发抢占风暴。风暴的特征与后果:
| 特征 | 后果 |
|---|---|
| 大量高优先级 Pod 同时调度失败 | 抢占模拟的 CPU 消耗骤增 |
| 受害者被驱逐后立即重建 | 刚释放的资源又被占用 |
| 多个高优先级 Pod 竞争同一节点 | 提名反复失效,绑定延迟飙升 |
K8s 抑制风暴的机制(对应 5.1 节流程):
- 抢占前置的严格条件:不是所有失败都触发抢占(资源类 + 优先级 + 策略)。
- 异步驱逐 + nominatedNode:高优先级 Pod 等资源真正释放,不立刻绑定,避免「抢到一半被打断」的连锁。
- 驱逐序列化:同一节点上的驱逐有序进行,不并发杀一片。
- PDB 保护:受害者的可用性底线挡住「杀太多」的贪婪。
风暴的根治不在机制在配置:优先级数值要有合理梯度、Never 策略用于不需要抢占的工作、资源长期不足就扩容(第 14 章)。抢占风暴是配置问题的症状,不是机制缺陷——抑制机制只是刹车,方向要靠设计定。
从抢占到预留:架构级的替代
本节反复强调「抢占是重手段」。架构层面,替代抢占的思路是把竞争前置消除:
| 思路 | 做法 | 效果 |
|---|---|---|
| 资源预留 | 为高优先级工作预留节点/容量(Reserved pool) | 高优先级天然有位置,无需抢占 |
| 容量规划 | 按峰值规划集群,留足余量 | 竞争根本不发生 |
| 分层隔离 | 高/低优先级用不同节点池(污点隔离) | 物理隔离,无抢占可言 |
| 弹性扩容 | 资源紧张时自动加节点(第 14 章) | 用容量换竞争 |
这些替代的成本是容量浪费或架构复杂度,收益是没有抢占——没有受害者、没有 SLO 中断、没有级联。设计判断:竞争频繁 → 架构前置消除(预留/扩容/隔离);竞争偶发 → 抢占兜底。把抢占当常态手段,是把架构问题误诊成了调度问题。
可容忍性清单:评估一次抢占的四问
把本节的可容忍性判断收成一个操作清单,评估一次抢占是否可接受,问四个问题:
| 问 | 可接受的条件 | 不可接受的信号 |
|---|---|---|
| 受害者可重试吗? | 无状态、有 checkpoint | 有状态、无检查点 |
| 驱逐数最少吗? | 只驱逐满足所需的最少者 | 一次驱逐一大片 |
| 优雅终止能完成吗? | PreStop + 期限够 | 30s 都退不完 |
| 触发克制吗? | 偶发资源竞争 | 抢占成为常态 |
四问全过,抢占是「正确的最后手段」;任一不过,就该停下换机制(预留、扩容、隔离,见「从抢占到预留」)。
这份清单也是设计清单:想让抢占可容忍,就在这四个维度上做文章——受害者设计成可重试、算法做破坏最小化、给足优雅终止时间、用触发条件压频率。抢占的可容忍性不是运气,是设计出来的边界条件。
三个常见误解
- 「抢占是无代价的,反正 Pod 会自动重建」——错误。重建不等于无代价:批处理丢进度、有状态丢数据、级联重新调度都消耗资源。抢占是「用重建成本换优先级」,不是免费的。
- 「抢占越快越好,应该立刻杀掉受害者」——错误。优雅终止(PreStop hook、terminationGracePeriod)是降低代价的关键;快是次要的,代价小才是首要的。
- 「高优先级就能随便抢占任何低优先级 Pod」——错误。有 PDB 的受害者不驱逐、
Never策略不抢人、触发条件严格——抢占是受控特权,不是无限特权。
从抢占代价看分布式系统的取舍
抢占是分布式系统「可用性 vs 优先级」权衡的典型样本:系统的价值不止「把工作跑完」,还包括「按重要性跑」。抢占用「牺牲低重要性工作的连续性」换取「高重要性工作的及时性」——这是资源竞争激烈时的理性选择,也是必须克制的原因。任何带优先级语义的分布式系统(任务队列、资源管理器、批处理调度)都有类似的抢占设计,K8s 的 Preemption 只是其中克制度较高的一例。
一句话总结本节
抢占的代价与可容忍性收成三个要点:
- 三种代价:SLO 中断(受害者可重试性)、级联效应(控制器重建乒乓)、调度浪费(模拟与重复调度)。
- 四道防线:触发限制、破坏最小化(含 PDB)、异步化、优雅终止——可容忍性是设计叠出来的。
- 可容忍四问:受害者可重试吗?驱逐最少吗?优雅能完成吗?触发克制吗?任一不过就换机制。
抢占是最后手段不是默认手段:竞争频繁时用预留/扩容/隔离在架构层面前置消除。第 5 章到此收束,下一章进入拓扑感知调度。
可容忍性四问卡
评估一次抢占前,把这张卡贴在脑门上:
| 问题 | 可接受 | 不可接受 |
|---|---|---|
| 受害者可重试吗 | 无状态/可 checkpoint | 有状态/无检查点 |
| 驱逐数最少吗 | 刚够就停 | 一次驱逐一片 |
| 优雅终止能完成吗 | PreStop + 期限够 | 30s 退不完 |
| 触发克制吗 | 偶发竞争 | 抢占成常态 |
四问全过 → 抢占是合理兜底;任一不过 → 换预留/扩容/隔离。这张卡同时是设计卡:想让抢占可容忍,就在四个维度上做文章。
本节 lab
本节把「驱逐后满足 + 最少驱逐」落到 preempt/preempt.go 的 SelectVictims 与 TestPreemptFreesResource:
cd private/labs/k8s-sched-lab
go test ./preempt -run TestPreemptFreesResource -v
TestPreemptFreesResource 验证:两个低优先级 Pod 里,只驱逐一个(资源刚够)就满足 incoming 需求,且驱逐后模拟资源释放能装下 incoming。这正是本节「破坏最小化、驱逐要克制」的可运行验证——抢占的价值在被控制的代价之内。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。