《Kubernetes 分布式系统原理深入解析》5.3 抢占的代价与可容忍性

抢占是『用中断换位置』:被驱逐 Pod 的 SLO 中断、级联失败、重复调度都是实打实的代价。本节定量看抢占的三种代价(SLO 中断、级联效应、调度浪费),讨论为什么抢占必须『能容忍才做』——触发条件、破坏最小化、优雅终止共同把代价压到可接受,最后给出设计判断:什么时候该用抢占,什么时候该用预留、扩容等其他手段。lab 用 preempt/preempt.go 验证驱逐后资源满足与『最少驱逐』。

5.3 抢占的代价与可容忍性

5.1 节讲了抢占「怎么做」,本节问一个更尖锐的问题:为什么可以这么做。抢占驱逐正在运行的 Pod——中断用户流量、打断批处理、制造孤儿工作。这些代价是真实的,抢占能存在,是因为它把「高优先级工作必须尽快运行」的价值,与「低优先级工作被中断」的代价做了权衡。

本节把抢占的三种代价量化,讨论把代价压到可容忍的四道防线,最后给出设计判断:抢占不是银弹,什么场景该换别的机制。

代价一:被驱逐 Pod 的 SLO 中断

最直接的代价:受害者 Pod 的可用性承诺被破坏。

  • 一个无状态 API 的 Pod 被抢占:它的请求被终止,副本重建,但流量由其他副本承接——中断可容忍。
  • 一个批处理任务被抢占:处理到一半的作业直接死亡,进度丢失(除非 checkpoint)——代价高。
  • 一个有状态数据库 Pod 被抢占:可能是灾难性的——所以 K8s 默认禁止抢占带 PodDisruptionBudget 约束的受害者。

代价高低取决于被驱逐者的可中断性:无状态副本最便宜,批处理次之,有状态最贵。抢占的合理性依赖「受害者是可重试的」这个前提——这解释了为什么抢占常与无状态工作负载配套使用。

代价二:级联效应

一个 Pod 被驱逐,可能引发一连串后果:

  • 被驱逐 Pod 的 terminationGracePeriod(默认 30s)内还没退干净,会被 SIGKILL——优雅终止失败。
  • 它的控制器发现副本数不达标,重新创建——刚腾出的资源又被占用。
  • 新 Pod 又与高优先级 Pod 竞争,再次被抢占——形成「抢占 → 重建 → 再抢占」的乒乓。

级联效应是抢占最难控制的部分:调度器的驱逐决策是局部的(一个节点、一个 Pod),但后果是全局的(触发一串控制器动作)。K8s 用 nominatedNode + 回队列重试(5.1 节)打断这种乒乓——高优先级 Pod 等受害者真正退出再绑定,避免「抢占到一半又被别的事件打乱」。

代价三:调度浪费

抢占本身消耗调度资源:

  • 抢占模拟:对每个候选节点算「驱逐谁、够不够」——是比普通调度更重的计算。
  • 重复调度:被驱逐的 Pod 要重新排队、重新 Filter/Score、重新绑定。
  • 提名队列管理:高优先级 Pod 挂在 nominatedNode 上的管理成本。

这些浪费平时不明显,但在抢占风暴(第 5.2 节提到的优先级军备竞赛)时会被放大:大量高优先级 Pod 互相驱逐、反复重排,调度器吞吐被抢占模拟吃光,反而拖慢正常调度。抢占是成本高且不可控的操作,必须被触发条件严格限制——这是 5.1 节「三个前置条件缺一不可」的动机。

把代价压到可容忍的四道防线

抢占能存在而不失控,靠四层设计:

防线机制压掉的代价
触发限制资源不足类失败 + 优先级够高 + PreemptLowerPriority无关失败不触发
破坏最小化优先级最低 + 资源大者优先 + PDB 保护少驱逐、不伤关键受害者
异步化nominatedNode + 回队列等事件不阻塞、打断乒乓
优雅终止terminationGracePeriod、PreStop hook给受害者退场时间

这四道防线对应 5.1 节的流程设计。抢占的正确性不在「能不能抢」,在「抢得克制」——每道防线都在压缩代价。

可容忍性的判断基准

给运维一个判断「这次抢占可不可接受」的基准:

可容忍 ⟺ 受害者可重试(无状态/可 checkpoint)且 驱逐数最少且 优雅终止可完成

三个条件任一不满足(有状态受害者、一次驱逐一片、30s 都退不完),抢占就是不可接受的——这时该考虑替代机制,而不是依赖抢占。

什么时候不该用抢占

抢占的替代方案各解决不同问题:

场景替代方案对应章节
有状态受害者不能被打断预留资源(Reserved)、节点池隔离8.1
资源整体不足节点伸缩(Cluster Autoscaler)14
低优先级工作要稳定用 QoS 隔离 + 驱逐顺序,而非抢占9
高优先级要保障预留节点/专用节点池3.2

抢占解决的是「短期的、资源竞争的、可重试负载之间的优先级冲突」。资源长期不足该扩容、关键负载该隔离——把抢占当万能解,是把临时手段当成了架构。

抢占风暴与抑制机制

5.2 节提到优先级军备竞赛会引发抢占风暴。风暴的特征与后果:

特征后果
大量高优先级 Pod 同时调度失败抢占模拟的 CPU 消耗骤增
受害者被驱逐后立即重建刚释放的资源又被占用
多个高优先级 Pod 竞争同一节点提名反复失效,绑定延迟飙升

K8s 抑制风暴的机制(对应 5.1 节流程):

  • 抢占前置的严格条件:不是所有失败都触发抢占(资源类 + 优先级 + 策略)。
  • 异步驱逐 + nominatedNode:高优先级 Pod 等资源真正释放,不立刻绑定,避免「抢到一半被打断」的连锁。
  • 驱逐序列化:同一节点上的驱逐有序进行,不并发杀一片。
  • PDB 保护:受害者的可用性底线挡住「杀太多」的贪婪。

风暴的根治不在机制在配置:优先级数值要有合理梯度、Never 策略用于不需要抢占的工作、资源长期不足就扩容(第 14 章)。抢占风暴是配置问题的症状,不是机制缺陷——抑制机制只是刹车,方向要靠设计定。

从抢占到预留:架构级的替代

本节反复强调「抢占是重手段」。架构层面,替代抢占的思路是把竞争前置消除:

思路做法效果
资源预留为高优先级工作预留节点/容量(Reserved pool)高优先级天然有位置,无需抢占
容量规划按峰值规划集群,留足余量竞争根本不发生
分层隔离高/低优先级用不同节点池(污点隔离)物理隔离,无抢占可言
弹性扩容资源紧张时自动加节点(第 14 章)用容量换竞争

这些替代的成本是容量浪费或架构复杂度,收益是没有抢占——没有受害者、没有 SLO 中断、没有级联。设计判断:竞争频繁 → 架构前置消除(预留/扩容/隔离);竞争偶发 → 抢占兜底。把抢占当常态手段,是把架构问题误诊成了调度问题。

可容忍性清单:评估一次抢占的四问

把本节的可容忍性判断收成一个操作清单,评估一次抢占是否可接受,问四个问题:

问可接受的条件不可接受的信号
受害者可重试吗?无状态、有 checkpoint有状态、无检查点
驱逐数最少吗?只驱逐满足所需的最少者一次驱逐一大片
优雅终止能完成吗?PreStop + 期限够30s 都退不完
触发克制吗?偶发资源竞争抢占成为常态

四问全过,抢占是「正确的最后手段」;任一不过,就该停下换机制(预留、扩容、隔离,见「从抢占到预留」)。

这份清单也是设计清单:想让抢占可容忍,就在这四个维度上做文章——受害者设计成可重试、算法做破坏最小化、给足优雅终止时间、用触发条件压频率。抢占的可容忍性不是运气,是设计出来的边界条件。

三个常见误解

  • 「抢占是无代价的,反正 Pod 会自动重建」——错误。重建不等于无代价:批处理丢进度、有状态丢数据、级联重新调度都消耗资源。抢占是「用重建成本换优先级」,不是免费的。
  • 「抢占越快越好,应该立刻杀掉受害者」——错误。优雅终止(PreStop hook、terminationGracePeriod)是降低代价的关键;快是次要的,代价小才是首要的。
  • 「高优先级就能随便抢占任何低优先级 Pod」——错误。有 PDB 的受害者不驱逐、Never 策略不抢人、触发条件严格——抢占是受控特权,不是无限特权。

从抢占代价看分布式系统的取舍

抢占是分布式系统「可用性 vs 优先级」权衡的典型样本:系统的价值不止「把工作跑完」,还包括「按重要性跑」。抢占用「牺牲低重要性工作的连续性」换取「高重要性工作的及时性」——这是资源竞争激烈时的理性选择,也是必须克制的原因。任何带优先级语义的分布式系统(任务队列、资源管理器、批处理调度)都有类似的抢占设计,K8s 的 Preemption 只是其中克制度较高的一例。

一句话总结本节

抢占的代价与可容忍性收成三个要点:

  • 三种代价:SLO 中断(受害者可重试性)、级联效应(控制器重建乒乓)、调度浪费(模拟与重复调度)。
  • 四道防线:触发限制、破坏最小化(含 PDB)、异步化、优雅终止——可容忍性是设计叠出来的。
  • 可容忍四问:受害者可重试吗?驱逐最少吗?优雅能完成吗?触发克制吗?任一不过就换机制。

抢占是最后手段不是默认手段:竞争频繁时用预留/扩容/隔离在架构层面前置消除。第 5 章到此收束,下一章进入拓扑感知调度。

可容忍性四问卡

评估一次抢占前,把这张卡贴在脑门上:

问题可接受不可接受
受害者可重试吗无状态/可 checkpoint有状态/无检查点
驱逐数最少吗刚够就停一次驱逐一片
优雅终止能完成吗PreStop + 期限够30s 退不完
触发克制吗偶发竞争抢占成常态

四问全过 → 抢占是合理兜底;任一不过 → 换预留/扩容/隔离。这张卡同时是设计卡:想让抢占可容忍,就在四个维度上做文章。

本节 lab

本节把「驱逐后满足 + 最少驱逐」落到 preempt/preempt.go 的 SelectVictims 与 TestPreemptFreesResource:

cd private/labs/k8s-sched-lab
go test ./preempt -run TestPreemptFreesResource -v

TestPreemptFreesResource 验证:两个低优先级 Pod 里,只驱逐一个(资源刚够)就满足 incoming 需求,且驱逐后模拟资源释放能装下 incoming。这正是本节「破坏最小化、驱逐要克制」的可运行验证——抢占的价值在被控制的代价之内。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图