《Kubernetes 分布式系统原理深入解析》5.2 PriorityClass 的分布式协调

优先级不是一个 Pod 的私有字段,而是集群级的共享配置:PriorityClass 是全局对象,Pod 通过名字引用它获得数值。本节拆这个『分布式协调』模型——为什么优先级要集中定义(保证全集群一致的排序)、preemptionPolicy 字段如何全局决定谁能抢占,以及优先级如何进入调度决策的三个环节(队列排序、抢占触发、运行期)。lab 用 preempt/priority.go 验证 PriorityClass 解析与抢占策略。

5.2 PriorityClass 的分布式协调

5.1 节的抢占按「优先级」选受害者——但「优先级」到底存哪?它不是一个 Pod 里写个数字就完事的。K8s 的答案是:优先级是集群级的共享配置,由 PriorityClass 全局对象统一定义,Pod 通过名字引用。

这个设计是典型的分布式协调:调度器、每个 kubelet、所有控制器都要读优先级,若每个 Pod 自带随意数字,全集群就没有一致的排序依据。本节拆 PriorityClass 的模型、preemptionPolicy 的全局语义,以及优先级在调度决策的三个环节如何被消费。

PriorityClass:全局优先级表

PriorityClass 是集群级(非命名空间)对象:

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: high-priority
value: 1000000
preemptionPolicy: PreemptLowerPriority
globalDefault: false

要点:

  • value:优先级数值。1-10 亿之间,越大越优先。调度器、kubelet 都读它。
  • globalDefault:若为 true,未引用任何类的 Pod 默认用这个值。
  • preemptionPolicy:PreemptLowerPriority(默认,可抢占)或 Never(永不抢占)。

Pod 引用它:

spec:
  priorityClassName: high-priority
  priority: 1000000      # 由调度器填写的解析结果(用户不直接写)

名字 → 数值的解析由控制面完成:调度器读 PriorityClass informer(1.2 节),把 priorityClassName 解析成 spec.priority。lab 的 Registry.Resolve 就是这个解析:Resolve("high-priority") → 1000000,未注册名回退 0。

为什么优先级要「集中定义」

优先级若每个 Pod 直接写数字,会有两个分布式问题:

  1. 不一致:不同用户对「高」的理解不同(有人写 100,有人写 1000000),调度器没法可靠地比较。
  2. 不可管理:改策略(比如「所有高优先级 Pod 降低一档」)要逐个改 Pod。

PriorityClass 把数值表集中:全集群只有一个权威来源,所有 Pod 引用同一张表。改策略 = 改类定义,一次生效。这正是「配置即协调」——用共享配置对象替代协议协商,是 K8s 里最常见的分布式协调手段(卷二里 PriorityClass 同级的还有 StorageClass、RuntimeClass)。

preemptionPolicy:谁能抢占,全局一致

preemptionPolicy 是优先级协调里最微妙的部分:它不是「这个 Pod 值多少分」,而是「这个 Pod 允不允许抢占别人」:

  • PreemptLowerPriority(默认):可以抢占,优先级低于它的 Pod 都是潜在受害者。
  • Never:永不抢占——即使它优先级很高,调度失败也不会驱逐别人。

为什么需要 Never?有些高优先级工作不应该打断正在运行的工作——比如刚处理完一批数据的批处理任务、一次性的关键迁移任务。让它们声明「别为了我打断别人」,是对「优先级即特权」的主动约束。lab 的 CanPreempt 就是这条:PreemptionPolicy != "Never" 才允许抢占。

注意一个不对称:Never 只禁「主动抢」,不禁「被抢」——一个 Never 的 Pod 若优先级低,照样可能被更高优先级的 Pod 驱逐。抢占策略是单向的。

优先级进入调度决策的三个环节

优先级不是只在抢占时用。它贯穿调度的三个环节:

环节优先级的作用章节
队列排序ActiveQ 按优先级降序 pop,高优先级先调度2.2
抢占触发调度失败时判断是否有资格抢占、受害者按优先级选5.1
运行期NoExecute 驱逐、节点压力驱逐按优先级后驱逐(第 9 章)9.2

同一份数值在「先调度、可抢占、后驱逐」三个环节被消费——优先级是调度到运行全链路的统一排序依据。这就是「分布式协调」的意义:一个全局一致的值,全链路一致地使用。

优先级与 QoS 的边界

优先级(priority,调度语义)与 QoS(服务质量,运行时语义,第 9 章)是两个正交维度,常被混淆:

维度决定什么谁消费
优先级谁先调度、谁能抢占调度器
QoS资源耗尽时谁先被驱逐kubelet(节点压力)

一个 Pod 可以「高优先级 + BestEffort QoS」——调度时插队,但节点内存紧张时先死。也可以「低优先级 + Guaranteed QoS」——慢慢排,但一旦跑起来最稳。别用优先级表达 QoS,反之亦然——它们是两个坐标系,第 9.2 节会再展开驱逐排序。

优先级风暴:协调失败的代价

集中定义优先级能防乱,但数值设计不当会引发抢占风暴:

  • 把系统组件(如控制器、kubelet 相关的关键 Pod)设成超高优先级,它们一旦调度失败就抢占业务 Pod。
  • 多套系统都声明「我最高」,抢占变成「看谁晚声明」。

K8s 的缓解:给关键系统 Pod 设一个合理的高值而非极端值,用 Never 禁抢不需要抢占的工作,避免数值军备竞赛。优先级表是集群的政治,集中定义反而要求更谨慎的设计。

优先级数值的设计空间

value 的取值范围是 1-10 亿(math.MaxInt32 - 1 以内)。怎么分档,是集群的优先级政治。一套常见设计:

档位数值范围用途
系统关键900000000+控制面组件、系统 daemon
高优先业务1000000+核心交易、在线服务
普通业务100000-999999一般无状态服务
低优先<100000批处理、离线任务

设计要点:

  • 档位之间留出量级差:至少 10 倍,避免「多套系统都在 90 万附近」无法区分。
  • 系统组件用『高而不过高』:太高会让系统 Pod 抢占业务;太低会被业务抢占。
  • 新增档位走评审:优先级表是全集群契约,改它是变更不是调参。

一个好的优先级表让「插队」变得可预期:高优先级业务插到普通业务前面,但不会插到系统组件前面。数值设计 = 集群的可用性层级声明。

优先级与命名空间的隔离

优先级是集群级资源,但 Pod 在命名空间里——优先级默认跨命名空间生效:

  • high-priority 类可以被任何命名空间的 Pod 引用。
  • 命名空间 A 的高优先 Pod 可以抢占命名空间 B 的低优先 Pod——优先级无视命名空间边界。

这带来隔离问题:一个命名空间滥用高优先级类,会抢占其他命名空间的工作。缓解手段:

  • 用 ResourceQuota(命名空间级)限制资源,间接限制「能抢多少」。
  • 用 优先级类的准入限制(只允许特定用户引用特定类)控制谁能用高优先级。
  • 需要硬隔离的命名空间,用专用节点池(污点)物理隔离——3.2 节的机制。

优先级「全局一致」的语义既是力量也是风险:一致排序保证公平,但跨空间生效需要访问控制来收口。这是「共享配置做协调」必须配套治理的典型。

PriorityClass 的准入与默认值

PriorityClass 的全局语义需要一个「默认值」的细节:globalDefault。

  • 只有一个 PriorityClass 能把 globalDefault: true——它是未声明优先级类的 Pod 的兜底值。
  • 没有设置 globalDefault 时,未声明类的 Pod 优先级为 0——最容易被抢占。

这带来两个运维要点:

  1. 给系统组件设一个合理的高优先级,否则它们(未声明类,优先级 0)会被业务 Pod 抢占——这是「系统组件莫名被驱逐」的常见原因。
  2. 全局只有一个默认类,改默认值会影响所有未声明类的 Pod——变更影响面大,需谨慎。

准入侧:K8s 还允许用 scheduling.k8s.io/v1 的准入控制限制谁可以引用高优先级类(globalDefault 的管理也要权限)。优先级是权限的一部分——能让 Pod 插队是特权,控制谁能拿到这个特权是治理职责。

三个常见误解

  • 「优先级是 Pod 自己写的数字」——错误。用户写的是 priorityClassName(名字);priority 数值由控制面解析填充。直接改 spec.priority 是不稳定行为(会被调度器覆盖)。
  • 「Never 策略的 Pod 不会被驱逐」——错误。Never 只禁「主动抢占」;它作为低优先级 Pod 时照样可能被高优先级抢占,节点压力驱逐也照常。
  • 「优先级只在抢占时有意义」——错误。队列排序、抢占、运行期驱逐三处都用同一份优先级值。优先级是「从调度到运行的全链路排序依据」。

从 PriorityClass 看分布式协调模式

PriorityClass 是卷三里「共享配置对象做协调」的典型样本,和第 6 章拓扑约束、第 11 章 HPA 目标一样:用 apiserver 里的配置对象表达集群级意图,各组件 watch 它、各自消费。这套模式贯穿卷三——不是各组件自己商量,而是所有人读同一份声明。这与卷二「声明式 API」的哲学完全一致:期望状态集中声明,系统向它收敛。

一句话总结本节

PriorityClass 的分布式协调收成三个要点:

  • 集中定义:优先级是集群级共享配置,Pod 引用名字、控制面解析数值,全链路一致消费(队列排序、抢占、驱逐)。
  • preemptionPolicy 单向语义:Never 禁主动抢占,但作为低优先级仍可被抢、被驱逐。
  • 与 QoS 正交:优先级管「谁先调度/谁能抢占」,QoS 管「资源耗尽时谁先死」——两个坐标系。

优先级表是集群的政治,数值设计需谨慎(梯度、系统组件合理高值、访问控制)。下一节讲抢占的代价与可容忍性。

本节 lab

本节把优先级协调落到 preempt/priority.go:Registry.Resolve(名字 → 数值)、CanPreempt(抢占策略):

cd private/labs/k8s-sched-lab
go test ./preempt -run TestPriorityClassResolve -v

TestPriorityClassResolve 覆盖:Resolve("critical") → 100000、未注册名回退 0、PreemptLowerPriority 允许抢占、Never 禁止抢占。这正是「名字解析到全局一致数值、抢占策略单向生效」的最小验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图