《Kubernetes 分布式系统原理深入解析》2.2 ActiveQ/BackoffQ/UnschedulableQ

调度队列不是一条队列,而是三张:ActiveQ 放可立即尝试的 Pod(按优先级排序)、BackoffQ 放刚失败等待指数退避重试的 Pod、UnschedulableQ 放失败且等待事件驱动的 Pod。本节拆三个队列的语义、流转规则与移动触发条件,说明它们共同实现『失败不丢、重试不忙、事件不miss』的调度健壮性。lab 用 queue/queue.go 的 SchedulingQueue 复现三队列转移、退避到期与优先级 pop。

2.2 ActiveQ/BackoffQ/UnschedulableQ

2.1 节的循环里,调度器的队列不是一条线性的「先进先出」,而是三张队列:ActiveQ(活跃)、BackoffQ(退避)、UnschedulableQ(不可调度)。这三张队列是整个调度框架里最容易被低估的机制——它们解决一个朴素的问题:一个调度失败的 Pod,什么时候重试?

如果失败就立刻重试,会打爆循环(thundering herd);如果永不重试,Pod 永远卡 Pending。三队列在「立即重试」和「永不重试」之间找到折中:退避重试的进 BackoffQ,等事件重试的进 UnschedulableQ。本节拆它们的语义与流转。

三张队列各管什么

队列存放什么时候离开
ActiveQ可立即尝试调度的 Podpop 进入循环体
BackoffQ刚失败、需要等一会儿再试的 Pod退避到期自动移回 ActiveQ
UnschedulableQ失败、但等某个事件才可能成功的 Pod相关事件触发整体移回 ActiveQ

关键区分在 BackoffQ 与 UnschedulableQ 的离开条件不同:

  • BackoffQ 靠时间离开——指数退避到期,自动回 ActiveQ。适合「失败原因会自行好转、或值得反复试探」的情况。
  • UnschedulableQ 靠事件离开——节点加入、其他 Pod 删除等事件触发。适合「失败原因只能靠外部变化修复」的情况。

真实调度器里这两张队列的边界其实是动态的:调度失败后,Pod 先进 BackoffQ(立即按退避安排重试时间),多次尝试失败后才进 UnschedulableQ 长期等待事件。lab 为了把语义讲清楚,把「可被事件修复的失败」直接放进 UnschedulableQ,其余进 BackoffQ——这是教学简化,方向与真实实现一致。

ActiveQ 的排序:为什么按优先级

ActiveQ 不是普通 FIFO。pop 时取优先级最高的 Pod(第 5.2 节的 PriorityClass 决定值)。这个排序就是「高优先级先调度」的落地机制:

  • 待调度 Pod 多时,ActiveQ 保证高优先级 Pod 插队。
  • 新 Pod 加入 ActiveQ 后,会在下一次 pop 时按优先级重新排列。

优先级排序是分布式协调的体现(第 5.2 节):所有 Pod 的优先级值都是全局一致的(都来自 PriorityClass),队列排序就是按这个全局值排。lab 的 Pop 用 sort.SliceStable 按 Priority 降序,平票保持入队顺序(稳定排序)。

指数退避:BackoffQ 的节奏

BackoffQ 的重试时间按指数增长并封顶:

第一次失败后 1s → 2s → 4s → 8s → ... → 封顶 30s

指数退避的意义:

  • 失败刚发生就立刻重试大概率再失败,退避降低无效试探。
  • 封顶防止「永远等下去」——30s 后仍定期试探。
  • 退避期间集群若有相关事件,UnschedulableQ 的整体移动会把 Pod 提前拉回——事件优先于时间。

lab 的 backoffDelay 用 base << fails 指数增长,超过 maxBackoff 封顶。AddBackoff 把 Pod 放进 BackoffQ,Pop 时到期项自动移回 ActiveQ——「时间到期」由 pop 的扫描触发。

事件驱动的整体移动:MoveAllToActive

UnschedulableQ 的离开不是逐 Pod 判定,而是整体移动:某个相关事件发生后,调度器把 UnschedulableQ 里所有 Pod 移回 ActiveQ,重新全部尝试一遍。

为什么是「整体」而不是「精确匹配」?因为判断「哪个 Pod 能被这个事件修复」需要精确建模失败原因与事件的因果关系,代价高且易错;整体移动是廉价且正确的近似——多试几次成本低,漏掉一个该重试的代价高(Pod 卡死)。这是分布式系统里典型的「宁可多做不可漏做」工程取舍。

哪些事件触发整体移动?节点加入、节点更新(容量/标签/污点变化)、Pod 删除(资源释放)、集群资源余量变化等。lab 的 MoveAllToActive 就是实现,HandleNodeAdd/HandlePodDelete 是事件入口。

一个 Pod 的队列旅程

把三队列的流转串成一个典型故事:

  1. Pod 创建 → informer 事件 → AddActive(进 ActiveQ)。
  2. pop 进循环,Filter 全失败(无可行节点)→ 失败原因「资源不足」(可被事件修复)→ AddUnschedulable(进 UnschedulableQ)。
  3. 某节点扩容完成 → HandleNodeAdd → MoveAllToActive → Pod 回 ActiveQ。
  4. pop 再试,Filter 通过 → 绑定成功,离开调度集合。

若第 2 步失败原因是「不可修复的语义错误」,则走 BackoffQ 按退避反复试探,而不是等事件。两种路径加起来覆盖了「失败不丢」的全部情况。

三队列的不变量

设计三队列必须守住三个不变量:

  • 一个 Pod 同一时刻只在一张队列里(lab 的 removeActive 保证入队前先移出其他队列)。
  • Pod 不会丢失:任何失败都有明确的归属队列,不会「调度失败后无影无踪」。
  • Pod 不会饥饿:UnschedulableQ 不会永远躺着,事件(或周期性 re-list)会把它唤醒。

这三个不变量正是 2.3 节「调度事件与重试语义」的底层保障。

队列的真实实现:heap 与双队列

真实 kube-scheduler 的队列实现比「三张数组」精细:

  • ActiveQ 是优先队列(heap):按 Pod 优先级(再按入队顺序)组织,pop 是 O(log n),而不是每次排序。
  • BackoffQ 是时间优先队列:按退避到期时间组织,到期的 Pod 批量出列。
  • UnschedulableQ 是 map + 指纹:记录 Pod 与失败时的快照指纹,事件到来时按指纹精确匹配该唤醒哪些 Pod(而不是无脑整体移动)。

「按指纹精确唤醒」是比 lab 的 MoveAllToActive 更精细的版本:真实实现记录每个 Pod 失败时的「节点指纹」(哪些节点可用、资源几何),事件到来时比较指纹是否变化,只唤醒「指纹变了、可能成功」的 Pod——又少一次无谓的重试。lab 用整体移动是教学简化,方向一致(宁可多试不漏试),真实实现进一步压缩了「多试」的浪费。

队列参数的真实取值

给想调队列的运维一组真实参照(默认值,可配置):

参数默认语义
podInitialBackoffSeconds1s首次退避
podMaxBackoffSeconds10s退避封顶
队列规模无硬上限依赖内存
unschedulable 整体重试周期周期性事件兜底

注意封顶 10s 而非无限——退避封顶是为了『事件没来也不至于饿死』:即使没有任何相关事件,UnschedulableQ 的 Pod 也会被周期性地整体唤醒试一次。这印证 2.2 节「时间兜底事件」的设计——两条路径都要活着。

队列饥饿与公平

三队列的优先级排序带来一个需要正视的问题:饥饿——高优先级 Pod 源源不断时,低优先级 Pod 永远排不上。

K8s 的队列设计如何缓解饥饿:

机制作用
高优先级插队低优先级会晚,但不会被删
UnschedulableQ 事件唤醒资源释放时全体机会均等
周期性全量唤醒兜底保证「总有机会」

但要承认一个事实:调度队列没有严格的公平性保证(如带宽分配式的公平队列)。低优先级 Pod 在资源长期紧张 + 高优先级持续流入时,确实可能长时间等不到调度。这是「优先级语义」的必然代价——调度器不是公平调度器,是优先级调度器。

与卷二第 12 章 APF(请求限流的公平队列)对比:APF 追求请求间的公平(用队列 + 权重),调度队列追求优先级顺序(用 heap + 插队)。同为『队列』,目标不同——一个为公平,一个为优先级。理解这个差异,就不会拿调度队列的语义去要求 APF 或反之。

三个常见误解

  • 「调度队列是 FIFO,先到先调度」——错误。ActiveQ 按优先级排序,高优先级 Pod 后来也能插队;BackoffQ/UnschedulableQ 更不是 FIFO。
  • 「BackoffQ 和 UnschedulableQ 是一回事」——错误。前者靠时间离开(退避到期),后者靠事件离开(整体移动),触发机制完全不同。
  • 「UnschedulableQ 里的 Pod 永远等着,除非手动干预」——错误。相关事件(节点加入、Pod 删除)会触发整体移回 ActiveQ;真实调度器还会周期性 re-list 兜底,防止事件丢失。

从队列到控制理论

三队列其实是「反馈控制」在排队维度的实现:

  • ActiveQ 是「误差集合」——期望运行但还没运行的 Pod。
  • BackoffQ 是「阻尼」——防止误差反复试探造成振荡。
  • UnschedulableQ 是「死区」——误差在条件不满足时挂起,条件满足(事件)再激活。

这套「阻尼 + 死区 + 事件激活」与卷二第 5.2 节「收敛与振荡」是一脉相承的:调度队列的每一项设计都在抑制无谓的试探、放大对变化的响应。

一句话总结本节

三队列的语义与流转收成三个要点:

  • 三张队列三种离开条件:ActiveQ 靠 pop 离开、BackoffQ 靠时间(退避到期)、UnschedulableQ 靠事件(整体唤醒)。
  • 两个不变量:一个 Pod 同刻只在一张队列;失败不丢、饥饿有兜底(周期性唤醒)。
  • 工程取舍:整体移动是「宁可多做不可漏做」的近似,指纹精确唤醒进一步压缩浪费。

与卷二 APF 对比:同为队列,APF 求公平、调度队列求优先级。下一节讲重试的两类触发源与幂等语义。

队列语义速查表

三队列的「放什么、怎么出」一表收清:

队列存放离开条件语义
ActiveQ可立即尝试pop(优先级降序)当前候选
BackoffQ刚失败退避到期时间驱动重试
UnschedulableQ失败等待事件事件整体唤醒事件驱动重试

记忆口诀:ActiveQ 是现在,BackoffQ 是待会儿,UnschedulableQ 是等消息。三个队列共同保证「失败不丢、重试不忙、事件不 miss」。

本节 lab

本节把三队列语义落到 queue/queue.go 的 SchedulingQueue:AddActive/AddBackoff/AddUnschedulable 的互斥转移、Pop 的优先级排序与退避到期、MoveAllToActive 的事件移动:

cd private/labs/k8s-sched-lab
go test ./queue -run 'TestThreeQueuesMove|TestPopPriorityOrder|TestBackoffExpiry' -v

三个用例覆盖本节三个要点:TestThreeQueuesMove(一个 Pod 三队列互斥转移)、TestPopPriorityOrder(ActiveQ 按优先级降序 pop)、TestBackoffExpiry(退避到期自动回 ActiveQ)。这正是三队列「一个 Pod 只在一处、失败不丢、重试有节奏」的最小验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图