2.2 ActiveQ/BackoffQ/UnschedulableQ
2.1 节的循环里,调度器的队列不是一条线性的「先进先出」,而是三张队列:ActiveQ(活跃)、BackoffQ(退避)、UnschedulableQ(不可调度)。这三张队列是整个调度框架里最容易被低估的机制——它们解决一个朴素的问题:一个调度失败的 Pod,什么时候重试?
如果失败就立刻重试,会打爆循环(thundering herd);如果永不重试,Pod 永远卡 Pending。三队列在「立即重试」和「永不重试」之间找到折中:退避重试的进 BackoffQ,等事件重试的进 UnschedulableQ。本节拆它们的语义与流转。
三张队列各管什么
| 队列 | 存放 | 什么时候离开 |
|---|---|---|
| ActiveQ | 可立即尝试调度的 Pod | pop 进入循环体 |
| BackoffQ | 刚失败、需要等一会儿再试的 Pod | 退避到期自动移回 ActiveQ |
| UnschedulableQ | 失败、但等某个事件才可能成功的 Pod | 相关事件触发整体移回 ActiveQ |
关键区分在 BackoffQ 与 UnschedulableQ 的离开条件不同:
- BackoffQ 靠时间离开——指数退避到期,自动回 ActiveQ。适合「失败原因会自行好转、或值得反复试探」的情况。
- UnschedulableQ 靠事件离开——节点加入、其他 Pod 删除等事件触发。适合「失败原因只能靠外部变化修复」的情况。
真实调度器里这两张队列的边界其实是动态的:调度失败后,Pod 先进 BackoffQ(立即按退避安排重试时间),多次尝试失败后才进 UnschedulableQ 长期等待事件。lab 为了把语义讲清楚,把「可被事件修复的失败」直接放进 UnschedulableQ,其余进 BackoffQ——这是教学简化,方向与真实实现一致。
ActiveQ 的排序:为什么按优先级
ActiveQ 不是普通 FIFO。pop 时取优先级最高的 Pod(第 5.2 节的 PriorityClass 决定值)。这个排序就是「高优先级先调度」的落地机制:
- 待调度 Pod 多时,ActiveQ 保证高优先级 Pod 插队。
- 新 Pod 加入 ActiveQ 后,会在下一次 pop 时按优先级重新排列。
优先级排序是分布式协调的体现(第 5.2 节):所有 Pod 的优先级值都是全局一致的(都来自 PriorityClass),队列排序就是按这个全局值排。lab 的 Pop 用 sort.SliceStable 按 Priority 降序,平票保持入队顺序(稳定排序)。
指数退避:BackoffQ 的节奏
BackoffQ 的重试时间按指数增长并封顶:
第一次失败后 1s → 2s → 4s → 8s → ... → 封顶 30s
指数退避的意义:
- 失败刚发生就立刻重试大概率再失败,退避降低无效试探。
- 封顶防止「永远等下去」——30s 后仍定期试探。
- 退避期间集群若有相关事件,UnschedulableQ 的整体移动会把 Pod 提前拉回——事件优先于时间。
lab 的 backoffDelay 用 base << fails 指数增长,超过 maxBackoff 封顶。AddBackoff 把 Pod 放进 BackoffQ,Pop 时到期项自动移回 ActiveQ——「时间到期」由 pop 的扫描触发。
事件驱动的整体移动:MoveAllToActive
UnschedulableQ 的离开不是逐 Pod 判定,而是整体移动:某个相关事件发生后,调度器把 UnschedulableQ 里所有 Pod 移回 ActiveQ,重新全部尝试一遍。
为什么是「整体」而不是「精确匹配」?因为判断「哪个 Pod 能被这个事件修复」需要精确建模失败原因与事件的因果关系,代价高且易错;整体移动是廉价且正确的近似——多试几次成本低,漏掉一个该重试的代价高(Pod 卡死)。这是分布式系统里典型的「宁可多做不可漏做」工程取舍。
哪些事件触发整体移动?节点加入、节点更新(容量/标签/污点变化)、Pod 删除(资源释放)、集群资源余量变化等。lab 的 MoveAllToActive 就是实现,HandleNodeAdd/HandlePodDelete 是事件入口。
一个 Pod 的队列旅程
把三队列的流转串成一个典型故事:
- Pod 创建 → informer 事件 →
AddActive(进 ActiveQ)。 - pop 进循环,Filter 全失败(无可行节点)→ 失败原因「资源不足」(可被事件修复)→
AddUnschedulable(进 UnschedulableQ)。 - 某节点扩容完成 →
HandleNodeAdd→MoveAllToActive→ Pod 回 ActiveQ。 - pop 再试,Filter 通过 → 绑定成功,离开调度集合。
若第 2 步失败原因是「不可修复的语义错误」,则走 BackoffQ 按退避反复试探,而不是等事件。两种路径加起来覆盖了「失败不丢」的全部情况。
三队列的不变量
设计三队列必须守住三个不变量:
- 一个 Pod 同一时刻只在一张队列里(lab 的
removeActive保证入队前先移出其他队列)。 - Pod 不会丢失:任何失败都有明确的归属队列,不会「调度失败后无影无踪」。
- Pod 不会饥饿:UnschedulableQ 不会永远躺着,事件(或周期性 re-list)会把它唤醒。
这三个不变量正是 2.3 节「调度事件与重试语义」的底层保障。
队列的真实实现:heap 与双队列
真实 kube-scheduler 的队列实现比「三张数组」精细:
- ActiveQ 是优先队列(heap):按 Pod 优先级(再按入队顺序)组织,pop 是 O(log n),而不是每次排序。
- BackoffQ 是时间优先队列:按退避到期时间组织,到期的 Pod 批量出列。
- UnschedulableQ 是 map + 指纹:记录 Pod 与失败时的快照指纹,事件到来时按指纹精确匹配该唤醒哪些 Pod(而不是无脑整体移动)。
「按指纹精确唤醒」是比 lab 的 MoveAllToActive 更精细的版本:真实实现记录每个 Pod 失败时的「节点指纹」(哪些节点可用、资源几何),事件到来时比较指纹是否变化,只唤醒「指纹变了、可能成功」的 Pod——又少一次无谓的重试。lab 用整体移动是教学简化,方向一致(宁可多试不漏试),真实实现进一步压缩了「多试」的浪费。
队列参数的真实取值
给想调队列的运维一组真实参照(默认值,可配置):
| 参数 | 默认 | 语义 |
|---|---|---|
| podInitialBackoffSeconds | 1s | 首次退避 |
| podMaxBackoffSeconds | 10s | 退避封顶 |
| 队列规模 | 无硬上限 | 依赖内存 |
| unschedulable 整体重试周期 | 周期性 | 事件兜底 |
注意封顶 10s 而非无限——退避封顶是为了『事件没来也不至于饿死』:即使没有任何相关事件,UnschedulableQ 的 Pod 也会被周期性地整体唤醒试一次。这印证 2.2 节「时间兜底事件」的设计——两条路径都要活着。
队列饥饿与公平
三队列的优先级排序带来一个需要正视的问题:饥饿——高优先级 Pod 源源不断时,低优先级 Pod 永远排不上。
K8s 的队列设计如何缓解饥饿:
| 机制 | 作用 |
|---|---|
| 高优先级插队 | 低优先级会晚,但不会被删 |
| UnschedulableQ 事件唤醒 | 资源释放时全体机会均等 |
| 周期性全量唤醒 | 兜底保证「总有机会」 |
但要承认一个事实:调度队列没有严格的公平性保证(如带宽分配式的公平队列)。低优先级 Pod 在资源长期紧张 + 高优先级持续流入时,确实可能长时间等不到调度。这是「优先级语义」的必然代价——调度器不是公平调度器,是优先级调度器。
与卷二第 12 章 APF(请求限流的公平队列)对比:APF 追求请求间的公平(用队列 + 权重),调度队列追求优先级顺序(用 heap + 插队)。同为『队列』,目标不同——一个为公平,一个为优先级。理解这个差异,就不会拿调度队列的语义去要求 APF 或反之。
三个常见误解
- 「调度队列是 FIFO,先到先调度」——错误。ActiveQ 按优先级排序,高优先级 Pod 后来也能插队;BackoffQ/UnschedulableQ 更不是 FIFO。
- 「BackoffQ 和 UnschedulableQ 是一回事」——错误。前者靠时间离开(退避到期),后者靠事件离开(整体移动),触发机制完全不同。
- 「UnschedulableQ 里的 Pod 永远等着,除非手动干预」——错误。相关事件(节点加入、Pod 删除)会触发整体移回 ActiveQ;真实调度器还会周期性 re-list 兜底,防止事件丢失。
从队列到控制理论
三队列其实是「反馈控制」在排队维度的实现:
- ActiveQ 是「误差集合」——期望运行但还没运行的 Pod。
- BackoffQ 是「阻尼」——防止误差反复试探造成振荡。
- UnschedulableQ 是「死区」——误差在条件不满足时挂起,条件满足(事件)再激活。
这套「阻尼 + 死区 + 事件激活」与卷二第 5.2 节「收敛与振荡」是一脉相承的:调度队列的每一项设计都在抑制无谓的试探、放大对变化的响应。
一句话总结本节
三队列的语义与流转收成三个要点:
- 三张队列三种离开条件:ActiveQ 靠 pop 离开、BackoffQ 靠时间(退避到期)、UnschedulableQ 靠事件(整体唤醒)。
- 两个不变量:一个 Pod 同刻只在一张队列;失败不丢、饥饿有兜底(周期性唤醒)。
- 工程取舍:整体移动是「宁可多做不可漏做」的近似,指纹精确唤醒进一步压缩浪费。
与卷二 APF 对比:同为队列,APF 求公平、调度队列求优先级。下一节讲重试的两类触发源与幂等语义。
队列语义速查表
三队列的「放什么、怎么出」一表收清:
| 队列 | 存放 | 离开条件 | 语义 |
|---|---|---|---|
| ActiveQ | 可立即尝试 | pop(优先级降序) | 当前候选 |
| BackoffQ | 刚失败 | 退避到期 | 时间驱动重试 |
| UnschedulableQ | 失败等待事件 | 事件整体唤醒 | 事件驱动重试 |
记忆口诀:ActiveQ 是现在,BackoffQ 是待会儿,UnschedulableQ 是等消息。三个队列共同保证「失败不丢、重试不忙、事件不 miss」。
本节 lab
本节把三队列语义落到 queue/queue.go 的 SchedulingQueue:AddActive/AddBackoff/AddUnschedulable 的互斥转移、Pop 的优先级排序与退避到期、MoveAllToActive 的事件移动:
cd private/labs/k8s-sched-lab
go test ./queue -run 'TestThreeQueuesMove|TestPopPriorityOrder|TestBackoffExpiry' -v
三个用例覆盖本节三个要点:TestThreeQueuesMove(一个 Pod 三队列互斥转移)、TestPopPriorityOrder(ActiveQ 按优先级降序 pop)、TestBackoffExpiry(退避到期自动回 ActiveQ)。这正是三队列「一个 Pod 只在一处、失败不丢、重试有节奏」的最小验证。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。