2.3 调度事件与重试语义
2.2 节讲了三队列的「存放」,本节讲「为什么重试、怎么触发重试」。调度器的一个核心假设是:失败大多是暂时的。节点会扩容、Pod 会结束、标签会变化——绝大多数 Unschedulable 等一会儿就能调度成功。
但「等一会儿」不能是盲等。调度器用两类信号决定何时重试:事件(外部状态变化)和时间(退避到期)。本节先给失败原因分类,再讲两类重试路径的触发,最后落到幂等性——调度重试为什么可以随便重跑而不产生副作用。
失败原因的两分类
任何调度失败都可以归入两类:
| 类别 | 例子 | 能不能靠事件修复 | 对应的重试路径 |
|---|---|---|---|
| 事件可修复 | 资源不足、节点污点、端口冲突、无可行节点 | 能(节点/其他 Pod 变化) | UnschedulableQ + 事件触发 |
| 持续存在 | 请求资源大于所有节点、无容忍的污点、无匹配 label | 不能(视图怎么变都不行) | BackoffQ + 指数退避 |
判断标准很朴素:「换个视图就能成功」的进事件路径,「视图怎么变都不成功」的走退避路径。lab 的 isEventFixable 把 resource/taint/port 归为可修复,其余(如 selector 纯不匹配)走退避——教学简化的分类,方向与真实调度器一致。
事件路径:什么事件触发重试
能修复「资源不足」类失败的事件包括:
- 节点加入(NodeAdd):集群扩容,新增容量。
- 节点更新(NodeUpdate):节点上报更低的负载、标签/污点变化。
- Pod 删除(PodDelete):其他 Pod 结束,释放 CPU/内存/端口。
- 集群资源余量变化:调度器内部监控的余量事件。
这些事件触发 MoveAllToActive,把 UnschedulableQ 整体移回 ActiveQ 重新尝试(2.2 节)。事件路径的哲学:状态变了,所有等待者都值得再试一次——成本低,且保证「不漏」。
时间路径:指数退避的语义
BackoffQ 的重试由时间驱动。退避指数增长(1s→2s→4s→…→30s 封顶),语义有两层:
- 避免打爆:集群刚经历大规模 Unschedulable(如一次性创建 1000 个 Pod),若全部立即重试会形成重试风暴。
- 反复试探:封顶后仍每 30s 试探一次,确保「没有事件但也该重试的」不落下。
注意时间路径和事件路径是叠加的:退避期间来一个事件,Pod 立刻被提前拉回;没事件就按退避节奏走。事件优先于时间,时间兜底事件。
重试的幂等性:为什么重跑无害
调度重试最容易被忽略的性质是幂等。幂等有两层:
- 已绑定 Pod 的重复调度无副作用:若一个 Pod 已被绑定(
nodeName非空),调度器(正确地)不再处理它——即使因为缓存滞后重复收到事件,也直接跳过。绑定是「写一次生效、再写相同目标无害」的幂等写。 - 失败重试不改状态:调度失败不产生任何持久副作用(没有部分写入、没有半成品对象),重试只是重新走一遍 Filter+Score。
对比控制器调谐:控制器的动作(创建副本)有副作用,所以用 workqueue 的 Done 语义保证「同一 key 不并发处理」;调度的动作(绑定)本身幂等,所以调度队列不需要这套复杂度——调度器的幂等性来自写操作本身。这是 2.1 节「Pod 只被调度一次」在并发下的真正保证。
重试风暴:事件路径的放大风险
事件路径的「整体移动」有一个放大风险:一次事件把所有 Unschedulable Pod 全拉回,若全部仍失败,又全回到 UnschedulableQ。若事件频繁(如节点状态抖动),会形成「整体移动 + 整体失败」的乒乓,白耗 CPU。
真实调度器用两个手段抑制:
- 失败计数:连续多次失败的 Pod 退避时间更长,甚至暂时不再参与整体移动。
- 事件合并:短时间内同类事件合并成一次移动,而不是每个事件都全量重试。
这也是为什么 lab 把 isEventFixable 单独提出来:不是所有失败都值得被事件唤醒。对「视图怎么变都不行」的失败,整体移动只会放大浪费。
失败原因的可见性
重试语义要落地,前提是失败原因可观测。kube-scheduler 把失败写进 Pod 的 status.conditions:
conditions:
- type: Unschedulable
status: "True"
reason: Unschedulable
message: "0/3 nodes are available: 1 insufficient cpu, 2 node(s) didn't match Pod's node affinity."
message 里列出每个节点被哪个 Filter 淘汰——这正是「事件可修复还是持续存在」的判据来源:insufficient cpu 可修复,didn't match affinity 可能持续。排障的第一步永远是读这个 message,而不是猜队列状态。
调度重试与控制器 workqueue 的对比
2.3 节的调度队列与卷二第 6 章的控制器 workqueue 都管「失败重试」,但设计目标不同:
| 维度 | 控制器 workqueue | 调度队列 |
|---|---|---|
| 处理对象 | 控制器 watch 的对象 key | 待调度 Pod |
| 失败处理 | 退避 + 限流重试 | 退避 + 事件唤醒 |
| 幂等依赖 | Done 语义防并发处理同 key | 绑定写本身幂等 |
| 事件触发 | 无(周期重入队) | 有(Unschedulable 整体唤醒) |
差异的根源:控制器的动作(创建副本)有副作用,需要 workqueue 防止并发处理同 key;调度的动作(绑定)是幂等写,不需要——调度队列的复杂度集中在「失败后何时重试」,workqueue 的复杂度集中在「同一 key 不被并发处理」。两者是同一类问题(失败重试)在不同副作用下的两种形态。
事件丢失的兜底:周期性唤醒
事件路径有一个隐患:事件可能丢失(watch 断连、缓存故障、事件风暴被合并)。若依赖事件唤醒,一次丢失可能导致 UnschedulableQ 里的 Pod 永远躺着。
真实调度器的兜底是周期性全量唤醒:每隔一段时间(可配置),把 UnschedulableQ 里的 Pod 全部移回 ActiveQ 试一次。这与 2.2 节「时间兜底事件」呼应:
- 事件路径是主通道(快、准)。
- 周期唤醒是兜底(慢、全)。
- 两者叠加 = 正常靠事件、异常不饿死。
这是分布式系统「可靠与高效不可兼得,就用双通道互补」的又一例——与卷二第 3.3 节「watch 断连后 relist 兜底」是同一个设计语言。
退避参数的工程调校
调度退避的两个参数(初始退避、封顶)该按什么调?给一组工程判断:
| 参数 | 默认 | 调小的场景 | 调大的场景 |
|---|---|---|---|
| 初始退避 | 1s | 失败原因变化快(节点频繁变) | 失败原因稳定(不白试) |
| 封顶 | 10s | 高吞吐、等不起 | 防止频繁试探打爆 |
调校原则:
- 退避是对「失败会反复」的预判——失败原因越稳定,退避越该长。
- 封顶不能太小(事件丢时 Pod 会饿死)也不能太大(恢复后反应慢)。
- 配合事件路径调:事件触发频繁的集群,退避可以放宽(反正事件会提前唤醒)。
真实系统里这组参数很少需要动——默认值覆盖绝大多数场景。调退避参数前先确认失败原因:如果是资源竞争(事件可修复),调的是事件灵敏度;如果是约束不匹配(持续失败),调退避没用,该改约束本身。参数是症状的调节,不是病因的解决。
三个常见误解
- 「Pod 调度失败后会永远卡着,除非删了重建」——错误。事件路径和时间路径都会把它唤醒重试;绝大多数失败是暂时的。删了重建只是用户侧手动的重试。
- 「重试越频繁越容易成功」——错误。失败原因没变时,频繁重试只会白耗;退避 + 事件才是正确的节奏。频繁重试还有打爆 apiserver 的风险。
- 「调度器重试是重新执行一次完整的调度,可能有副作用」——错误。调度重试是幂等的:已绑定即跳过,失败无残留副作用。绑定本身是幂等写。
从重试到控制理论
重试语义又一次呼应控制理论:事件是前馈(状态变化立即响应),退避是反馈(按失败历史调节试探频率)。前馈让它快(状态一好就重试),反馈让它稳(不白耗)。调度的健壮性就来自这对「快与稳」的平衡——与 2.2 节三队列的「阻尼 + 死区」是同一套设计语言的两种表达。
一句话总结本节
调度事件与重试语义收成三个要点:
- 失败两分类:事件可修复(资源/污点/端口)走 UnschedulableQ 等事件,持续存在(约束不匹配)走 BackoffQ 退避。
- 双通道互补:事件是前馈(快),退避是反馈(稳),周期唤醒是兜底(不漏)——可靠与高效用双通道兼得。
- 重试幂等:绑定是幂等写、失败无残留副作用,所以调度重试可以随便重跑,不需要 workqueue 的并发保护。
下一章进入 Filter 硬约束内部,从节点匹配类(选择器/亲和/反亲和)开始。
失败-重试映射表
把调度失败的典型原因映射到重试路径,排障直接对照:
| 失败原因 | 可事件修复? | 重试路径 |
|---|---|---|
| insufficient cpu/memory | 是 | UnschedulableQ 等事件 |
| node(s) had untolerated taint | 是 | UnschedulableQ 等事件 |
| hostPort conflict | 是 | UnschedulableQ 等事件 |
| didn’t match node affinity | 看场景 | BackoffQ 退避 |
| 请求资源 > 所有节点 | 否 | BackoffQ(或改约束) |
判断方法:问「节点/其他 Pod 变化后会不会成功」——会 → 事件路径,不会 → 退避。每次 Pending 排障第一步都是读这条映射,而不是猜队列。
本节 lab
本节把两条重试路径落到 queue/scheduler.go 的 ScheduleOnce:事件可修复的失败进 UnschedulableQ(事件后 HandleNodeAdd 唤醒重试),持续失败进 BackoffQ(退避重试):
cd private/labs/k8s-sched-lab
go test ./queue -run 'TestFailureBackoff|TestUnschedulableEventMove' -v
两个用例覆盖本节两个要点:TestFailureBackoff(不可修复的 selector 失败按退避重试)、TestUnschedulableEventMove(缺 GPU 这种可修复失败等事件唤醒、节点加 label 后调度成功)。这正是「失败分类 → 重试路径 → 幂等落地」的最小验证。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。