《Kubernetes 分布式系统原理深入解析》2.3 调度事件与重试语义

调度失败后靠什么重试?两类触发源:事件(节点加入/更新、Pod 删除释放资源)和时间(指数退避到期)。本节把调度失败原因分类为『事件可修复』与『持续存在』,分别对应 UnschedulableQ 与 BackoffQ 的重试路径,并讨论重试的幂等性——为什么重复调度一个已绑定 Pod 是无害的。lab 用 queue/scheduler.go 验证失败进退避与事件驱动重试两条路径。

2.3 调度事件与重试语义

2.2 节讲了三队列的「存放」,本节讲「为什么重试、怎么触发重试」。调度器的一个核心假设是:失败大多是暂时的。节点会扩容、Pod 会结束、标签会变化——绝大多数 Unschedulable 等一会儿就能调度成功。

但「等一会儿」不能是盲等。调度器用两类信号决定何时重试:事件(外部状态变化)和时间(退避到期)。本节先给失败原因分类,再讲两类重试路径的触发,最后落到幂等性——调度重试为什么可以随便重跑而不产生副作用。

失败原因的两分类

任何调度失败都可以归入两类:

类别例子能不能靠事件修复对应的重试路径
事件可修复资源不足、节点污点、端口冲突、无可行节点能(节点/其他 Pod 变化)UnschedulableQ + 事件触发
持续存在请求资源大于所有节点、无容忍的污点、无匹配 label不能(视图怎么变都不行)BackoffQ + 指数退避

判断标准很朴素:「换个视图就能成功」的进事件路径,「视图怎么变都不成功」的走退避路径。lab 的 isEventFixable 把 resource/taint/port 归为可修复,其余(如 selector 纯不匹配)走退避——教学简化的分类,方向与真实调度器一致。

事件路径:什么事件触发重试

能修复「资源不足」类失败的事件包括:

  • 节点加入(NodeAdd):集群扩容,新增容量。
  • 节点更新(NodeUpdate):节点上报更低的负载、标签/污点变化。
  • Pod 删除(PodDelete):其他 Pod 结束,释放 CPU/内存/端口。
  • 集群资源余量变化:调度器内部监控的余量事件。

这些事件触发 MoveAllToActive,把 UnschedulableQ 整体移回 ActiveQ 重新尝试(2.2 节)。事件路径的哲学:状态变了,所有等待者都值得再试一次——成本低,且保证「不漏」。

时间路径:指数退避的语义

BackoffQ 的重试由时间驱动。退避指数增长(1s→2s→4s→…→30s 封顶),语义有两层:

  1. 避免打爆:集群刚经历大规模 Unschedulable(如一次性创建 1000 个 Pod),若全部立即重试会形成重试风暴。
  2. 反复试探:封顶后仍每 30s 试探一次,确保「没有事件但也该重试的」不落下。

注意时间路径和事件路径是叠加的:退避期间来一个事件,Pod 立刻被提前拉回;没事件就按退避节奏走。事件优先于时间,时间兜底事件。

重试的幂等性:为什么重跑无害

调度重试最容易被忽略的性质是幂等。幂等有两层:

  • 已绑定 Pod 的重复调度无副作用:若一个 Pod 已被绑定(nodeName 非空),调度器(正确地)不再处理它——即使因为缓存滞后重复收到事件,也直接跳过。绑定是「写一次生效、再写相同目标无害」的幂等写。
  • 失败重试不改状态:调度失败不产生任何持久副作用(没有部分写入、没有半成品对象),重试只是重新走一遍 Filter+Score。

对比控制器调谐:控制器的动作(创建副本)有副作用,所以用 workqueue 的 Done 语义保证「同一 key 不并发处理」;调度的动作(绑定)本身幂等,所以调度队列不需要这套复杂度——调度器的幂等性来自写操作本身。这是 2.1 节「Pod 只被调度一次」在并发下的真正保证。

重试风暴:事件路径的放大风险

事件路径的「整体移动」有一个放大风险:一次事件把所有 Unschedulable Pod 全拉回,若全部仍失败,又全回到 UnschedulableQ。若事件频繁(如节点状态抖动),会形成「整体移动 + 整体失败」的乒乓,白耗 CPU。

真实调度器用两个手段抑制:

  • 失败计数:连续多次失败的 Pod 退避时间更长,甚至暂时不再参与整体移动。
  • 事件合并:短时间内同类事件合并成一次移动,而不是每个事件都全量重试。

这也是为什么 lab 把 isEventFixable 单独提出来:不是所有失败都值得被事件唤醒。对「视图怎么变都不行」的失败,整体移动只会放大浪费。

失败原因的可见性

重试语义要落地,前提是失败原因可观测。kube-scheduler 把失败写进 Pod 的 status.conditions:

conditions:
- type: Unschedulable
  status: "True"
  reason: Unschedulable
  message: "0/3 nodes are available: 1 insufficient cpu, 2 node(s) didn't match Pod's node affinity."

message 里列出每个节点被哪个 Filter 淘汰——这正是「事件可修复还是持续存在」的判据来源:insufficient cpu 可修复,didn't match affinity 可能持续。排障的第一步永远是读这个 message,而不是猜队列状态。

调度重试与控制器 workqueue 的对比

2.3 节的调度队列与卷二第 6 章的控制器 workqueue 都管「失败重试」,但设计目标不同:

维度控制器 workqueue调度队列
处理对象控制器 watch 的对象 key待调度 Pod
失败处理退避 + 限流重试退避 + 事件唤醒
幂等依赖Done 语义防并发处理同 key绑定写本身幂等
事件触发无(周期重入队)有(Unschedulable 整体唤醒)

差异的根源:控制器的动作(创建副本)有副作用,需要 workqueue 防止并发处理同 key;调度的动作(绑定)是幂等写,不需要——调度队列的复杂度集中在「失败后何时重试」,workqueue 的复杂度集中在「同一 key 不被并发处理」。两者是同一类问题(失败重试)在不同副作用下的两种形态。

事件丢失的兜底:周期性唤醒

事件路径有一个隐患:事件可能丢失(watch 断连、缓存故障、事件风暴被合并)。若依赖事件唤醒,一次丢失可能导致 UnschedulableQ 里的 Pod 永远躺着。

真实调度器的兜底是周期性全量唤醒:每隔一段时间(可配置),把 UnschedulableQ 里的 Pod 全部移回 ActiveQ 试一次。这与 2.2 节「时间兜底事件」呼应:

  • 事件路径是主通道(快、准)。
  • 周期唤醒是兜底(慢、全)。
  • 两者叠加 = 正常靠事件、异常不饿死。

这是分布式系统「可靠与高效不可兼得,就用双通道互补」的又一例——与卷二第 3.3 节「watch 断连后 relist 兜底」是同一个设计语言。

退避参数的工程调校

调度退避的两个参数(初始退避、封顶)该按什么调?给一组工程判断:

参数默认调小的场景调大的场景
初始退避1s失败原因变化快(节点频繁变)失败原因稳定(不白试)
封顶10s高吞吐、等不起防止频繁试探打爆

调校原则:

  • 退避是对「失败会反复」的预判——失败原因越稳定,退避越该长。
  • 封顶不能太小(事件丢时 Pod 会饿死)也不能太大(恢复后反应慢)。
  • 配合事件路径调:事件触发频繁的集群,退避可以放宽(反正事件会提前唤醒)。

真实系统里这组参数很少需要动——默认值覆盖绝大多数场景。调退避参数前先确认失败原因:如果是资源竞争(事件可修复),调的是事件灵敏度;如果是约束不匹配(持续失败),调退避没用,该改约束本身。参数是症状的调节,不是病因的解决。

三个常见误解

  • 「Pod 调度失败后会永远卡着,除非删了重建」——错误。事件路径和时间路径都会把它唤醒重试;绝大多数失败是暂时的。删了重建只是用户侧手动的重试。
  • 「重试越频繁越容易成功」——错误。失败原因没变时,频繁重试只会白耗;退避 + 事件才是正确的节奏。频繁重试还有打爆 apiserver 的风险。
  • 「调度器重试是重新执行一次完整的调度,可能有副作用」——错误。调度重试是幂等的:已绑定即跳过,失败无残留副作用。绑定本身是幂等写。

从重试到控制理论

重试语义又一次呼应控制理论:事件是前馈(状态变化立即响应),退避是反馈(按失败历史调节试探频率)。前馈让它快(状态一好就重试),反馈让它稳(不白耗)。调度的健壮性就来自这对「快与稳」的平衡——与 2.2 节三队列的「阻尼 + 死区」是同一套设计语言的两种表达。

一句话总结本节

调度事件与重试语义收成三个要点:

  • 失败两分类:事件可修复(资源/污点/端口)走 UnschedulableQ 等事件,持续存在(约束不匹配)走 BackoffQ 退避。
  • 双通道互补:事件是前馈(快),退避是反馈(稳),周期唤醒是兜底(不漏)——可靠与高效用双通道兼得。
  • 重试幂等:绑定是幂等写、失败无残留副作用,所以调度重试可以随便重跑,不需要 workqueue 的并发保护。

下一章进入 Filter 硬约束内部,从节点匹配类(选择器/亲和/反亲和)开始。

失败-重试映射表

把调度失败的典型原因映射到重试路径,排障直接对照:

失败原因可事件修复?重试路径
insufficient cpu/memory是UnschedulableQ 等事件
node(s) had untolerated taint是UnschedulableQ 等事件
hostPort conflict是UnschedulableQ 等事件
didn’t match node affinity看场景BackoffQ 退避
请求资源 > 所有节点否BackoffQ(或改约束)

判断方法:问「节点/其他 Pod 变化后会不会成功」——会 → 事件路径,不会 → 退避。每次 Pending 排障第一步都是读这条映射,而不是猜队列。

本节 lab

本节把两条重试路径落到 queue/scheduler.go 的 ScheduleOnce:事件可修复的失败进 UnschedulableQ(事件后 HandleNodeAdd 唤醒重试),持续失败进 BackoffQ(退避重试):

cd private/labs/k8s-sched-lab
go test ./queue -run 'TestFailureBackoff|TestUnschedulableEventMove' -v

两个用例覆盖本节两个要点:TestFailureBackoff(不可修复的 selector 失败按退避重试)、TestUnschedulableEventMove(缺 GPU 这种可修复失败等事件唤醒、节点加 label 后调度成功)。这正是「失败分类 → 重试路径 → 幂等落地」的最小验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图