《Kubernetes 分布式系统原理深入解析》15.2 调度失败与多副本调度器

本节把调度失败当作正常路径处理:按失败原因的可修复性分流到 UnschedulableQ 或 BackoffQ,用事件驱动与时间驱动两条闭环重试;再讲多副本调度器如何用 leader 选举保证高可用、如何避免同一 Pod 被二次绑定,以及崩溃后无状态重放恢复。lab 用 queue 包的失败退避、事件移动用例与 framework 包的无可行节点用例验证这些语义。

15.2 调度失败与多副本调度器

15.1 节把状态流画成一条流水线,但流水线不是永远顺畅的——大多数 Pod 在生命周期里至少经历过一次调度失败。本节处理两个最容易被低估的问题:调度失败怎么分类、怎么回收;调度器自身挂了、或跑多个副本时,怎么保证集群还能继续工作且不产生双重绑定。前者是第 2、3、5、7 章失败语义的收拢,后者是把调度器当作分布式组件看待的高可用设计。

调度失败是正常路径,不是异常

先纠正一个直觉:调度失败不是「出错」,而是控制回路的常规工作态。资源不足、节点标签不匹配、端口冲突、卷占用,都是集群运行中的常态,不是配置错误。设计上的含义是:失败必须有一个确定的回收路径,而不是把 Pod 丢在原地等人工处理。

第 2 章的三队列结构正是为此设计。调度器每轮 ScheduleOnce 有四种出口:scheduled(成功)、unschedulable(进 UnschedulableQ)、backoff(进 BackoffQ)、idle(队列空)。失败被拆成两种去向,依据是同一个问题:

失败原因将来能不能被集群事件修复?

  • 能 → 进 UnschedulableQ,等待能修复它的事件(新节点、资源释放)。
  • 不能 → 进 BackoffQ,按指数退避自行重试,别频繁打空炮。

这个「先问能不能被事件修复」的判断,本质上是把失败归因到「集群会变的输入」还是「不会变的输入」。集群会变(资源会释放、节点会加入、污点会移除)就值得等事件;不会变(Pod 自己的选择器写错了)就只好靠时间兜底。归因错了,回收策略就错了。

失败分类:可修复与不可修复

判断「可修复性」的依据在 lab 的 isEventFixable 里非常清晰:

失败原因示例能否被事件修复去向
资源不足内存/CPU 不够,节点被占满能(其他 Pod 删除、新节点加入)UnschedulableQ
污点不匹配节点有 NoSchedule 污点能(污点被移除)UnschedulableQ
端口冲突宿主机端口被占用能(占用 Pod 删除)UnschedulableQ
选择器不匹配nodeSelector 没有任何节点满足不能(除非改 Pod 本身)BackoffQ
无可行节点全部候选节点都被 Filter 拒绝视原因而定,框架统一抛错见下文「失败语义收拢」

注意一个细节:「可修复」的标准是「外部事件能改变决策输入」,不是「重试几次就能成」。选择器不匹配不会因为多等几秒就变好,所以它不占 UnschedulableQ 的位置,直接退避。这条区分避免了 UnschedulableQ 被永远等不到的事件的 Pod 塞满。

真实 kube-scheduler 的分类粒度更细:它给每种失败原因打「可被事件修复」的标记,同一类原因在不同场景下结论也可能不同——例如资源不足若无任何节点未来会释放,就接近于不可修复。分类的价值不在于精确,而在于让回收策略可预期:宁可把可修复的误判为不可修复(退避后还会重试,损失可控),也别把不可修复的长期丢进等事件的队列。

回收路径:两条队列,两种节奏

失败后 Pod 进哪条队列,决定了它下次被处理的节奏:

  • UnschedulableQ 是「事件驱动的等待区」。Pod 待在这里,不消耗调度器算力,只等节点加入、Pod 删除等事件。事件一来,整队移动到 ActiveQ(或按退避规则进 BackoffQ),重新竞争调度机会。lab 的 HandleNodeAdd / HandlePodDelete 就模拟这个「整队移动」。
  • BackoffQ 是「时间驱动的冷却区」。Pod 按指数退避(backoffBase << fails,封顶 maxBackoff)计时,到期自动回 ActiveQ。它专为不可修复原因服务:让失败的 Pod 不要以最高频率反复冲击调度器,同时保证它迟早会再试一次。

「整队移动」是个有意的粗粒度选择:节点加入时,把所有 UnschedulableQ 的 Pod 一次性挪回 ActiveQ,让它们重新走一遍 Filter/Score。代价是有一部分 Pod 会再次失败(它们的失败原因与新节点无关),收益是简单且不错过任何被修复的 Pod。用一部分无效重试,换实现简单与不遗漏,是调度失败回收里反复出现的取舍。

两条队列解决的是同一个矛盾的不同侧面:UnschedulableQ 避免「事件能修复却不重试」,BackoffQ 避免「重试太频繁浪费算力」。事件来了要敏感,事件没来要克制——这组语义合起来,就是调度失败回收的完整策略。

退避的时间形貌值得单独说。lab 里退避是 backoffBase << fails,指数翻倍并封顶 maxBackoff:第一次失败等 1 个基数、第二次 2 倍、第三次 4 倍,直到封顶。指数增长的意义是让反复失败的成本以平方级收敛,而不是线性累积——失败的 Pod 越挫越勇的代价由集群全体承担,必须用冷却把它约束住。

两种闭环:事件驱动与时间驱动

失败反馈回控制回路的方式有两条,分别对应上面两条队列的触发机制:

  • 事件驱动闭环:节点加入、Pod 删除、污点移除等事件 → 调度器收到 informer 回调 → 把 UnschedulableQ 里可能被修复的 Pod 重新激活。这是「外部世界变了,我立刻重新评估」。
  • 时间驱动闭环:BackoffQ 到期、以及周期性的队列清理(真实 kube-scheduler 里有 podMaxInUnschedulablePodsDuration,默认约 5 分钟,把长期滞留 UnschedulableQ 的 Pod 周期性再评估)→ 这是「不管外部变没变,过一段时间我重新看一眼」。

真实调度器两条腿都走:事件驱动保证响应及时,时间驱动保证事件丢失或漏报时也有兜底。两条闭环的冗余,是为了弥补 informer 事件可能漏、可能延迟的现实。

两条闭环对运维有个可见的差异:事件驱动是「推」出来的,时间驱动是「拉」出来的。前者在 describe 里表现为「事件发生后 Pod 立刻被重试」,后者表现为「定时器到了 Pod 才动」。排障时如果发现 Pod 在该重试时没动,先看它等的是哪条闭环——等事件的查事件有没有来,等时间的查退避还有多久。

失败类型 → 队列 → 重试路径一览

把整条回收路径压成一张表:

失败类型进哪条队列重试触发重试节奏
资源不足UnschedulableQPod 删除 / 节点加入事件事件驱动,触发即重试
污点不匹配UnschedulableQ污点移除事件事件驱动
端口冲突UnschedulableQ占用端口 Pod 删除事件驱动
选择器不匹配BackoffQ退避到期时间驱动,指数退避
无可行节点BackoffQ / UnschedulableQ视具体失败原因混合

这张表也是排障入口:看 describe pod 的 FailedScheduling 事件,能定位「失败原因属于哪类」,从而预判「它会等事件还是等时间」,进而知道「要不要人工介入」——等事件的,推一把节点往往立刻生效;等时间的,是系统在自行冷却。

排障还有一个先决判断:先分清「失败重试还没轮上」和「失败之后没人管」。前者是队列语义,属于正常;后者才是真问题。一个实用的观察点是 FailedScheduling 事件的间隔——间隔在指数拉长,说明退避在工作;间隔完全消失,说明 Pod 卡在了某个不重试的角落(例如被长期遗忘在 UnschedulableQ 而事件又没触发)。

集群维度看这张表还有一层含义:UnschedulableQ 里堆了哪个失败原因,就是集群当前瓶颈的仪表盘。清一色「资源不足」说明容量见底,该上第 14 章的 Cluster Autoscaler;清一色「污点不匹配」说明节点被刻意隔离;清一色「选择器不匹配」往往指向配置错误而非容量问题。

多副本调度器:高可用

单副本调度器是明显的单点。kube-scheduler 以多副本(Deployment)方式部署,但同一时刻只有一个副本真正在调度,其余是热备——这就是 leader 选举的作用。

  • 每个副本启动时都尝试获取一个分布式锁(Lease / Endpoint 上的租约),只有持有锁的副本成为 leader。
  • leader 周期续租;续租失败或进程退出,锁释放,剩余副本重新选举,新 leader 接管。
  • 选举只决定「谁来干活」,不迁移任何数据——因为调度器没有需要迁移的状态(15.1 节的结论)。这是无状态组件高可用最便宜的形态:没有共享存储、没有主从复制、没有数据一致性协议,只有一把锁。

leader 切换的中断窗口是多少?取决于「选举多久能收敛 + 新 leader 多久能把队列重建起来」。实际量级是秒级——对一个把失败重试当常态的系统来说,这个中断是可接受的。

锁的载体与心跳是同一个 Lease 机制(第 10.3 节讲过 Lease 同时服务节点心跳与组件选主):holderIdentity 记录当前 leader,renewTime 记录续租时间,leaseDurationSeconds 决定失联多久后锁可被抢占。一套租约语义,两个用途——节点心跳告诉控制面「节点还活着」,组件选主告诉副本们「谁是当前干活的人」。

多副本还能顺带分担一类负载:每个副本都在 watch apiserver、维护 informer 缓存,leader 切换后新 leader 的缓存通常是热的,不需要从零重建全量数据。这让「抢占即接管」几乎无缝。

运维上要区分两个探针:就绪探针表明「我够资格干活」,活跃探针表明「我还没死」。副本既就绪又活跃 → 参与选举;活跃但未就绪 → 可能刚启动还在建缓存,不抢锁;既不活跃也不就绪 → 进程有问题,Deployment 会重启它。选举状态是「就绪/活跃」探针语义在分布式组件上的延伸。

多副本调度器:一致性

多副本的难点不是高可用,而是一致性:同一时刻绝不能有两个调度器把同一个 Pod 绑到两个不同节点。Kubernetes 的防护是层层叠加的:

  1. leader 选举收敛:正常情况下只有一个 leader 会从队列 pop Pod 并写绑定。锁本身有 lease 语义,leader 失联后其他副本要等租约过期才抢占,避免「双 leader」。
  2. 唯一写者:spec.nodeName 的写者只有调度器(及用户手动操作),而活跃调度器唯一。即使出现罕见的双 leader 竞态,两个写者对同一对象做的是「最后写者胜」——Pod 最终只有一个 nodeName。
  3. kubelet 认领去重:只有 nodeName 匹配的 kubelet 才认领 Pod(15.1 节)。就算两个节点都收到了矛盾的绑定,实际负责的只有写定的那一台。
  4. schedulerName 分流:一个集群可以有多个调度器,Pod 用 spec.schedulerName 指定由谁处理。不同调度器处理不同的 Pod 子集,互不竞争同一个 Pod。

最后一条值得展开:「多调度器」和「多副本调度器」是两种多。多副本是同一个调度器跑多份、靠选举选一个干活,服务于高可用;多调度器是不同调度器各管一批 Pod(按 schedulerName),服务于隔离与定制。两者叠加时,每个 schedulerName 各自再走自己的 leader 选举——一致性边界按 schedulerName 切开。

一致性里最需要警惕的失败模式是 split brain(双 leader):leader 网络抖动导致租约短暂无法续租,被另一个副本抢占,旧 leader 网络恢复后仍以为自己还是 leader。缓解手段一是租约时长留余量(续租频率 ≪ 租约时长),二是一致性检查:写绑定前确认自己仍是锁的持有者。Kubernetes 的选择是「最后写者胜 + kubelet 认领去重」做最终兜底——就算双 leader 短暂并存,系统也不会进入两个节点同时运行同一 Pod 的失控状态,代价只是可能有一次无效绑定需要回收。

还有一层「一致性」常被忽略:调度决策与集群现状的时效一致性。调度器用内存里的节点快照做决策,而快照永远比 apiserver 慢一拍。如果决策时节点资源已被其他 Pod 占用(快照过期),绑定后 kubelet 仍会尝试启动,真正的资源冲突由 kubelet 侧的运行时与节点压力机制(第 9 章)去兜底。调度的一致性保证是「尽力而为 + 下游兜底」,不是硬性事务承诺。

调度器崩溃恢复:无状态与重放

崩溃恢复是「无状态」设计的自然回报:

  • 队列重建:新 leader 启动时从 informer 的 lister 缓存拉全量 Pod,凡是 spec.nodeName 未写的 Pod 重新入队。队列内容不是备份出来的,是「算」出来的。
  • 不重复调度已绑定 Pod:nodeName 已写的 Pod 不会被重新调度——绑定本身是幂等的事实,不是可回滚的事务。
  • 崩溃发生在「出队后、绑定前」:Pod 仍在 apiserver 里未绑定,新 leader 重新调度它。对系统无副作用,只是多一次等待。
  • 崩溃发生在「绑定中」:写入要么成功(Pod 已绑定,重放时跳过)、要么失败(Pod 未绑定,重新调度)。不存在「写了一半」的中间态,因为 spec.nodeName 是一次字段更新。

这个模型的本质是**「把系统状态放在 apiserver,把调度器的内存当作可丢弃的缓存」**。缓存丢了,从事实重建;事实(Pod 对象)在 etcd 里,永远不会因为调度器崩溃而丢。调度器的恢复语义比绝大多数有状态服务简单得多——因为它从不假装自己拥有状态。

重放的起点是 informer 的 resourceVersion:新 leader 从任意版本开始 relist,apiserver 会把该版本之后的所有变更推给调度器。这个机制保证即使队列里有少量事件在崩溃瞬间没被处理,恢复后也会被重新观察到。恢复的正确性不依赖「崩溃前一刻的内存快照」,而依赖「崩溃后重看一遍事实」——这是事件驱动系统通用的恢复哲学。

对比一下有状态方案就能看出这个取舍的分量:如果调度器把队列持久化,就得处理「队列写了一半怎么办」「旧 leader 的队列和新 leader 的队列如何合并」等一堆分布式一致性问题。无状态方案把这些问题全部卸载给 apiserver——用「apiserver 是唯一事实源」这一条原则,换掉了整个持久化一致性栈。这也是本书反复出现的主题:把复杂性卸载到已有的一致性好、可靠性高的组件上。

失败语义收拢:第 2、3、5、7 章回看

  • 第 2 章(队列):提供失败回收的容器——三队列的转移规则定义了「失败后去哪、何时回来」。
  • 第 3 章(Filter):提供失败原因的分类——nodeSelector、亲和、污点、资源、端口、卷,每种原因的可修复性不同,直接决定去 UnschedulableQ 还是 BackoffQ。
  • 第 5 章(抢占):提供「装不下时怎么办」——高优先级 Pod 无可行节点时先抢占低优先级 Pod 释放资源;若抢占仍凑不够,失败且不可修复,进 BackoffQ。
  • 第 7 章(调度框架):提供统一的失败出口——Schedule 返回 ErrNoFeasibleNode,把「所有 Filter 都拒绝」收敛成一个明确的错误值,调用方据此决定回收去向。
  • 第 11–14 章(伸缩):提供失败的「根治」出口——当 UnschedulableQ 长期堆满资源类失败,说明容量不足,由 Cluster Autoscaler 加节点、或由 HPA 调节负载本身,从源头消掉失败。

四章合起来是一条完整的失败处理链:Filter 判定原因 → 队列决定去向 → 抢占尝试自救 → 框架统一兜底。调度失败因此不是散落的异常,而是一条有分类、有路径、有重试、有兜底的工程化流程。

把这条链和 15.1 节的状态流对照,会发现失败回收本身也有一条「小状态流」:失败从 ActiveQ 流出,按可修复性分流,经事件或时间驱动回流到 ActiveQ,再走一遍 Filter/Score——每一次重试都是一次完整的状态流转,只是入口是队列而非 Pod 创建。理解了这个循环,就理解了为什么调度器可以把大量失败容忍得如此从容。

三个常见误解

  • 「调度失败说明集群出问题了」——错误。资源不足、污点不匹配、端口冲突是常态,调度失败是控制回路的常规工作态。判断集群健康看失败后的回收是否顺畅,而不是失败是否发生。
  • 「调度器多副本 = 多个调度器同时工作」——错误。多副本靠 leader 选举选出一个干活,其余热备;多调度器才按 schedulerName 各自分管一批 Pod。两者语义完全不同。
  • 「调度器崩溃会丢调度现场」——错误。调度器无状态,队列和节点快照从 informer 缓存重建,已绑定 Pod 以 spec.nodeName 为准跳过。崩溃的代价只是一次队列重建,不是数据损失。

本节 lab

本节两条命令分别验证失败回收与无可行节点判定:

cd private/labs/k8s-sched-lab
go test ./queue -run 'TestFailureBackoff|TestUnschedulableEventMove' -v
go test ./framework -run TestScheduleNoFeasible -v

TestFailureBackoff 用「selector」失败(不可被事件修复)验证不可修复原因走 BackoffQ(断言 BackoffQ 计数为 1);TestUnschedulableEventMove 用「缺 GPU 标签」失败(resource 类,可被事件修复)验证进 UnschedulableQ,再模拟节点加上标签、HandleNodeAdd 整队移动后重新调度成功——这正是「事件驱动闭环」的可运行版本。TestScheduleNoFeasible 则验证 framework 的 Schedule 在所有候选节点都不满足 Filter 时返回 ErrNoFeasibleNode,即第 7 章的失败出口。

三个用例合起来覆盖了本节的核心语义:可修复失败等事件、不可修复失败退避、全部节点不可行则统一抛错。跑一遍这两条命令,就能在测试输出里看到「进 BackoffQ → 事件触发 → 重新调度成功」的完整失败回收轨迹。

多副本与 leader 选举没有单独的可运行用例——它属于部署拓扑而非算法——但本节的两条命令已经覆盖了选举之外的全部失败语义,剩下的是把调度器按多副本 Deployment 部署时由 kube-scheduler 自带的 --leader-elect 行为接管。

一句话总结本节

调度失败按可修复性分流到 UnschedulableQ(等事件)与 BackoffQ(等时间),靠事件驱动与时间驱动两条闭环回收;多副本调度器用 leader 选举保证高可用、用「唯一写者 + kubelet 认领去重 + schedulerName 分流」保证同一 Pod 不被二次绑定,崩溃后无状态重建队列即可恢复。下一节把这些机制连同前面各章讲的硬约束、软偏好、抢占一起,收束成卷三「约束满足 + 评分 + 抢占 + 负反馈」四个机制的全局视图。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图