《Kubernetes 分布式系统原理深入解析》2.1 调度循环:informer→队列→选择→绑定

调度的主循环是四步:informer 事件把未绑定 Pod 入队、从队列 pop、Filter+Score 选节点、写绑定。本节逐段拆这个循环,说明它与控制器调谐循环的异同——调度也是『读期望、看现状、写回』的负反馈,只是决策对象是『放哪』而非『改多少』。lab 用 queue/scheduler.go 的 ScheduleLoop 复现四步循环,展示 pop→filter→score→bind 的完整一round。

2.1 调度循环:informer→队列→选择→绑定

调度器不是「收到一个 Pod 就立刻处理完」,它运行一个循环:持续从队列取待调度 Pod、找节点、写绑定。这条循环和卷二第 5 章的控制回路是同构的,但决策内容不同——控制器算「需要几个副本、还差几个」,调度器算「这个 Pod 放哪台机器」。

本节把调度主循环拆成四步:事件入队 → pop → 选择 → 绑定,每步说明输入、输出与一致性含义。看懂这个循环,后面的队列(2.2)、重试(2.3)、Filter(第 3 章)、Score(第 4 章)都是往这个骨架里填肉。

第一步:informer 事件把 Pod 送进队列

循环的入口不是「调度器收到请求」,而是 watch 事件。调度器 watch 到两种事件会往队列里放 Pod:

  • Pod 新增/更新:新创建的 Pod 若 spec.nodeName == "" 且名字匹配,入 ActiveQ。
  • Pod 解除绑定:已绑定 Pod 的 nodeName 被清空(重新调度场景),重新入队。

事件不是主动轮询来的——没有变化就没有流量。这套「订阅增量 + 缓存」在 1.2 节讲过,循环的第一步就是把它转成队列的入队动作。lab 的 queue 包用 AddActive 模拟:Scheduler.Queue.AddActive(&Pod{...}) 之后,Pod 就在待调度集合里了。

第二步:从队列 pop 一个 Pod

循环体一次只处理一个 Pod。队列决定「下一个是谁」:

  • ActiveQ:可立即尝试的 Pod 集合,按优先级降序 pop(高优先级先调度)。
  • BackoffQ:刚失败的 Pod,按退避时间延迟重试。
  • UnschedulableQ:失败且等待事件(节点变化)的 Pod。

2.2 节细拆三个队列。这一步的要点是:pop 出来的 Pod 才进入选择阶段,选择失败不会回到 ActiveQ 尾部,而是进专门的失败队列——避免「失败 Pod 反复排在队首」的饥饿。

第三步:Filter + Score 选一个节点

对一个 Pod 做选择,分成两段:

  1. Filter(硬约束):遍历所有节点,不满足任何一条硬约束的直接淘汰。目标是得到「可行节点集合」。
  2. Score(软偏好):对可行节点打分(0-100),选最高分的节点。目标是得到「最优可行节点」。

这是 1.1 节形式化的执行:Filter 管 c(p),Score 管目标函数。第 3、4 章分别展开。lab 的 ScheduleOnce 就是这个顺序——先 evaluate 找可行节点,再 bestNode 按评分选最优。

第四步:绑定并预扣

选到节点后:

  1. 把 p.NodeName 置为该节点,写入绑定(apiserver 的绑定子资源,1.2 节)。
  2. 调度器本地快照预扣该节点的资源(best.UsedCPU += p.CPU),让后续决策立刻看到占用。
  3. 绑定记录进 s.Bound,供观测与测试。

预扣是关键细节:不预扣的话,视图滞后会让「两个 Pod 绑到同一个小节点」。预扣不是 apiserver 的保证,而是调度器自己的一致性补偿——它在自己缓存里模拟未来状态。

调度循环与调谐循环:同一骨架

把调度四步与卷二的控制回路并排看:

环节控制器调谐(卷二)调度循环(本卷)
输入控制对象的事件未绑定 Pod 的事件
状态desired vs current可行节点 vs 待调度 Pod
动作增删副本/更新子资源写绑定
失败workqueue 退避重试BackoffQ / UnschedulableQ
收敛副本数 == 期望Pod 都有 nodeName

两者都是「读期望 → 看现状 → 写回」的负反馈:控制器让副本数趋近期望,调度器让每个 Pod 趋近「已绑定」。第 15 章会把整条链(调度 → 运行 → 上报 → 回收)串成更大的闭环。

循环的一次性:Pod 只被调度一次

调度循环与控制器循环有一个重要区别:控制器持续调谐同一个对象(每次变化都再跑一遍),调度器对每个 Pod 只决策一次。Pod 一旦绑定成功,就从待调度集合里消失——它已经「完成」,后续由 kubelet 负责运行,不再回调度循环。

这个「一次性」使调度的失败处理更关键:失败不能靠「下次再调谐」自然恢复,必须显式地重试(入 BackoffQ/UnschedulableQ)或抢占(第 5 章)。这也是为什么调度器的队列设计比控制器的 workqueue 更复杂——它要管理「失败后什么时候重来」。

循环的并发:worker 池如何调度多个 Pod

2.1 节的四步是「一个 Pod 的一轮」。真实调度器要同时调度很多 Pod,用 worker 池:

队列 pop 分配器 → 多个 worker 并发执行「Filter+Score+绑定」
                  ↓
        每 worker 处理一个 Pod,绑定前对目标节点加锁

并发引入的唯一新问题是节点资源竞争:两个 worker 同时看中同一节点。解法是 per-node 锁:绑定前锁住目标节点,重查剩余量、扣减、释放。这与 4.3 节「算分并行」互补:

  • 4.3 节并行:一个 Pod 的评分,节点分片多 worker。
  • 本节的并发:多个 Pod 同时调度,各自跑完整循环。

两个层面都需要,且都必须守住「结果与串行一致」——算分并行靠纯函数,调度并发靠节点锁。

调度循环的可观测指标

循环要能观测,否则排障靠猜。监控一个调度器,看四类指标:

指标反映异常信号
队列深度待调度积压深度突增 = 调度吞吐跟不上创建速率
调度延迟Pod 入队到绑定耗时延迟高 = Filter/Score 慢或队列排队长
Unschedulable 计数失败 Pod 数突增 = 资源不足/约束不匹配集中爆发
抢占计数抢占发生次数突增 = 资源竞争激烈,需扩容或调优先级

这些指标直接对应循环的四步:队列深度看第一步,调度延迟看第二三步,Unschedulable 看第三步失败,抢占看第四步的替代路径。给循环装上仪表,排障就从猜变成看。

调度循环与调谐循环的差异再辨析

2.1 节说两者同构,但差异同样重要,值得再拧一层:

  • 控制器调谐是反复执行:对象每次变化都再跑一遍 reconcile,最终状态是「持续趋近期望」。
  • 调度循环是一次性决策:Pod 绑定后离开集合,不再回调度器。

这个差异的根源:控制器的「期望」是持续存在的(desired replicas 一直有效),调度的「期望」是瞬时的(绑定就完成了)。控制器维护『一直要保持』的状态,调度器完成『一次性的放置』。理解这个差异,就理解为什么调度失败必须显式重试(控制器可以等下次调谐,调度器没有下次)。

另一个差异:调谐动作是「写期望的子资源」(ReplicaSet 的 replicas 字段),调度动作是「写待决策对象的字段」(Pod 的 nodeName)——一个写自己的管辖对象,一个写被决策对象本身。调度器是少数直接改「别人」的控制组件,这也是它写路径必须走乐观并发的原因。

三个常见误解

  • 「调度循环是同步阻塞的,一个 Pod 处理完才处理下一个」——错误。真实调度器有 worker 池并发处理多个 Pod(第 4.3 节);lab 的 ScheduleLoop 是单线程教学简化。并发下靠节点预扣锁防超售。
  • 「Filter 和 Score 是一体的」——错误。它们是两个独立阶段:Filter 是淘汰制(不满足即出局),Score 是排名制(都满足里选最好)。混淆两者是调度设计最常见的错误——把软偏好当硬约束写,会让调度「不敢选」。
  • 「绑定成功 = Pod 开始运行」——错误。绑定只是写 nodeName;kubelet 看到后还要拉镜像、启动、探针,Pod 才 Running。绑定的正确语义是「调度器完成了职责」,不是「应用已就绪」。

循环里每一步都能观测

给排障一个坐标:Pod 卡在 Pending,问「卡在循环哪一步」:

现象卡在
Pod 一直不在队列(无调度器认领)第一步:schedulerName 不匹配
Pod 反复 Unschedulable第二步之后:Filter 全失败,无可行节点
Pod 调度了但没运行第四步之后:kubelet 侧问题

这也是为什么调度器把失败原因写进 Pod 的 status.conditions(Unschedulable 条件带 message)——决策的失败要能观测,用户 kubectl describe pod 就能看到「0/3 nodes are available: insufficient cpu」。

一句话总结本节

调度主循环的四步(事件入队 → pop → 选择 → 绑定)收成三个要点:

  • 同构于控制回路:调度与控制器调谐都是「读期望 → 看现状 → 写回」的负反馈,但调度是一次性决策,失败必须显式重试。
  • 选择的两段式:Filter 淘汰、Score 排名——这是「硬约束 + 软偏好」在循环里的执行位置。
  • 预扣是自补偿:绑定后本地扣减资源,弥补视图滞后造成的超售风险。

下一节拆循环的输入侧:ActiveQ/BackoffQ/UnschedulableQ 三队列如何管理待调度集合与失败重试。

循环的四个可观测点

给调度主循环装监控,盯这四个点,每个对应循环一步:

观测点指标循环对应
队列深度待调度 Pod 数入队/队列
调度尝试每秒 pop 数pop
调度成功/失败绑定/unschedulable 比例Filter+Score
调度延迟入队到绑定耗时全循环

四类指标联动看:队列深度涨 + 调度延迟涨 → 循环处理慢了;unschedulable 比例涨 → 约束或资源问题。单看任何一维都会误判——循环是流水线,要看流水线的每段。

循环一次性的复核

复核「调度是一次性决策」的两个边界:

  • 重调度场景:Pod 被驱逐后重新进入待调度集合,会再走一遍完整循环——这不是「第二次调度」,是新的一次决策。
  • 缓存滞后:绑定写成功但 informer 还没更新时,循环可能再次看到这个 Pod——调度器用 nodeName != "" 跳过已绑定 Pod,天然幂等。

两个边界都指向同一结论:循环的『一次性』是语义上的,实现靠状态过滤(nodeName)保证。

本节 lab

本节把四步循环落到 queue/scheduler.go 的 ScheduleLoop:入队两个 Pod,循环 pop → evaluate(Filter)→ bestNode(Score)→ 绑定预扣,直到队列空:

cd private/labs/k8s-sched-lab
go test ./queue -run TestScheduleLoopBind -v

TestScheduleLoopBind 验证两个 Pod 都调度成功、绑定记录 2 条、节点资源被扣减。这正是本节骨架的完整运行:事件入队 → pop → 选择 → 绑定,一轮循环走完,一个 Pod 的调度决策落地。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图