《Kubernetes 分布式系统原理深入解析》7.2 SchedulingGates 与异步准入

spec.schedulingGates 让 Pod 在调度前『挂起』:调度器对带未解除 gate 的 Pod 不取件、不判失败、不进退避队列,等外部准入方移除 gate 后异步放行。本节讲 gate 的字段与语义、与 admission webhook 的配合方式(创建时打 gate、外部控制器放行),并对比 Job suspend、webhook 拒绝等异步机制。lab 用 framework 的完整 Filter→Score→Bind 流程演示『可行→绑定成功』与『无可行→错误回队列』两种结局,说明门控为何要把失败改成等待。

7.2 SchedulingGates 与异步准入

7.1 节的扩展点解决「调度怎么做」,本节解决「调度何时做」——精确说,是「Pod 要等外部条件满足后才该被调度」。SchedulingGates 是 K8s 原生提供的异步准入机制:把「条件不满足」从「调度失败」改造成「挂起等待」。

spec.schedulingGates 字段

字段本身很简单,是 spec 下的一个列表:

apiVersion: v1
kind: Pod
metadata:
  name: batch-job-1
spec:
  schedulingGates:
  - name: "resource-quota-precheck"   # 门控名,自由定义
  - name: "approval-flow"             # 可挂多个门控
  containers:
  - name: main
    image: busybox

语义:列表非空(含未解除项)时,该 Pod 不会进入调度周期。调度器看到带 gate 的 Pod,直接跳过;等列表清空(所有 gate 都被移除),Pod 才恢复可调度。一个 Pod 可以挂多个 gate,全部解除才算放行。

调度器对带 gate 的 Pod:不弹、不失败

与 Filter 拒绝的路径不同,带 gate 的 Pod 走的是「温和跳过」:

  • 不取件:调度队列里,带未解除 gate 的 Pod 不会被选进调度周期(QueueSort 之后直接跳过)。
  • 不判失败:不会被打上 Unschedulable 状态、不会进 UnschedulableQ、不进 backoff 退避。
  • 不触发抢占:它不影响其他 Pod 的调度,也不参与抢占。
  • 留在队列等待:Pod 一直在等待队列里,等 gate 移除的事件到来,重新进入可调度集合。

对比一下:Filter 拒绝会把 Pod 弹到 UnschedulableQ 并做退避重试;gate 则完全不消耗这些机制。「等待」与「失败」是两种不同的调度体验——gate 刻意选择了前者,让外部准入方从容处理,不被重试风暴打扰。

与 admission webhook 的配合

SchedulingGates 最常见的用法是「创建时打 gate,外部准入方放行」:

  1. MutatingAdmissionWebhook 在 Pod 创建时注入 schedulingGates——这发生在 API Server 侧,Pod 一旦创建就带 gate。
  2. 外部准入方(一个自定义 controller、审批系统、资源预检服务)执行自己的检查:quota 是否足够、数据是否合规、审批流是否完成。
  3. 检查通过后,准入方更新 Pod,把 schedulingGates 清空。
  4. Pod 更新事件触发调度器重新评估,Pod 进入调度周期。

对比 webhook 的同步拒绝:webhook 拒绝是一次性、整个 Pod 被拒(创建就失败);gate 是异步、可多步推进——Pod 先存在,条件逐项满足,最后放行。这允许「创建与准入分离」:创建是即时的,准入是异步的。

应用场景:资源预检查 / 自定义准入 / 多步审批

三个典型场景,正好对应 gate 的三种能力:

  • 资源预检查:外部配额系统为 Pod 预占资源。创建时打 resource-precheck gate,配额确认后放行。相比依赖调度器的资源 Filter,这是「调度前的业务级资源检查」——比如跨集群的全局配额、成本审批。
  • 自定义准入:数据合规、安全扫描、密钥发放等。Pod 可以先存在但延迟调度,等合规检查通过。
  • 多步审批:创建 → 预审 → 运行环境就绪 → 解除 gate。每一步由不同系统更新 gate 列表,最终放行。

共同点:准入条件是调度器不知道的「外部事实」。调度器无法判断「这个 Pod 的预算批了没有」,所以干脆把控制权交给外部,用 gate 表达「等外部说可以」。

与类似异步机制的对比

K8s 里还有几种「暂停/放行」机制,容易与 gate 混淆:

机制挂起点放行方式失败语义
schedulingGatesPod 调度前外部更新移除 gate无失败,一直等待
webhook 拒绝创建/更新时重发请求同步拒绝,创建失败
Job suspendPod 创建前resume 后创建暂停创建
taint/toleration节点侧移除污点/加容忍Filter 拒绝路径
PDB / 抢占驱逐前满足后放行限制驱逐
  • Job suspend 挂起的是「创建 Pod」这个动作,gate 挂起的是「调度已存在的 Pod」——一个在 controller 层,一个在调度器层。
  • 污点是节点拒绝 Pod,gate 是 Pod 自我挂起——方向相反。
  • gate 的独特点:Pod 已存在、无失败状态、可多步异步推进。

gate 与 Filter 的关系:门控是「等待环节」不是「拒绝环节」

如果把 gate 检查实现成一个 Filter 插件,它会对带未解除 gate 的 Pod 返回「拒绝」——但那样 Pod 会进 UnschedulableQ 并退避,与「等待」的意图相反。所以真实调度器把 gate 检查放在取件之前:

取下一个 Pod
  └─ 有未解除 gate? ── 是 → 跳过,取下一个(不产生失败记录)
  └─ 否 → 进入调度周期(PreFilter → Filter → Score → Bind)

这个设计把「条件不满足」留在调度周期之外。框架术语里最接近的扩展点是 Permit(7.1 节):Permit 插件可以返回「等待」,让周期挂起;gate 是这一语义在 Pod 字段层面的原生实现——不需要写插件,配置字段即可。两者的取舍是:Permit 适合「等待时间短、逻辑属调度器」的门控(跨调度器协调、依赖框架状态);gate 适合「等待时间长、逻辑属外部系统」的门控(审批、预算、合规),因为它在调度器之外也可见、可审计、不占用调度周期资源。

这个「取件前检查」的位置很关键:它避免了在 Filter 里对上千个节点重复做 gate 判断,也避免把「等待」语义污染成「失败」语义。

放行机制与异步解耦

gate 的移除到恢复调度,走的是事件驱动路径:

  1. 外部准入方清空 spec.schedulingGates,触发一次 Pod 更新(UPDATE)。
  2. 调度器监听 Pod 更新事件,发现「gate 列表从非空变为空」。
  3. 调度器把该 Pod 激活(activate)回可调度集合,进入正常调度周期。

这个设计保证实时性:放行后无需手动触发或等待退避周期。对比一下 Filter 拒绝后的路径——那是「失败 → 回队列 → 等事件重试」,而 gate 放行是「等待 → 事件激活 → 直接进入正常路径」。两条路径都靠事件驱动,但一条重试失败、一条重新开始。

同步准入的局限:为什么要异步。如果把准入做在同步的 webhook 拒绝里,会遇到结构性问题:

  • 等待时间不可控:外部配额系统查询、人工审批可能要几秒到几小时,同步 webhook 把「创建」这件事阻塞那么久不可接受。
  • 失败即重来:条件在创建时没满足,整个创建失败,一切从头——多步审批会反复重建。
  • 耦合过紧:创建与准入强绑定,业务上「先有对象、后补齐条件」的模式无法表达。

gate 把两者解耦:对象先存在(创建即时完成),条件后满足(准入异步推进)。这更符合真实业务流程——审批可以慢慢走,Pod 先挂着不影响「对象被创建」这个事实。

观测与适用边界

带 gate 的 Pod 长时间 Pending 是预期行为,但要能区分「等 gate」与「等调度」:

  • 查 gate:kubectl get pod <name> -o jsonpath='{.spec.schedulingGates}',非空即「等 gate」。
  • 查事件:kubectl describe pod <name>——若一直没有任何调度事件,多半是 gate 挡住;若反复出现 Unschedulable,才是调度失败。
  • 设计观测:把 gate 数量、平均等待时长做成准入系统的指标,超过阈值说明外部检查流程变慢,而不是调度器出问题。

运维上注意:频繁打/放 gate 会产生大量 Pod 更新事件,不要在热路径上滥用;门控是「条件门槛」,不是「流控开关」。

gate 与调度队列的健康检查是两回事:队列健康看 Pending 总量,gate 视角看「等 gate 的 Pod 占总 Pending 的比例」——比例异常升高,说明外部准入链路过慢,而不是调度器出问题。

gate 的适用边界:gate 不是万能的调度暂停开关,边界要划清楚:

  • 不替代调度约束:它不检查节点资源、不替代 Filter 插件;条件满足后照样要过完整调度链。
  • 不替代 Job suspend:需要「不创建 Pod」用 suspend,需要「已存在但不调度」用 gate。
  • 可与多 profile 组合:不同 Pod 类挂不同 gate 名,准入系统按名字分类处理,实现分流的异步准入策略。

一句话:gate 只回答「何时放行」,不回答「放到哪里」——后者仍是 Filter/Score 的职责。

gate 与多步审批的流程示例

一个完整的「创建 → 预审 → 配额 → 放行」流程:

  1. 用户提交带 schedulingGates: [pre-audit, quota-check] 的 Pod。
  2. 审计系统看到 gate pre-audit,执行数据合规检查,通过后更新 Pod,只剩 quota-check。
  3. 配额系统看到 gate quota-check,确认全局配额充足并预占,更新 Pod 清空 gate。
  4. 调度器收到「gate 从非空变空」事件,激活 Pod,进入正常调度周期。

注意每一步都是「更新同一个 Pod」而不是「重建」——gate 的异步性让多个系统各推进一步,最终合流放行。这也体现了 gate 列表「多个并存、逐项解除」的设计:每个 gate 名就是一个可独立推进的检查项。

三个常见误解

  • 「带 gate 的 Pod 会被判为调度失败」——错误。它只是不参与调度,不产生 Unschedulable 状态、不进退避队列,状态保持 Pending 等待放行。
  • 「解除 gate 必须删除 Pod 重建」——错误。直接更新 Pod 的 spec.schedulingGates(清空列表)即可,Pod 本体不受影响。
  • 「gate 是准入控制的同步拒绝」——错误。webhook 拒绝是创建时的一次性同步决定;gate 是创建后的异步挂起,可多步推进,由外部准入方按自己的节奏放行。

一句话总结本节

SchedulingGates 收成三个要点:

  • gate 是异步准入:Pod 先创建、条件后满足,由外部准入方按自己的节奏放行。
  • 不弹、不失败:带 gate 的 Pod 留在队列等待,不产生失败记录、不退避、不触发抢占。
  • 放行是事件驱动:清空 gate 触发 Pod 更新,调度器激活它进入正常调度路径。

本节 lab

gate 的「等待」语义要理解,最好先看清调度的「失败」路径长什么样。framework 包的两个用例正好演示两条结局:

cd private/labs/k8s-sched-lab
go test ./framework -run 'TestScheduleFeasible|TestScheduleNoFeasible' -v

两个用例(共 3 个断言)走完整的 Filter → Score → Bind 流程:TestScheduleFeasible(2 个断言)验证两个节点都通过 Filter 后,评分更高(更空闲)的 n2 被选中并完成绑定;TestScheduleNoFeasible(1 个断言)验证所有节点都不满足 Filter 时返回 ErrNoFeasibleNode——这就是「失败回队列」的路径。gate 机制的意义正在于:把后一条路径从「失败」改成「等待」,让条件不满足的 Pod 不消耗退避重试,安静地等外部准入方放行。如果把 gate 实现成 Filter 链里的插件,它就是「返回等待而非拒绝」的特殊环节。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图