7.2 SchedulingGates 与异步准入
7.1 节的扩展点解决「调度怎么做」,本节解决「调度何时做」——精确说,是「Pod 要等外部条件满足后才该被调度」。SchedulingGates 是 K8s 原生提供的异步准入机制:把「条件不满足」从「调度失败」改造成「挂起等待」。
spec.schedulingGates 字段
字段本身很简单,是 spec 下的一个列表:
apiVersion: v1
kind: Pod
metadata:
name: batch-job-1
spec:
schedulingGates:
- name: "resource-quota-precheck" # 门控名,自由定义
- name: "approval-flow" # 可挂多个门控
containers:
- name: main
image: busybox
语义:列表非空(含未解除项)时,该 Pod 不会进入调度周期。调度器看到带 gate 的 Pod,直接跳过;等列表清空(所有 gate 都被移除),Pod 才恢复可调度。一个 Pod 可以挂多个 gate,全部解除才算放行。
调度器对带 gate 的 Pod:不弹、不失败
与 Filter 拒绝的路径不同,带 gate 的 Pod 走的是「温和跳过」:
- 不取件:调度队列里,带未解除 gate 的 Pod 不会被选进调度周期(QueueSort 之后直接跳过)。
- 不判失败:不会被打上 Unschedulable 状态、不会进 UnschedulableQ、不进 backoff 退避。
- 不触发抢占:它不影响其他 Pod 的调度,也不参与抢占。
- 留在队列等待:Pod 一直在等待队列里,等 gate 移除的事件到来,重新进入可调度集合。
对比一下:Filter 拒绝会把 Pod 弹到 UnschedulableQ 并做退避重试;gate 则完全不消耗这些机制。「等待」与「失败」是两种不同的调度体验——gate 刻意选择了前者,让外部准入方从容处理,不被重试风暴打扰。
与 admission webhook 的配合
SchedulingGates 最常见的用法是「创建时打 gate,外部准入方放行」:
- MutatingAdmissionWebhook 在 Pod 创建时注入
schedulingGates——这发生在 API Server 侧,Pod 一旦创建就带 gate。 - 外部准入方(一个自定义 controller、审批系统、资源预检服务)执行自己的检查:quota 是否足够、数据是否合规、审批流是否完成。
- 检查通过后,准入方更新 Pod,把
schedulingGates清空。 - Pod 更新事件触发调度器重新评估,Pod 进入调度周期。
对比 webhook 的同步拒绝:webhook 拒绝是一次性、整个 Pod 被拒(创建就失败);gate 是异步、可多步推进——Pod 先存在,条件逐项满足,最后放行。这允许「创建与准入分离」:创建是即时的,准入是异步的。
应用场景:资源预检查 / 自定义准入 / 多步审批
三个典型场景,正好对应 gate 的三种能力:
- 资源预检查:外部配额系统为 Pod 预占资源。创建时打
resource-precheckgate,配额确认后放行。相比依赖调度器的资源 Filter,这是「调度前的业务级资源检查」——比如跨集群的全局配额、成本审批。 - 自定义准入:数据合规、安全扫描、密钥发放等。Pod 可以先存在但延迟调度,等合规检查通过。
- 多步审批:创建 → 预审 → 运行环境就绪 → 解除 gate。每一步由不同系统更新 gate 列表,最终放行。
共同点:准入条件是调度器不知道的「外部事实」。调度器无法判断「这个 Pod 的预算批了没有」,所以干脆把控制权交给外部,用 gate 表达「等外部说可以」。
与类似异步机制的对比
K8s 里还有几种「暂停/放行」机制,容易与 gate 混淆:
| 机制 | 挂起点 | 放行方式 | 失败语义 |
|---|---|---|---|
| schedulingGates | Pod 调度前 | 外部更新移除 gate | 无失败,一直等待 |
| webhook 拒绝 | 创建/更新时 | 重发请求 | 同步拒绝,创建失败 |
| Job suspend | Pod 创建前 | resume 后创建 | 暂停创建 |
| taint/toleration | 节点侧 | 移除污点/加容忍 | Filter 拒绝路径 |
| PDB / 抢占 | 驱逐前 | 满足后放行 | 限制驱逐 |
- Job suspend 挂起的是「创建 Pod」这个动作,gate 挂起的是「调度已存在的 Pod」——一个在 controller 层,一个在调度器层。
- 污点是节点拒绝 Pod,gate 是 Pod 自我挂起——方向相反。
- gate 的独特点:Pod 已存在、无失败状态、可多步异步推进。
gate 与 Filter 的关系:门控是「等待环节」不是「拒绝环节」
如果把 gate 检查实现成一个 Filter 插件,它会对带未解除 gate 的 Pod 返回「拒绝」——但那样 Pod 会进 UnschedulableQ 并退避,与「等待」的意图相反。所以真实调度器把 gate 检查放在取件之前:
取下一个 Pod
└─ 有未解除 gate? ── 是 → 跳过,取下一个(不产生失败记录)
└─ 否 → 进入调度周期(PreFilter → Filter → Score → Bind)
这个设计把「条件不满足」留在调度周期之外。框架术语里最接近的扩展点是 Permit(7.1 节):Permit 插件可以返回「等待」,让周期挂起;gate 是这一语义在 Pod 字段层面的原生实现——不需要写插件,配置字段即可。两者的取舍是:Permit 适合「等待时间短、逻辑属调度器」的门控(跨调度器协调、依赖框架状态);gate 适合「等待时间长、逻辑属外部系统」的门控(审批、预算、合规),因为它在调度器之外也可见、可审计、不占用调度周期资源。
这个「取件前检查」的位置很关键:它避免了在 Filter 里对上千个节点重复做 gate 判断,也避免把「等待」语义污染成「失败」语义。
放行机制与异步解耦
gate 的移除到恢复调度,走的是事件驱动路径:
- 外部准入方清空
spec.schedulingGates,触发一次 Pod 更新(UPDATE)。 - 调度器监听 Pod 更新事件,发现「gate 列表从非空变为空」。
- 调度器把该 Pod 激活(activate)回可调度集合,进入正常调度周期。
这个设计保证实时性:放行后无需手动触发或等待退避周期。对比一下 Filter 拒绝后的路径——那是「失败 → 回队列 → 等事件重试」,而 gate 放行是「等待 → 事件激活 → 直接进入正常路径」。两条路径都靠事件驱动,但一条重试失败、一条重新开始。
同步准入的局限:为什么要异步。如果把准入做在同步的 webhook 拒绝里,会遇到结构性问题:
- 等待时间不可控:外部配额系统查询、人工审批可能要几秒到几小时,同步 webhook 把「创建」这件事阻塞那么久不可接受。
- 失败即重来:条件在创建时没满足,整个创建失败,一切从头——多步审批会反复重建。
- 耦合过紧:创建与准入强绑定,业务上「先有对象、后补齐条件」的模式无法表达。
gate 把两者解耦:对象先存在(创建即时完成),条件后满足(准入异步推进)。这更符合真实业务流程——审批可以慢慢走,Pod 先挂着不影响「对象被创建」这个事实。
观测与适用边界
带 gate 的 Pod 长时间 Pending 是预期行为,但要能区分「等 gate」与「等调度」:
- 查 gate:
kubectl get pod <name> -o jsonpath='{.spec.schedulingGates}',非空即「等 gate」。 - 查事件:
kubectl describe pod <name>——若一直没有任何调度事件,多半是 gate 挡住;若反复出现Unschedulable,才是调度失败。 - 设计观测:把 gate 数量、平均等待时长做成准入系统的指标,超过阈值说明外部检查流程变慢,而不是调度器出问题。
运维上注意:频繁打/放 gate 会产生大量 Pod 更新事件,不要在热路径上滥用;门控是「条件门槛」,不是「流控开关」。
gate 与调度队列的健康检查是两回事:队列健康看 Pending 总量,gate 视角看「等 gate 的 Pod 占总 Pending 的比例」——比例异常升高,说明外部准入链路过慢,而不是调度器出问题。
gate 的适用边界:gate 不是万能的调度暂停开关,边界要划清楚:
- 不替代调度约束:它不检查节点资源、不替代 Filter 插件;条件满足后照样要过完整调度链。
- 不替代 Job suspend:需要「不创建 Pod」用 suspend,需要「已存在但不调度」用 gate。
- 可与多 profile 组合:不同 Pod 类挂不同 gate 名,准入系统按名字分类处理,实现分流的异步准入策略。
一句话:gate 只回答「何时放行」,不回答「放到哪里」——后者仍是 Filter/Score 的职责。
gate 与多步审批的流程示例
一个完整的「创建 → 预审 → 配额 → 放行」流程:
- 用户提交带
schedulingGates: [pre-audit, quota-check]的 Pod。 - 审计系统看到 gate
pre-audit,执行数据合规检查,通过后更新 Pod,只剩quota-check。 - 配额系统看到 gate
quota-check,确认全局配额充足并预占,更新 Pod 清空 gate。 - 调度器收到「gate 从非空变空」事件,激活 Pod,进入正常调度周期。
注意每一步都是「更新同一个 Pod」而不是「重建」——gate 的异步性让多个系统各推进一步,最终合流放行。这也体现了 gate 列表「多个并存、逐项解除」的设计:每个 gate 名就是一个可独立推进的检查项。
三个常见误解
- 「带 gate 的 Pod 会被判为调度失败」——错误。它只是不参与调度,不产生 Unschedulable 状态、不进退避队列,状态保持 Pending 等待放行。
- 「解除 gate 必须删除 Pod 重建」——错误。直接更新 Pod 的
spec.schedulingGates(清空列表)即可,Pod 本体不受影响。 - 「gate 是准入控制的同步拒绝」——错误。webhook 拒绝是创建时的一次性同步决定;gate 是创建后的异步挂起,可多步推进,由外部准入方按自己的节奏放行。
一句话总结本节
SchedulingGates 收成三个要点:
- gate 是异步准入:Pod 先创建、条件后满足,由外部准入方按自己的节奏放行。
- 不弹、不失败:带 gate 的 Pod 留在队列等待,不产生失败记录、不退避、不触发抢占。
- 放行是事件驱动:清空 gate 触发 Pod 更新,调度器激活它进入正常调度路径。
本节 lab
gate 的「等待」语义要理解,最好先看清调度的「失败」路径长什么样。framework 包的两个用例正好演示两条结局:
cd private/labs/k8s-sched-lab
go test ./framework -run 'TestScheduleFeasible|TestScheduleNoFeasible' -v
两个用例(共 3 个断言)走完整的 Filter → Score → Bind 流程:TestScheduleFeasible(2 个断言)验证两个节点都通过 Filter 后,评分更高(更空闲)的 n2 被选中并完成绑定;TestScheduleNoFeasible(1 个断言)验证所有节点都不满足 Filter 时返回 ErrNoFeasibleNode——这就是「失败回队列」的路径。gate 机制的意义正在于:把后一条路径从「失败」改成「等待」,让条件不满足的 Pod 不消耗退避重试,安静地等外部准入方放行。如果把 gate 实现成 Filter 链里的插件,它就是「返回等待而非拒绝」的特殊环节。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。