《Kubernetes 分布式系统原理深入解析》7.1 Scheduler Framework 扩展点

调度策略不该靠改源码实现。Scheduler Framework 把一次调度分解为 QueueSort/PreFilter/Filter/PostFilter/PreScore/Score/NormalizeScore/Reserve/Permit/PreBind/Bind/PostBind 十二个扩展点,插件按注册顺序执行:Filter 短路、Score 不短路、Bind 出错即停。本节逐个定位扩展点,说明『换策略 = 改配置』的 profile 机制,并给出扩展点到调度阶段与典型插件的对照表。lab 用 framework 包验证 Filter 短路与 Bind 顺序语义。

7.1 Scheduler Framework 扩展点

第 1~6 章讲的是调度器「内置做什么」,本节讲「怎么扩展它」。Scheduler Framework 是 K8s 调度器的扩展机制,把一次调度周期拆成一组可插拔的扩展点,让换策略 = 改配置,而不是改源码。这也是调度器从「一个整体程序」走向「一组插件的编排」的关键一步——第 7.2、7.3 节会在同一框架上分别讲异步门控与插件开发。

调度框架要解决的扩展问题

Framework 出现之前,调度器的扩展手段是 scheduler extender:一个外部 HTTP 服务,提供 /filter、/prioritize、/bind 三个端点,调度器在每次调度时调用它。extender 的痛点是结构性的:

  • 一次一请求:每个候选节点一次 HTTP 往返,节点多时延迟与吞吐都是瓶颈。
  • 无状态:每次调用都要重新计算,无法复用调度器缓存、无法做跨请求的共享状态。
  • 扩展点太少:只有过滤、打分、绑定三个阶段,粒度太粗。
  • 无法组合:extender 是「一个外部服务」,不能像插件一样多个叠加、加权。

Framework 的答案:把调度拆成十二个扩展点,每个点可以注册多个进程内插件,插件按注册顺序执行、可共享状态、可加权组合。

扩展点全景:十二个点各一句定位

从「Pod 排队」到「绑定落定」,一次调度的生命周期对应十二个扩展点:

扩展点一句话定位
QueueSort给等待调度的 Pod 排序,决定调度顺序
PreFilter调度周期开始前预处理,计算共享状态,失败则整个周期终止
Filter硬约束,逐个过滤不可行节点,短路
PostFilter所有节点都过滤失败时的兜底,默认是抢占
PreScore打分前准备,供 Score 复用的预计算
Score给可行节点打分(0-100),软偏好
NormalizeScore对 Score 结果归一化/修正,保证跨插件分数同尺度
Reserve预扣资源与状态,失败触发 Unreserve 回滚
Permit准入门控:批准、拒绝或等待(异步)
PreBind绑定前动作,如挂载卷、准备数据
Bind写 spec.nodeName 完成绑定,默认 DefaultBinder
PostBind绑定后通知,如更新缓存、发指标

每个扩展点是「策略的可替换部件」:想改调度顺序改 QueueSort 插件,想加硬约束加一个 Filter 插件,想异步审批加一个 Permit 插件。

插件执行顺序与短路语义

扩展点定义了「在哪扩展」,插件执行顺序则定义了「多个插件怎么协作」:

  • Filter 短路:按注册顺序执行,第一个返回拒绝原因的立即停下,后续 Filter 不再调用。这是性能关键——节点被拒得越早,后面昂贵的检查越少跑。
  • Score 不短路:所有可行节点都要打分,然后按分排序;多个 Score 插件的结果加权合并。
  • NormalizeScore 在全部 Score 之后批量执行,对每个节点的组合分做修正。
  • Reserve 失败:触发 Unreserve,把本轮已预扣的状态全部回滚——保证「要么全部提交,要么全部撤销」。
  • Bind 出错即停:按顺序执行,第一个返回 error 的立即中断,后续 Bind 不再执行。
  • Permit 等待:可以返回「等待」状态,调度周期挂起,由外部异步放行(第 7.2 节展开)。

一句话:过滤阶段尽早拒绝,打分阶段全部评估,预留与绑定阶段出错即停。三种语义各管一类资源代价。

Filter → Score → Bind 的完整周期

把扩展点拼成一个调度周期(对应调度循环里「选择节点」这一步):

  1. QueueSort 从等待队列取出下一个 Pod。
  2. PreFilter 预处理,构造共享状态(资源请求、亲和、拓扑计数快照)。
  3. 对每个候选节点跑 Filter 链——通过全部 Filter 的节点才进入下一步。
  4. 没有节点通过时,进 PostFilter(默认抢占),然后重试。
  5. 对可行节点跑 PreScore → Score → NormalizeScore,得组合分。
  6. 选最高分节点,进入 Reserve 预扣。
  7. Permit 检查(等待或批准)。
  8. PreBind 准备 → Bind 写 nodeName → PostBind 通知。

其中第 3 步短路、第 5 步不短路、第 6~8 步失败回滚,构成一次调度的完整骨架。lab 的 Schedule 就是这条链的最小实现:RunFilters → RunScores → RunBinds。

失败路径要分清:Filter 全拒是「节点不足」(走 PostFilter/抢占),PreFilter 失败是「周期级错误」(立即重试),Bind 失败是「绑定冲突」(Pod 回队列、抢占的受害者可能被复原)。同一个『失败』在不同扩展点语义完全不同——这也是框架把失败分散到各扩展点处理的原因。

换策略 = 改配置

Framework 把「策略」变成了 KubeSchedulerConfiguration 里的一份配置,不需要重编译、不需要换二进制:

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: default-scheduler
  plugins:
    score:
      enabled:
      - name: ImageLocality
        weight: 2
      disabled:
      - name: NodeResourcesBalancedAllocation
  • profiles:每个 profile 是一套完整的插件组合,可绑定不同 schedulerName。Pod 通过 spec.schedulerName 选择走哪个 profile——同一调度器可以并行跑多套策略。
  • plugins.enabled/disabled:启用、关闭插件,Score 插件还能配 weight。
  • 内置插件全部由配置驱动;第三方插件注册进 registry 后,同样用配置启用。

这就是「策略即配置」:换调度策略 = 编辑配置 + 重载调度器,而不是改 Go 源码重新构建。

扩展点 → 调度阶段 → 典型插件

把十二个扩展点对应到调度阶段和 K8s 内置的典型插件:

扩展点调度阶段典型插件
QueueSort排序PrioritySort
PreFilter预处理NodeResourcesFit、PodTopologySpread、InterPodAffinity
Filter过滤NodeResourcesFit、NodeName、TaintToleration、PodTopologySpread
PostFilter兜底DefaultPreemption
PreScore打分前各 Score 插件的预计算
Score打分NodeResourcesFit(LeastRequested)、ImageLocality、SelectorSpread
NormalizeScore归一化RequestedToCapacityRatio 等自定义归一
Reserve预扣资源预留、卷预留
Permit准入自定义门控、跨调度器协调
PreBind绑定前VolumeBinding
Bind绑定DefaultBinder
PostBind绑定后通知、审计、指标

读这张表的要点:Filter 与 Score 是重头戏(第 3、4 章讲的就是它们的默认插件),PostFilter/Reserve/Permit 是框架区别于 extender 的精细化扩展点——这些正是第 7.2、7.3 节展开的内容。

插件的注册与生命周期

插件不是写死在调度器里的,而是「注册 → 实例化 → 参与调度」:

  • 注册:插件构造器放进全局 registry:plugins["MyPlugin"] = func(_ runtime.Object, h framework.Handle) (framework.Plugin, error) { return &MyPlugin{handle: h}, nil }。调度器 import 插件包触发注册。
  • 实例化:调度器启动时按配置读取 plugins.enabled,为每个 profile 构造需要的插件实例。
  • 参与调度:插件实例通过 Handle 访问共享快照(SharedLister,含节点与 Pod 缓存)、client-go 客户端等基础设施。

生命周期要点:插件实例是进程级单例,会参与无数次调度周期;而调度周期是并发的。所以插件内部的字段是「进程级状态」,要小心并发写;「周期级状态」必须走 CycleState(下一节)。

状态共享:CycleState 与 PreFilter 缓存

扩展点之间需要传数据,Framework 用 CycleState 解决——一个调度周期内的共享状态桶:

  • PreFilter 写:比如 PodTopologySpread 在 PreFilter 里算好每个域的计数快照,放进 CycleState。
  • Filter/Score 读:同一个周期的 Filter、Score 从 CycleState 取快照,不再重复扫描全部 Pod。
  • 隔离:每个调度周期有独立的 CycleState,并发调度互不污染;周期结束后释放。

这就是 6.2 节「计数只算一次、多处复用」的实现基础。判断数据放哪的规则很简单:与单个调度周期绑定 → CycleState;跨周期复用 → 插件字段。规则破坏的典型症状是「调度结果抖动」——上一次周期的残留状态影响了这一次的决策。

三个常见误解

  • 「每个扩展点在每次调度都会执行」——错误。QueueSort 每轮调度队列取件只执行一次;PostFilter 只在所有节点都失败时执行;NormalizeScore 只在有 Score 插件时才跑。扩展点是「能力位」,不是「必经位」。
  • 「Score 插件出错就是给低分」——错误。Score 插件返回 status error 会让整个调度周期失败,Pod 回队列重试,而不是「将就着打个低分」。
  • 「NormalizeScore 可有可无」——错误。多个 Score 插件加权组合时,若各插件分数尺度不一致(有的 0-100、有的 0-10000),权重会失真;归一化是「把分数拉回同一尺度」的必要步骤。

一句话总结本节

Framework 把调度拆成十二个可插拔扩展点,收成三个要点:

  • 扩展点 = 策略的可替换部件:排序、过滤、打分、预留、绑定各管一段,换策略改配置不改源码。
  • 执行语义按代价设计:Filter 短路省检查、Score 全量评估、Reserve/Bind 出错即停并回滚。
  • profile = 多策略并行:一个调度器可同时跑多套插件组合,Pod 用 schedulerName 选择。

下一节用 SchedulingGates 展示框架里最特殊的一类扩展:它不在 Filter 里做同步拒绝,而是把「条件不满足」改造成「挂起等待」。

本节 lab

本节把扩展点链落到 framework 包:FilterPlugin/ScorePlugin/BindPlugin 三种插件类型、RunFilters/RunScores/RunBinds 三个执行入口,以及 Schedule 完整周期:

cd private/labs/k8s-sched-lab
go test ./framework -run 'TestFilterShortCircuit|TestBindChainOrder' -v

framework 包共 6 个用例,这里跑其中两个(共 4 个断言):TestFilterShortCircuit(2 个断言)验证第一个 Filter 拒绝后第二个不再被调用——正是「Filter 短路」;TestBindChainOrder(2 个断言)验证 validate → commit 两个 Bind 插件按注册顺序执行——正是「Bind 链有序」。两个用例合起来,覆盖本节最核心的两条执行语义。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图