《Kubernetes 分布式系统原理深入解析》7.3 插件开发与 scheduler extender

开发一个调度插件只要三步:实现扩展点接口、注册进 framework、配置加载。本节用一个打分插件从 Go 代码写到 scheduler 配置的完整示例讲清路径,并与 scheduler extender 对比:extender 是 HTTP 外部服务、状态外置、无 NormalizeScore、每个候选节点一次往返,能力被 framework 覆盖后逐渐让位。lab 用 framework 包验证打分插件的加权组合与绑定链错误中断——正是 framework 相对 extender 的组合与错误处理优势。

7.3 插件开发与 scheduler extender

7.1 节讲了扩展点在哪,本节讲「怎么把自己的一段策略变成插件」——从实现接口、注册进 framework,到配置加载的完整路径;同时把 framework 插件与旧式 scheduler extender 放在一起对比,看清后者为什么让位。

开发路径:实现接口 → 注册 → 配置

一个调度插件的生命周期三步走:

  1. 实现接口:按目标扩展点实现对应接口(Filter/Score/Bind 各有一组方法)。
  2. 注册进 framework:把插件构造器放进 registry,调度器 import 插件包即完成注册。
  3. 配置加载:在 KubeSchedulerConfiguration 里启用插件并配权重/参数。

三步里,第 1 步是算法,第 2、3 步是机械动作。大多数自定义插件的开发量集中在「怎么打分/怎么过滤」的逻辑上,而不是框架接线。

实现扩展点接口

以 lab 的框架为例,插件就是「函数 + 元数据」的组合——这正是 framework 插件模型的浓缩:

// FilterPlugin 硬约束插件:违反即拒绝(返回非空原因)。
type FilterPlugin struct {
    Name string
    Fn   func(p *Pod, n *Node) string
}

// ScorePlugin 软偏好插件:给可行节点打分(0-100),配权重参与组合。
type ScorePlugin struct {
    Name   string
    Fn     func(p *Pod, n *Node) int
    Weight int
}

// BindPlugin 绑定插件:把 Pod 写回节点。
type BindPlugin struct {
    Name string
    Fn   func(p *Pod, n *Node) error
}

真实 K8s 的接口形态稍复杂(方法带上下文、返回 status),但本质一致:一个插件 = 名字 + 在特定扩展点上的逻辑。lab 用函数字段表达,真实框架用接口方法表达——「策略」与「框架」的分离是同一个思想。

注册进 framework

lab 的注册就是 AddFilter/AddScore/AddBind 把插件挂到框架上:

f := framework.New()
f.AddScore(ScorePlugin{
    Name:   "least-requested",
    Fn:     func(p *Pod, n *Node) int { return 100 - n.UsedCPU*100/n.CPU },
    Weight: 2,
})

真实 K8s 的注册走 registry:plugins["myPlugin"] = func(_ runtime.Object, h framework.Handle) (framework.Plugin, error) { ... },调度器 import 插件包触发 init() 注册。注册只声明「插件存在」,配置才决定「插件启用」——两者分离,才能实现 7.1 节的「策略即配置」。

配置加载

注册好的插件用 YAML 启用,权重、参数都在配置里:

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: default-scheduler
  plugins:
    score:
      enabled:
      - name: least-requested
        weight: 2

加载后,least-requested 与其他 Score 插件一起按权重组合(第 4.2 节的公式)。插件代码与配置分离:调权重改 YAML、加参数改 pluginConfig、关闭改 disabled,都不动代码。

示例:一个打分插件从写到配置

用「偏好更空闲节点」的打分插件走完整流程。先写逻辑(lab 风格):

// 已用 CPU 比例越低分越高:满节点 0 分,空节点 100 分。
least := ScorePlugin{
    Name: "least-requested",
    Fn: func(p *Pod, n *Node) int {
        return 100 - n.UsedCPU*100/n.CPU
    },
}

再注册、配权重(Weight=2,压过默认的默认打分),一条命令跑通:

go test ./score -run TestLeastRequested -v

真实 K8s 里,同样的逻辑实现 Score 方法、注册进 registry、在 profile 的 score.enabled 里配 weight——从「会打分」到「参与调度」不涉及调度器主程序修改。这就是 framework 插件开发的门槛低在哪:算法是你的,框架接线是模板化的。

与 scheduler extender 的对比

extender 是 framework 之前的扩展方式,两者能力差距明显:

维度Framework 插件scheduler extender
运行位置调度器进程内外部 HTTP 服务
扩展点十二个filter / prioritize / bind 三个
状态进程内缓存 + CycleState每次调用外置重算
NormalizeScore有无
调用代价函数调用每候选节点一次 HTTP 往返
组合多插件链式 + 加权单 extender,无加权
失败语义按扩展点区分统一「调用失败」

最刺眼的三处差异:HTTP 往返(节点多时延迟放大)、无 NormalizeScore(分数尺度不统一,加权失真)、无细粒度扩展点(做不到 Reserve/Permit 级别的控制)。

extender 的局限与淘汰背景

extender 的局限是结构性的,不是实现质量问题:

  • 一次一请求:每个候选节点一次 HTTP 调用,1000 个节点就是 1000 次往返——调度延迟被外部服务吞吐锁死。
  • 状态外置:无法复用调度器缓存与事件,每次都要重新算「这个节点行不行」。
  • 粒度太粗:filter/prioritize/bind 三段,做不了「预留后回滚」「异步门控」「绑定前准备」。
  • 无法组合:extender 是「一个外部服务」,多个策略只能外部串行,不能像插件一样链式 + 加权。

淘汰背景:K8s 社区把新能力全部做进 framework 插件,extender 保留为兼容路径但不再演进。framework 的 Filter/Score/Bind 完全覆盖 extender 的三种能力,且增加了 NormalizeScore、Reserve、Permit 等 extender 做不到的扩展点。结论:新扩展一律走插件;extender 只该存在于需要「外部系统参与调度」的历史遗留场景。

框架推荐的组合扩展方式

framework 也不是排斥外部调用,而是把它「插件化」:

  • 进程内优先:能进程内算的策略,写成普通插件,享受缓存与 CycleState。
  • 外部系统包装:确实要调外部服务(跨集群协同、专有容量系统)的逻辑,写一个「HTTP 插件」——在 Filter/Score 里发起调用,但生命周期、错误语义、回滚都交给框架。外部逻辑被包在插件里,就获得了与进程内插件一样的组合能力。

对比 extender:HTTP 插件不需要为每个节点单开请求,可以在 PreFilter 里批量取数据、在 Filter/Score 里用缓存——把「外部依赖」变成「插件的输入」,而不是把「调度循环」变成外部服务的客户。

三个常见误解

  • 「写插件必须修改 kube-scheduler 主程序源码」——错误。独立插件包 + 注册表 import 即可,主程序只需 import 插件包触发注册。
  • 「extender 能实现 framework 做不到的扩展」——错误。framework 覆盖并超过 extender 的全部能力(filter/prioritize/bind 均被 Filter/Score/Bind 对应),且多了 NormalizeScore、Reserve、Permit 等扩展点。
  • 「插件之间不能共享状态」——错误。同一调度周期的插件通过 CycleState 共享数据(7.1 节),PreFilter 写、Filter/Score 读,这是框架的常规用法。
  • 「Bind 失败要回滚所有 Score 结果」——错误。Score 是无副作用的纯计算,不需要回滚;只有 Reserve 过的状态才要 Unreserve 回滚。

一句话总结本节

插件开发收成三个要点:

  • 三步走:实现接口、注册进 framework、配置加载——算法是你的,接线是模板化的。
  • 插件化 > 外置化:进程内插件共享缓存与状态、可组合可加权,extender 的能力被覆盖且粒度更粗。
  • 外部依赖可以插件化:把外部服务包成 HTTP 插件,就获得与进程内插件一致的组合与错误语义。

本节 lab

本节把「插件组合」与「绑定链错误处理」落到 framework 包,两个用例恰好对应 framework 相对 extender 的两个优势:

cd private/labs/k8s-sched-lab
go test ./framework -run 'TestScoreWeightedCombine|TestBindErrorStops' -v

两个用例(共 3 个断言):TestScoreWeightedCombine(1 个断言)验证两个 Score 插件按权重 1:3 组合,加权平均得 25——正是「多插件加权组合」;TestBindErrorStops(2 个断言)验证第一个 Bind 返回 error 后,后续 Bind 不再执行——正是「绑定链出错即停」。加权组合是 extender 做不到的,出错即停是 framework 的错误语义——一个管「怎么合并」,一个管「怎么止损」,两者合起来就是插件化相比外置服务的核心收益。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图