《Kubernetes 分布式系统原理深入解析》3.1 节点选择器与亲和/反亲和过滤

Filter 阶段的第一组硬约束是『节点匹配类』:nodeSelector 做简单的 label 键值匹配,nodeAffinity 的 requiredDuringSchedulingIgnoredDuringExecution 做表达式匹配,podAntiAffinity 把『不要和谁同节点』也变成硬约束。本节拆这三种匹配的语义与执行顺序,说明硬约束为什么必须严格——不满足就淘汰,不参与评分。lab 用 filter/filter.go 验证节点选择器、硬亲和与反亲和三条过滤规则。

3.1 节点选择器与亲和/反亲和过滤

调度循环的「选择」阶段,第一刀是 Filter(硬约束):把不满足条件的节点直接淘汰,剩下的才进入评分。Filter 里最常见的一族约束是「这个 Pod 只能去哪些节点」——由节点上的 label 决定。

本节讲三种「节点匹配」硬约束:nodeSelector(最简单)、nodeAffinity 的 required 语义(表达式匹配)、podAntiAffinity(把「不要和谁同节点」变硬约束)。它们都是 Filter 阶段的插件,共同点是不满足即淘汰。

nodeSelector:朴素的键值匹配

nodeSelector 是 K8s 最古老的节点约束,语义极简:节点必须带有指定的 label,且值匹配:

spec:
  nodeSelector:
    gpu: "true"    # 节点必须有 gpu=true 这个 label

Filter 对它就是一次 map 查询:node.labels[gpu] == "true" 才通过。没有表达式、没有范围、没有「或」,只有「且」——多个键值对是 AND 关系,全部匹配才通过。

lab 的 NodeSelector 过滤器就是这条:if n.Labels[p.NodeSelector] != "true" { return "selector" }。因为语法简单,它适合「按环境/硬件/地域打标」的朴素分组,但表达能力有限——想表达「gpu=true 或 gpu=A100」就得用 affinity。

nodeAffinity:表达式的匹配

nodeAffinity 比 selector 表达力强得多。它有两种子类型:

  • requiredDuringSchedulingIgnoredDuringExecution:硬约束,调度时必须有节点匹配;运行期忽略(label 后来变了不管)。——Filter 阶段。
  • preferredDuringSchedulingIgnoredDuringExecution:软偏好,匹配得高分;不匹配也允许调度。——Score 阶段(第 4 章)。

required 的匹配是表达式:

spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: gpu
            operator: In
            values: ["true", "A100"]

nodeSelectorTerms 列表是 OR(任一 term 匹配即可),term 内多个 matchExpressions 是 AND(全部匹配)。这是与 nodeSelector(纯 AND)的关键差异:selector 是 AND,affinity 是 OR-AND 两级。lab 的 Affinity 过滤器为教学把多个要求的 label 当 AND 处理,方向一致(K8s 的复杂 OR 组合留给读者扩展)。

podAntiAffinity:把「不要同节点」变硬约束

podAffinity/podAntiAffinity 的约束对象不是节点 label,而是其他 Pod。反亲和表达「不要和这类 Pod 在同一个节点(或区域)上」:

spec:
  affinity:
    podAntiAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchLabels:
            app: cache
        topologyKey: kubernetes.io/hostname   # 同一节点视为冲突

它的分布式语义很关键:反亲和要查『其他 Pod 分布在哪』——调度器要从 Pod informer 缓存里找所有带 app=cache 的 Pod,看它们的节点,再判断候选节点上是否已有此类 Pod。这是一个跨 Pod 的查询,依赖调度器维护的全局 Pod 视图(1.2 节)。

为什么反亲和是「硬约束」会带来争议:requiredDuringScheduling 表示「找不到不与 cache 同节点的节点,这个 Pod 就不调度」。这会直接导致 Pending,甚至互相死锁——两个反亲和 Pod 都要求「不与对方同节点」而节点只剩一个时,谁也调度不上。这是硬约束的代价:严格就要接受失败。

硬约束的执行顺序

Filter 阶段按插件顺序执行,但对结果而言顺序不影响(都是 AND——全部通过才算可行)。执行顺序的意义在于效率与错误信息:

  • 廉价过滤器(label 查询)先跑,昂贵过滤器(资源计算、反亲和查询)后跑——尽快淘汰,少算。
  • 失败原因要准确(didn't match Pod's node affinity),用户才排得了障。

lab 的 Chain.Run 顺序执行全部过滤器并收集所有失败原因——对每个候选节点,失败的过滤器全部列出,方便观测「这个节点为什么不行」。

为什么这些必须是 Filter 而不是 Score

一个设计判断题:节点匹配类约束为什么不进评分(选「最匹配」的节点)而是过滤(淘汰「不匹配」的)?答案在 1.1 节的形式化里:硬约束是不可违反的。

  • 把 Pod 放到没有 gpu 的节点,应用直接跑不起来——这不是「差一点」的问题。
  • 把反亲和 Pod 与同类放在同节点,可用性承诺(分散到不同故障域)被破坏——这是「错」不是「不够好」。

Filter/Score 的分工原则:违反即错的进 Filter,好坏的进 Score。判断标准是「可不可接受」。这个原则在第 4 章还会反复用到。

亲和与反亲和的对称性

podAffinity 与 podAntiAffinity 是同一枚硬币的两面:

  • 亲和:「和这类 Pod 尽量/必须在同一处」——把依赖紧密的 Pod 放一起(低延迟、共享卷)。
  • 反亲和:「和这类 Pod 尽量/必须不在一处」——把副本分散开(高可用、故障隔离)。

对称性体现在 Filter 里,它们互为补集:

亲和过滤:候选节点上必须已有(或满足条件)目标 Pod
反亲和过滤:候选节点上必须没有目标 Pod

lab 用 AntiAffinity 展示反亲和侧:目标节点带 AntiAffinityLabel 即拒绝。真实实现要查 Pod 分布(哪些节点上有目标 Pod),比节点 label 查询贵——这也是为什么反亲和放 Filter 里是「查询成本高的硬约束」,调度器要维护全局 Pod 视图才能算。

label 的设计规范:命名的前提

亲和、反亲和、拓扑约束都建立在 label 上。label 设计决定了这些机制好不好用:

规范例子理由
语义化命名zone=us-east-1a 而非 node01内容寻址才有意义
分层组织topology.kubernetes.io/zone、topology.kubernetes.io/region与内置拓扑 key 兼容
稳定不变环境/硬件类 label 一次打定亲和约束依赖稳定键值
避免动态值不用「当前负载」当 labellabel 是属性不是状态

一个反例:把节点 IP 当 label 写进亲和,节点一换就全错——label 表达「节点是什么」,不表达「节点此刻怎么样」。前者稳定可约束,后者应走状态上报(第 10 章)。label 规范是 3.1 节所有机制的底层地基。

required vs preferred 的四种组合

亲和/反亲和的 required/preferred 与 亲和/反亲和 两个维度交叉,构成四种表达,语义各不相同:

组合语义例子
required + affinity必须和这类 Pod 同处依赖有状态服务的 Pod 必须放同一节点
required + antiAffinity必须和这类 Pod 不在一处副本必须分散到不同节点
preferred + affinity尽量同处,不满足也调度偏好放低延迟节点
preferred + antiAffinity尽量不在一处,不满足也调度默认分散倾向

为什么两种 preferred 的存在有意义?「尽量」表达的是软性权衡——既想分散、又不想因为分散而拒绝调度。真实集群里 preferred + antiAffinity 是最常用的:PodTopologySpread 默认就是这个语义(第 6 章展开)。

一个设计口诀:required 是承诺(违反即失败),preferred 是倾向(违反扣分)。用错了层级,要么调度过严(required 滥用导致 Pending),要么保证落空(preferred 当承诺用,以为一定分散实际可能集中)。

三个常见误解

  • 「nodeSelector 和 nodeAffinity 是一回事」——错误。selector 是纯 AND 的键值匹配;affinity 的 required 是 OR-AND 两级表达式,且还有 preferred(软偏好)形态。selector 只是 affinity 的一个特例。
  • 「反亲和是软性的,只是尽量不放在一起」——错误。requiredDuringScheduling 的反亲和是硬约束,不满足就不调度;preferred 才是软的。名字里的 required/preferred 是判断硬软的开关。
  • 「亲和只看节点当前状态,运行期也会强制」——错误。IgnoredDuringExecution 明确表示:调度时是硬约束,运行期忽略——节点 label 后来变了不会驱逐已调度的 Pod。这是「调度时点快照」语义,与卷二「apply 返回 ≠ 已生效」一脉相承。

节点匹配约束的分布式本质

把三种约束放回分布式系统的视角:

  • nodeSelector/affinity 是「内容寻址」:不指定具体节点,而指定「带什么属性的节点」——节点池随故障、扩缩变化,内容寻址天然适应。
  • 反亲和是「分布式放置」:把副本分散到不同故障域是分布式系统的基本可用性手段,K8s 把它做成约束原语,调度器用全局视图保证分散。

这两种机制背后都是同一个理念:调度器不关心具体机器,关心机器携带的属性与相互位置——这正是「把分布式系统部署问题表达成约束满足问题」的体现。

一句话总结本节

节点匹配类硬约束收成三个要点:

  • 三种表达三种强度:nodeSelector 是纯 AND 键值匹配,nodeAffinity required 是 OR-AND 表达式,podAntiAffinity required 是跨 Pod 查询的硬分散。
  • required 是承诺、preferred 是倾向:违反 required 即失败,违反 preferred 只扣分——用错层级要么过严要么落空。
  • 内容寻址与分布式放置:按属性选节点、把副本分散到故障域,是分布式可用性的约束原语。

下一节讲方向相反的机制:节点用污点拒绝 Pod 的 Taint/Toleration 匹配算法。

本节 lab

本节把三类节点匹配硬约束落到 filter/filter.go:NodeSelector(键值匹配)、Affinity(多个要求的 label 全存在)、AntiAffinity(目标节点不得带某 label):

cd private/labs/k8s-sched-lab
go test ./filter -run 'TestNodeSelector|TestAffinityAntiAffinity' -v

两个用例覆盖:TestNodeSelector(gpu label 匹配通过、缺失拒绝)、TestAffinityAntiAffinity(亲和 label 齐全通过、反亲和命中拒绝)。这正是本节「selector 是 AND、亲和要齐全、反亲和命中即拒」的最小验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图