《Kubernetes 分布式系统原理深入解析》3.2 污点容忍匹配算法

污点(Taint)与容忍(Toleration)是『节点拒绝 Pod』的机制:节点打上污点后,只有带匹配容忍的 Pod 才能调度上去。本节给出 Taint 的结构(key/value/effect)与 Toleration 的四元组(key/operator/value/effect),精确描述匹配算法——Key 必须相同、Effect 必须匹配、Operator=Exists 时任意值或 Equal 时值相等,并讨论三种 Effect(NoSchedule/PreferNoSchedule/NoExecute)的语义差异。lab 用 filter/taint.go 验证 Equal/Exists 两种匹配与不匹配的拒绝。

3.2 污点容忍匹配算法

3.1 节的亲和是「Pod 挑节点」:声明「我只要带这些属性的节点」。污点与容忍则是「节点拒绝 Pod」:节点声明「没有我要求的通行证(容忍),就都别来」。两者方向相反、互补。

污点机制是 K8s 里最容易被误用、也最需要精确理解匹配规则的机制。本节先给 Taint/Toleration 的结构,再逐条定义匹配算法,最后讨论三种 Effect 的语义差异——这是 Filter 阶段的一个专门插件,也是第 5 章抢占(节点污点导致不可调度)的前置知识。

Taint 的三元组

一个 Taint 是三元组:

key: "dedicated"
value: "gpu-pool"    # 可为空
effect: "NoSchedule" # 三种:NoSchedule / PreferNoSchedule / NoExecute

语义:「带有 key(和 value)污点的节点,对不带匹配容忍的 Pod 施加 effect 所描述的限制」。三个 effect 的限制强度递增:

Effect调度时运行中
NoSchedule新 Pod 不带容忍则不调度不驱逐已运行的 Pod
PreferNoSchedule尽量不调度(软性,进 Score)不驱逐
NoExecute新 Pod 不带容忍则不调度驱逐已运行且不带容忍的 Pod

Filter 阶段处理前两种:NoSchedule 是硬约束(必须匹配),PreferNoSchedule 是软偏好(匹配得分)。NoExecute 额外作用于运行期(第 9/10 章驱逐语义)。lab 只实现 NoSchedule(TaintToleration 对节点所有 taint 逐一要求容忍),方向与教学一致。

Toleration 的四元组

一个 Toleration 有四个字段,前三个定义「匹配什么污点」,第四个定义「匹配到什么程度」:

tolerations:
- key: "dedicated"
  operator: "Equal"      # Equal 或 Exists
  value: "gpu-pool"
  effect: "NoSchedule"

匹配规则逐条定义:

  1. Key 必须相同——没有 key 的 Toleration(key: "" + operator: Exists)匹配所有污点。
  2. Operator:
    • Equal(默认):key 相同 且 value 相同。
    • Exists:key 相同即可,不检查 value。
  3. Effect:toleration 的 effect 为空则匹配所有 effect;否则必须与 taint 的 effect 相同。
  4. 空 key + Exists + 空 effect 是「通配容忍」,匹配一切。

lab 的 MatchTaint 精确实现这些:key 必须相同,effect 非空则必须匹配,Exists 直接通过、Equal 要求 value 相等。

匹配算法的完整定义

用伪代码把匹配写成可执行的规则,是本节最值得带走的精确表达:

match(t, tol):
  if tol.key != t.key: return false
  if tol.effect != "" and tol.effect != t.effect: return false
  if tol.operator == "Exists": return true
  return tol.value == t.value

一个 Pod 的 Toleration 列表只要存在一个匹配某污点的项,就算「容忍该污点」。节点上有多个污点时,每个都必须被容忍(全部匹配)才能调度——多污点是 AND。

lab 的 HasMatch 就是这个「存在一个即容忍」,TaintToleration 是「节点所有污点都必须被容忍」——两段合起来就是完整算法。

为什么需要污点:专用节点与故障标记

污点解决两类「节点不想收客」的场景:

  • 专用节点:dedicated=gpu-pool 只接待声明「容忍 dedicated」的 GPU Pod——其他 Pod 天然进不来,比亲和更防御(亲和是 Pod 主动选,污点是节点主动拒)。
  • 故障/维护标记:节点磁盘故障时,控制面打上 node.kubernetes.io/unreachable 污点(NoExecute),已运行且不容忍的 Pod 被驱逐、新 Pod 不来——这是第 9/10 章驱逐语义的一部分。

对比亲和:亲和是白名单(只收指定的),污点是黑名单(拒掉不指定的)。白名单要 Pod 记得声明,黑名单要节点主动声明——运维上污点更防呆:新创建的 Pod 默认没有容忍,天然不会误入专用节点。

污点与调度的交互:Filter 里的一步

调度循环里,污点检查是 Filter 阶段的一个插件(TaintToleration):

可行节点 = 所有节点 - {有未容忍污点的节点}

它与资源、亲和是 AND 关系:一个节点既要有资源、又要有匹配 label、又不能有未容忍污点,才进入 Score。失败信息 node(s) had untolerated taint {key=...} 是排障的关键线索——一个没有理由却 Pending 的 Pod,先查节点污点。

内建污点:控制面自动管理的标记

不只用户打污点,K8s 控制面会给节点自动打污点,标记节点的故障与维护状态。最常用的几组:

污点 key触发effect
node.kubernetes.io/not-ready节点心跳失联NoExecute
node.kubernetes.io/unreachable节点网络不可达NoExecute
node.kubernetes.io/disk-pressure磁盘紧张NoSchedule
node.kubernetes.io/memory-pressure内存紧张NoSchedule

这些内建污点把「节点状态」翻译成「调度约束」:节点失联,控制面打 unreachable 污点,已运行且不容忍的 Pod 被驱逐、新 Pod 不来——故障隔离自动生效,不需要用户写任何配置。

理解内建污点对排障至关重要:一个 Pod 莫名被驱逐,先查是不是节点被打了 NoExecute 污点。污点不全是用户意图,也可能是系统状态。

污点与节点生命周期

把污点放进节点生命周期,能看清它和亲和的分工:

节点阶段典型动作
加入集群无污点,可收所有 Pod
专用化用户打 dedicated 污点,只收带容忍的
故障控制面打 unreachable 等污点,驱逐 Pod
维护/排空打 NoSchedule 污点 + 排空,新 Pod 不来、旧的撤离
退役删节点,Pod 全部重新调度

可以看到污点在生命周期里承担了「收紧」的角色:专用化收紧准入、故障收紧存活、维护收紧调度。而亲和承担「引导」:把 Pod 引向特定节点。一个管拒绝、一个管吸引——两者配合才构成完整的节点放置策略。

TolerationSeconds 与 NoExecute 的期限

NoExecute 污点的容忍有一个独有字段:tolerationSeconds——容忍的有效期。

tolerations:
- key: "node.kubernetes.io/unreachable"
  operator: "Exists"
  effect: "NoExecute"
  tolerationSeconds: 300    # 容忍 300 秒

语义:节点打上 unreachable 污点后,带 tolerationSeconds: 300 的 Pod 可以再留 300 秒,到期后被驱逐。这是「宽限期」的分布式表达:

  • 不带 tolerationSeconds:容忍无限期(除非其他条件驱逐)。
  • 带 tolerationSeconds:容忍有限期,给应用留出处理时间。

真实场景:节点失联时,控制面给所有 Pod 一个默认容忍(约 5 分钟,tolerationSeconds=300),让应用有时间优雅退出或迁移,而不是立刻被杀。这是 NoExecute 与 NoSchedule 的本质差异——NoExecute 管「运行中的 Pod 留多久」,NoSchedule 只管「新 Pod 进不进得来」。lab 的 MatchTaint 不管期限(只匹配 key/value/effect),期限是运行期驱逐的维度(第 10 章)。

三个常见误解

  • 「污点只能用于专用节点」——错误。污点更常用于故障标记、维护窗口、节点池隔离;K8s 控制面自己会给异常节点打污点。理解污点要理解「节点主动拒绝」这个机制,而不只是专用节点场景。
  • 「Toleration 意味着 Pod 一定被调度到污点节点上」——错误。容忍只是「允许」,不产生「倾向」。调度器不会因为容忍而偏好污点节点——那是 PreferNoSchedule 的另一侧语义(第 4 章)。容忍消除的是硬约束,不是加分项。
  • 「容忍了 NoExecute 污点,Pod 就能一直留在节点上」——错误。NoExecute 只是驱逐的一种触发;节点失联、资源压力等其他驱逐条件照样生效(第 9 章)。容忍只豁免「该污点触发的驱逐」。

污点与抢占的关系预告

第 5 章抢占有一个容易混淆的点:抢占目标节点的选择会排除带未容忍污点的节点——被抢占者也不会被派到「自己也进不去」的节点。污点在这条链路上的角色是「节点的入场规则」,调度循环里所有选址(正常调度与抢占调度)都要先过它。理解这一点,把污点当作「集群的节点级 ACL」是最好记的心智模型。

一句话总结本节

污点容忍匹配算法收成三个要点:

  • 机制是「节点拒绝」:Taint 是黑名单,Toleration 是通行证,与亲和的「Pod 挑节点」方向互补。
  • 匹配规则精确:Key 必须相同、Effect 必须匹配、Exists 免检值、Equal 要等值——四条规则缺一不可。
  • 三种 Effect 三档强度:NoSchedule 管调度、PreferNoSchedule 管软偏好、NoExecute 额外管运行期驱逐(含 TolerationSeconds 期限)。

控制面会自动给故障节点打内建污点,故障隔离自动生效。下一节讲 Filter 的另一族约束:资源、端口与卷冲突。

本节 lab

本节把污点容忍匹配算法落到 filter/taint.go:MatchTaint/HasMatch 实现四元组匹配,TaintToleration 实现「节点所有污点必须被容忍」:

cd private/labs/k8s-sched-lab
go test ./filter -run 'TestTaintTolerationMatch|TestTaintExistsOperator' -v

两个用例覆盖本节核心:TestTaintTolerationMatch(无容忍拒绝、Equal 匹配通过、Value 不匹配拒绝)、TestTaintExistsOperator(Exists 匹配任意值、Key 不同拒绝)。这正是「Key 必须相同、Effect 必须匹配、Exists 免检值、Equal 要等值」的精确验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图