《Kubernetes 分布式系统原理深入解析》9.2 节点压力驱逐排序与阈值
节点压力驱逐是 kubelet 在节点内存、ephemeral-storage、PID 等资源告急时的主动清理:硬阈值立即执行,软阈值给宽限期。驱逐按 QoS 从低到高、同 QoS 内按优先级与超用程度排序,并尊重 PodDisruptionBudget 保护。本节讲阈值、排序键与驱逐策略的取舍。lab 用 qos 包验证驱逐顺序、优先级、刚够即停与 PDB 保护。
category
节点压力驱逐是 kubelet 在节点内存、ephemeral-storage、PID 等资源告急时的主动清理:硬阈值立即执行,软阈值给宽限期。驱逐按 QoS 从低到高、同 QoS 内按优先级与超用程度排序,并尊重 PodDisruptionBudget 保护。本节讲阈值、排序键与驱逐策略的取舍。lab 用 qos 包验证驱逐顺序、优先级、刚够即停与 PDB 保护。
QoS 分类由 requests/limits 的组合决定:全容器 requests==limits 是 Guaranteed,全未设置是 BestEffort,其余是 Burstable。分类是 Pod 级的,最弱容器决定整体待遇。本节讲三类在调度保证、驱逐优先、OOM 得分与 CPU 份额上的差异,以及 Guaranteed 与 CPU manager 的配合。lab 用 qos 包验证三种分类规则。
cgroup v2 的统一层级与 memory.current 计量让内存水位判断更细腻,PodOverhead 把沙箱运行时开销计入调度需求。本节讲这两个机制的正确口径与常见配置陷阱——overhead 漏配、cgroup 版本不一致、CPU manager 对齐、ephemeral-storage 计量。lab 用 resmodel 包验证 overhead 计入 Effective 后对『装不装得下』的直接影响。
超额分配是用保证换密度:CPU 靠错峰与限流兜底可以超卖,内存不可超卖只能按峰值留。本节讲 overcommit 的动机与风险档位、装箱效率与碎片、以及分配量与实时用量的差距如何用指标观测。lab 用 resmodel 包验证超额分配比计算、贪心装箱填满第一个节点、超卖不等于调度放行。
requests 是调度保证,limits 是运行上限:CPU 超限被节流(可压缩),内存超限被 OOM 杀进程(不可压缩)。本节讲清二者的语义差异、单位换算,以及『调度只看 requests、限制由 kubelet 强加』的两阶段契约。lab 用 resmodel 包验证 CPU 可压缩、内存不可压缩与装不下的判定。
开发一个调度插件只要三步:实现扩展点接口、注册进 framework、配置加载。本节用一个打分插件从 Go 代码写到 scheduler 配置的完整示例讲清路径,并与 scheduler extender 对比:extender 是 HTTP 外部服务、状态外置、无 NormalizeScore、每个候选节点一次往返,能力被 framework 覆盖后逐渐让位。lab 用 framework 包验证打分插件的加权组合与绑定链错误中断——正是 framework 相对 extender 的组合与错误处理优势。
spec.schedulingGates 让 Pod 在调度前『挂起』:调度器对带未解除 gate 的 Pod 不取件、不判失败、不进退避队列,等外部准入方移除 gate 后异步放行。本节讲 gate 的字段与语义、与 admission webhook 的配合方式(创建时打 gate、外部控制器放行),并对比 Job suspend、webhook 拒绝等异步机制。lab 用 framework 的完整 Filter→Score→Bind 流程演示『可行→绑定成功』与『无可行→错误回队列』两种结局,说明门控为何要把失败改成等待。
调度策略不该靠改源码实现。Scheduler Framework 把一次调度分解为 QueueSort/PreFilter/Filter/PostFilter/PreScore/Score/NormalizeScore/Reserve/Permit/PreBind/Bind/PostBind 十二个扩展点,插件按注册顺序执行:Filter 短路、Score 不短路、Bind 出错即停。本节逐个定位扩展点,说明『换策略 = 改配置』的 profile 机制,并给出扩展点到调度阶段与典型插件的对照表。lab 用 framework 包验证 Filter 短路与 Bind 顺序语义。
调度把副本分散到各域之后,流量仍可能跨域:默认负载均衡对端点一视同仁。TopologyAwareHints 在端点切片上打 zone 提示,kube-proxy 与服务网格消费提示、优先把流量发给与来源同域的副本,域内无健康端点时回退。本节量化跨域流量计费与延迟,给出『调度分散 × 路由就近』的配合关系与启用决策清单。lab 用 topology 的 Score 验证『已有多副本的域得分低』——调度分散偏好的镜像,反过来就是流量亲和的就近偏好。
6.1 定义了字段,本节把字段变成算法。PodTopologySpread 的计数口径是『已绑定 + 预扣 + 调度中』,skew 按域计数快照计算;覆盖域数不足 minDomains 时全局最小按 0 计,空域优先;ScheduleAnyway 模式下按『离全局最小越近分越高』归一化打分。本节用一个 3 节点 2 区域的算例逐步追踪放置前/后的 skew 变化,并从 EvenPodsSpread 插件视角看 PreFilter 如何一次算好计数供 Filter/Score 复用。lab 用 topology 包的 Score/Balance 验证空域高分、贪心均衡与硬约束上限。
topologySpreadConstraints 把『一批 Pod 当作整体,按故障域计数均衡』:在拓扑键划分的域上,任意两域匹配 Pod 数之差不超过 maxSkew,DoNotSchedule 下违反即不可调度。本节逐个讲解 labelSelector/topologyKey/maxSkew/minDomains/whenUnsatisfiable 五个字段,对比 nodeAffinity 与反亲和的本质区别(域计数而非单节点),并用可用区/机架/主机三层示例说明取舍。lab 用 topology 包的 Feasible 验证 maxSkew 硬约束与 minDomains 的『空域优先』基准。
抢占是『用中断换位置』:被驱逐 Pod 的 SLO 中断、级联失败、重复调度都是实打实的代价。本节定量看抢占的三种代价(SLO 中断、级联效应、调度浪费),讨论为什么抢占必须『能容忍才做』——触发条件、破坏最小化、优雅终止共同把代价压到可接受,最后给出设计判断:什么时候该用抢占,什么时候该用预留、扩容等其他手段。lab 用 preempt/preempt.go 验证驱逐后资源满足与『最少驱逐』。
优先级不是一个 Pod 的私有字段,而是集群级的共享配置:PriorityClass 是全局对象,Pod 通过名字引用它获得数值。本节拆这个『分布式协调』模型——为什么优先级要集中定义(保证全集群一致的排序)、preemptionPolicy 字段如何全局决定谁能抢占,以及优先级如何进入调度决策的三个环节(队列排序、抢占触发、运行期)。lab 用 preempt/priority.go 验证 PriorityClass 解析与抢占策略。
高优先级 Pod 在所有候选节点都资源不足时,K8s 不直接放弃,而是触发抢占:选中一个候选节点,驱逐上面优先级更低的 Pod 腾出空间。本节拆抢占的完整流程(失败→选节点→选受害者→驱逐→重试)与受害者选择的策略——优先级最低优先、同优先级资源占用大者优先、破坏最小化——并说明为什么抢占是调度循环里最『重』、最该谨慎的机制。lab 用 preempt/preempt.go 验证受害者选择的两条排序规则与驱逐后资源是否满足。
集群节点成百上千,逐个串行评分是吞吐瓶颈。真实调度器用 worker 池并行跑评分:节点分片交给多个 worker,结果合并成同一张分数表再排序选最优。本节拆并行评分的分片-归并模型、结果必须与串行逐字节一致(并行只加速不改变语义)、以及排序与平票的确定性。lab 用 score/parallel.go 验证并行结果与串行结果完全一致、排序降序正确。
单个评分模型不够用,真实调度器把多个模型按权重线性组合:final(n) = Σ(w_i × f_i(n)) / Σw_i。本节拆权重组合的数学形式、为什么必须归一化到统一量纲、默认权重表如何构成『分散 + 就近』的总偏好,以及调权重的原则——权重改变的是节点之间的相对排序,不是绝对好坏。lab 用 score/weight.go 验证加权组合与最优节点选择。
Filter 淘汰完后,Score 在所有可行节点里选『最好』。本节给出三种经典评分模型的数学形式:LeastRequested(偏好低负载、资源分散)、MostRequested(偏好高装箱、提高密度)、Balanced(偏好 CPU/内存均衡),并说明它们各自适用的集群画像与代价。lab 用 score/score.go 验证三种模型在不同负载节点上的打分方向。
Filter 阶段的第二族硬约束是『占用类』:资源可分配(request 必须小于等于节点剩余量)、hostPort 冲突(同一端口不能两个 Pod 共用)、单写卷冲突(同一卷不能同时挂到两个节点)。本节拆这三类检查的量与语义,说明它们为什么是硬约束——超卖、端口撞车、卷双挂都会直接导致 Pod 起不来或数据错乱。lab 用 filter/resource.go 验证资源、端口、卷三类过滤。
污点(Taint)与容忍(Toleration)是『节点拒绝 Pod』的机制:节点打上污点后,只有带匹配容忍的 Pod 才能调度上去。本节给出 Taint 的结构(key/value/effect)与 Toleration 的四元组(key/operator/value/effect),精确描述匹配算法——Key 必须相同、Effect 必须匹配、Operator=Exists 时任意值或 Equal 时值相等,并讨论三种 Effect(NoSchedule/PreferNoSchedule/NoExecute)的语义差异。lab 用 filter/taint.go 验证 Equal/Exists 两种匹配与不匹配的拒绝。
Filter 阶段的第一组硬约束是『节点匹配类』:nodeSelector 做简单的 label 键值匹配,nodeAffinity 的 requiredDuringSchedulingIgnoredDuringExecution 做表达式匹配,podAntiAffinity 把『不要和谁同节点』也变成硬约束。本节拆这三种匹配的语义与执行顺序,说明硬约束为什么必须严格——不满足就淘汰,不参与评分。lab 用 filter/filter.go 验证节点选择器、硬亲和与反亲和三条过滤规则。