posts

《Kubernetes 分布式系统原理深入解析·调度与资源》 · 全书目录与章节索引(45 篇)

全 45 篇的章节索引:从分布式调度问题的形式化出发,拆解调度循环与三队列、Filter 硬约束、Score 软偏好、抢占与优先级、拓扑感知调度、Scheduler Framework 扩展、资源模型与超额分配、QoS 与节点压力驱逐、Kubelet 状态机,再到 HPA/VPA/KEDA 弹性伸缩与 Cluster Autoscaler 节点伸缩,最后以从调度到运行的一致性闭环收束;每节配一个可运行的 Go 最小验证,共 69 用例。

《Kubernetes 分布式系统原理深入解析·调度与资源》全 45 篇,是《Kubernetes 分布式系统原理深入解析》四卷本的卷三。本卷以 K8s 的调度器与资源系统为对象,把「分布式决策与控制」落在真实组件上:调度问题、队列与重试、Filter 硬约束、Score 软偏好、抢占、拓扑分布、调度框架、资源模型、QoS 驱逐、Kubelet 状态机,直到 HPA/VPA/KEDA 与节点级伸缩的负反馈回路;每节配一个可运行的 Go 最小验证,复现该机制的语义。

本页是《Kubernetes 分布式系统原理深入解析·调度与资源》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。

四卷规划 · 卷一 共识与存储 · 卷二 控制面与调谐循环 · 卷三 调度与资源 · 卷四 网络、存储、多集群与一致性边界

全书概览

项目内容
书稿《Kubernetes 分布式系统原理深入解析·调度与资源》
篇数45 篇(15 章 × 3 节)
领域分布式系统原理 × 真实组件(K8s 调度器 / 资源模型 / 弹性伸缩)
实验工程k8s-sched-lab,纯 Go,go build ./... && go test ./...,69 用例全过
上级专题书稿专题

全书目录

前置

节文章
—目录与学习路径

第 1 章 分布式调度问题

节文章
1.11.1 调度问题的形式化与 K8s 定位
1.21.2 调度器与 API Server 的交互
1.31.3 单调度器 vs 多调度器

第 2 章 调度框架与队列

节文章
2.12.1 调度循环:informer→队列→选择→绑定
2.22.2 ActiveQ/BackoffQ/UnschedulableQ
2.32.3 调度事件与重试语义

第 3 章 Filter:硬约束

节文章
3.13.1 节点选择器与亲和/反亲和过滤
3.23.2 污点容忍匹配算法
3.33.3 资源可分配、端口与卷冲突过滤

第 4 章 Score:软偏好

节文章
4.14.1 评分模型:LeastRequested/MostRequested/Balanced
4.24.2 评分权重组合
4.34.3 并行评分与结果排序

第 5 章 抢占与优先级

节文章
5.15.1 Preemption 流程与受害者选择
5.25.2 PriorityClass 的分布式协调
5.35.3 抢占的代价与可容忍性

第 6 章 拓扑感知调度

节文章
6.16.1 topologySpreadConstraints 与跨故障域
6.26.2 PodTopologySpread 算法
6.36.3 拓扑路由与流量亲和

第 7 章 调度器扩展

节文章
7.17.1 Scheduler Framework 扩展点
7.27.2 SchedulingGates 与异步准入
7.37.3 插件开发与 scheduler extender

第 8 章 资源模型

节文章
8.18.1 requests/limits:CPU 可压缩、内存不可压缩
8.28.2 超额分配与装箱效率
8.38.3 工程陷阱:cgroup v2、PodOverhead

第 9 章 QoS 与驱逐

节文章
9.19.1 Guaranteed/Burstable/BestEffort 分类
9.29.2 节点压力驱逐排序与阈值
9.39.3 主动驱逐 vs 内核 OOM

第 10 章 Kubelet 状态机

节文章
10.110.1 Pending→Running 的路径(PLEG/CRI)
10.210.2 探针与重启策略状态机
10.310.3 节点 Lease 心跳与失联判定

第 11 章 HPA 控制回路

节文章
11.111.1 目标利用率比例控制与平滑窗口
11.211.2 指标来源:metrics-server/自定义/聚合
11.311.3 伸缩滞后与振荡:稳定窗口设计

第 12 章 VPA 与资源画像

节文章
12.112.1 Recommender/Updater/Admission 三组件
12.212.2 资源画像与百分位聚合
12.312.3 更新模式:recreate/initial/off

第 13 章 KEDA 事件驱动

节文章
13.113.1 ScaledObject 控制器与事件源抽象
13.213.2 外部指标进入 HPA
13.313.3 队列/流量的驱动适配

第 14 章 节点级伸缩

节文章
14.114.1 Cluster Autoscaler:模拟调度与池伸缩
14.214.2 Karpenter 声明式节点生命周期
14.314.3 与调度/驱逐协同、冷启动

第 15 章 调度与资源的一致性闭环

节文章
15.115.1 从调度到运行的完整状态流
15.215.2 调度失败与多副本调度器
15.315.3 卷三回顾:约束满足+评分+抢占+负反馈

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python
books

《Kubernetes 分布式系统原理深入解析》9.2 节点压力驱逐排序与阈值

节点压力驱逐是 kubelet 在节点内存、ephemeral-storage、PID 等资源告急时的主动清理:硬阈值立即执行,软阈值给宽限期。驱逐按 QoS 从低到高、同 QoS 内按优先级与超用程度排序,并尊重 PodDisruptionBudget 保护。本节讲阈值、排序键与驱逐策略的取舍。lab 用 qos 包验证驱逐顺序、优先级、刚够即停与 PDB 保护。

9 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》9.1 Guaranteed/Burstable/BestEffort 分类

QoS 分类由 requests/limits 的组合决定:全容器 requests==limits 是 Guaranteed,全未设置是 BestEffort,其余是 Burstable。分类是 Pod 级的,最弱容器决定整体待遇。本节讲三类在调度保证、驱逐优先、OOM 得分与 CPU 份额上的差异,以及 Guaranteed 与 CPU manager 的配合。lab 用 qos 包验证三种分类规则。

8 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》8.3 工程陷阱:cgroup v2、PodOverhead

cgroup v2 的统一层级与 memory.current 计量让内存水位判断更细腻,PodOverhead 把沙箱运行时开销计入调度需求。本节讲这两个机制的正确口径与常见配置陷阱——overhead 漏配、cgroup 版本不一致、CPU manager 对齐、ephemeral-storage 计量。lab 用 resmodel 包验证 overhead 计入 Effective 后对『装不装得下』的直接影响。

8 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》8.2 超额分配与装箱效率

超额分配是用保证换密度:CPU 靠错峰与限流兜底可以超卖,内存不可超卖只能按峰值留。本节讲 overcommit 的动机与风险档位、装箱效率与碎片、以及分配量与实时用量的差距如何用指标观测。lab 用 resmodel 包验证超额分配比计算、贪心装箱填满第一个节点、超卖不等于调度放行。

9 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》8.1 requests/limits:CPU 可压缩、内存不可压缩

requests 是调度保证,limits 是运行上限:CPU 超限被节流(可压缩),内存超限被 OOM 杀进程(不可压缩)。本节讲清二者的语义差异、单位换算,以及『调度只看 requests、限制由 kubelet 强加』的两阶段契约。lab 用 resmodel 包验证 CPU 可压缩、内存不可压缩与装不下的判定。

10 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》7.3 插件开发与 scheduler extender

开发一个调度插件只要三步:实现扩展点接口、注册进 framework、配置加载。本节用一个打分插件从 Go 代码写到 scheduler 配置的完整示例讲清路径,并与 scheduler extender 对比:extender 是 HTTP 外部服务、状态外置、无 NormalizeScore、每个候选节点一次往返,能力被 framework 覆盖后逐渐让位。lab 用 framework 包验证打分插件的加权组合与绑定链错误中断——正是 framework 相对 extender 的组合与错误处理优势。

6 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》7.2 SchedulingGates 与异步准入

spec.schedulingGates 让 Pod 在调度前『挂起』:调度器对带未解除 gate 的 Pod 不取件、不判失败、不进退避队列,等外部准入方移除 gate 后异步放行。本节讲 gate 的字段与语义、与 admission webhook 的配合方式(创建时打 gate、外部控制器放行),并对比 Job suspend、webhook 拒绝等异步机制。lab 用 framework 的完整 Filter→Score→Bind 流程演示『可行→绑定成功』与『无可行→错误回队列』两种结局,说明门控为何要把失败改成等待。

8 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》7.1 Scheduler Framework 扩展点

调度策略不该靠改源码实现。Scheduler Framework 把一次调度分解为 QueueSort/PreFilter/Filter/PostFilter/PreScore/Score/NormalizeScore/Reserve/Permit/PreBind/Bind/PostBind 十二个扩展点,插件按注册顺序执行:Filter 短路、Score 不短路、Bind 出错即停。本节逐个定位扩展点,说明『换策略 = 改配置』的 profile 机制,并给出扩展点到调度阶段与典型插件的对照表。lab 用 framework 包验证 Filter 短路与 Bind 顺序语义。

8 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》6.3 拓扑路由与流量亲和

调度把副本分散到各域之后,流量仍可能跨域:默认负载均衡对端点一视同仁。TopologyAwareHints 在端点切片上打 zone 提示,kube-proxy 与服务网格消费提示、优先把流量发给与来源同域的副本,域内无健康端点时回退。本节量化跨域流量计费与延迟,给出『调度分散 × 路由就近』的配合关系与启用决策清单。lab 用 topology 的 Score 验证『已有多副本的域得分低』——调度分散偏好的镜像,反过来就是流量亲和的就近偏好。

8 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》6.2 PodTopologySpread 算法

6.1 定义了字段,本节把字段变成算法。PodTopologySpread 的计数口径是『已绑定 + 预扣 + 调度中』,skew 按域计数快照计算;覆盖域数不足 minDomains 时全局最小按 0 计,空域优先;ScheduleAnyway 模式下按『离全局最小越近分越高』归一化打分。本节用一个 3 节点 2 区域的算例逐步追踪放置前/后的 skew 变化,并从 EvenPodsSpread 插件视角看 PreFilter 如何一次算好计数供 Filter/Score 复用。lab 用 topology 包的 Score/Balance 验证空域高分、贪心均衡与硬约束上限。

8 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》6.1 topologySpreadConstraints 与跨故障域

topologySpreadConstraints 把『一批 Pod 当作整体,按故障域计数均衡』:在拓扑键划分的域上,任意两域匹配 Pod 数之差不超过 maxSkew,DoNotSchedule 下违反即不可调度。本节逐个讲解 labelSelector/topologyKey/maxSkew/minDomains/whenUnsatisfiable 五个字段,对比 nodeAffinity 与反亲和的本质区别(域计数而非单节点),并用可用区/机架/主机三层示例说明取舍。lab 用 topology 包的 Feasible 验证 maxSkew 硬约束与 minDomains 的『空域优先』基准。

8 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》5.3 抢占的代价与可容忍性

抢占是『用中断换位置』:被驱逐 Pod 的 SLO 中断、级联失败、重复调度都是实打实的代价。本节定量看抢占的三种代价(SLO 中断、级联效应、调度浪费),讨论为什么抢占必须『能容忍才做』——触发条件、破坏最小化、优雅终止共同把代价压到可接受,最后给出设计判断:什么时候该用抢占,什么时候该用预留、扩容等其他手段。lab 用 preempt/preempt.go 验证驱逐后资源满足与『最少驱逐』。

7 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》5.2 PriorityClass 的分布式协调

优先级不是一个 Pod 的私有字段,而是集群级的共享配置:PriorityClass 是全局对象,Pod 通过名字引用它获得数值。本节拆这个『分布式协调』模型——为什么优先级要集中定义(保证全集群一致的排序)、preemptionPolicy 字段如何全局决定谁能抢占,以及优先级如何进入调度决策的三个环节(队列排序、抢占触发、运行期)。lab 用 preempt/priority.go 验证 PriorityClass 解析与抢占策略。

7 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》5.1 Preemption 流程与受害者选择

高优先级 Pod 在所有候选节点都资源不足时,K8s 不直接放弃,而是触发抢占:选中一个候选节点,驱逐上面优先级更低的 Pod 腾出空间。本节拆抢占的完整流程(失败→选节点→选受害者→驱逐→重试)与受害者选择的策略——优先级最低优先、同优先级资源占用大者优先、破坏最小化——并说明为什么抢占是调度循环里最『重』、最该谨慎的机制。lab 用 preempt/preempt.go 验证受害者选择的两条排序规则与驱逐后资源是否满足。

8 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》4.3 并行评分与结果排序

集群节点成百上千,逐个串行评分是吞吐瓶颈。真实调度器用 worker 池并行跑评分:节点分片交给多个 worker,结果合并成同一张分数表再排序选最优。本节拆并行评分的分片-归并模型、结果必须与串行逐字节一致(并行只加速不改变语义)、以及排序与平票的确定性。lab 用 score/parallel.go 验证并行结果与串行结果完全一致、排序降序正确。

7 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》4.2 评分权重组合

单个评分模型不够用,真实调度器把多个模型按权重线性组合:final(n) = Σ(w_i × f_i(n)) / Σw_i。本节拆权重组合的数学形式、为什么必须归一化到统一量纲、默认权重表如何构成『分散 + 就近』的总偏好,以及调权重的原则——权重改变的是节点之间的相对排序,不是绝对好坏。lab 用 score/weight.go 验证加权组合与最优节点选择。

7 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》4.1 评分模型:LeastRequested/MostRequested/Balanced

Filter 淘汰完后,Score 在所有可行节点里选『最好』。本节给出三种经典评分模型的数学形式:LeastRequested(偏好低负载、资源分散)、MostRequested(偏好高装箱、提高密度)、Balanced(偏好 CPU/内存均衡),并说明它们各自适用的集群画像与代价。lab 用 score/score.go 验证三种模型在不同负载节点上的打分方向。

7 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》3.3 资源可分配、端口与卷冲突过滤

Filter 阶段的第二族硬约束是『占用类』:资源可分配(request 必须小于等于节点剩余量)、hostPort 冲突(同一端口不能两个 Pod 共用)、单写卷冲突(同一卷不能同时挂到两个节点)。本节拆这三类检查的量与语义,说明它们为什么是硬约束——超卖、端口撞车、卷双挂都会直接导致 Pod 起不来或数据错乱。lab 用 filter/resource.go 验证资源、端口、卷三类过滤。

7 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》3.2 污点容忍匹配算法

污点(Taint)与容忍(Toleration)是『节点拒绝 Pod』的机制:节点打上污点后,只有带匹配容忍的 Pod 才能调度上去。本节给出 Taint 的结构(key/value/effect)与 Toleration 的四元组(key/operator/value/effect),精确描述匹配算法——Key 必须相同、Effect 必须匹配、Operator=Exists 时任意值或 Equal 时值相等,并讨论三种 Effect(NoSchedule/PreferNoSchedule/NoExecute)的语义差异。lab 用 filter/taint.go 验证 Equal/Exists 两种匹配与不匹配的拒绝。

7 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》3.1 节点选择器与亲和/反亲和过滤

Filter 阶段的第一组硬约束是『节点匹配类』:nodeSelector 做简单的 label 键值匹配,nodeAffinity 的 requiredDuringSchedulingIgnoredDuringExecution 做表达式匹配,podAntiAffinity 把『不要和谁同节点』也变成硬约束。本节拆这三种匹配的语义与执行顺序,说明硬约束为什么必须严格——不满足就淘汰,不参与评分。lab 用 filter/filter.go 验证节点选择器、硬亲和与反亲和三条过滤规则。

7 分钟阅读
书稿 Kubernetes 分布式系统