《Kubernetes 分布式系统原理深入解析》2.3 调度事件与重试语义
调度失败后靠什么重试?两类触发源:事件(节点加入/更新、Pod 删除释放资源)和时间(指数退避到期)。本节把调度失败原因分类为『事件可修复』与『持续存在』,分别对应 UnschedulableQ 与 BackoffQ 的重试路径,并讨论重试的幂等性——为什么重复调度一个已绑定 Pod 是无害的。lab 用 queue/scheduler.go 验证失败进退避与事件驱动重试两条路径。
category
调度失败后靠什么重试?两类触发源:事件(节点加入/更新、Pod 删除释放资源)和时间(指数退避到期)。本节把调度失败原因分类为『事件可修复』与『持续存在』,分别对应 UnschedulableQ 与 BackoffQ 的重试路径,并讨论重试的幂等性——为什么重复调度一个已绑定 Pod 是无害的。lab 用 queue/scheduler.go 验证失败进退避与事件驱动重试两条路径。
调度队列不是一条队列,而是三张:ActiveQ 放可立即尝试的 Pod(按优先级排序)、BackoffQ 放刚失败等待指数退避重试的 Pod、UnschedulableQ 放失败且等待事件驱动的 Pod。本节拆三个队列的语义、流转规则与移动触发条件,说明它们共同实现『失败不丢、重试不忙、事件不miss』的调度健壮性。lab 用 queue/queue.go 的 SchedulingQueue 复现三队列转移、退避到期与优先级 pop。
调度的主循环是四步:informer 事件把未绑定 Pod 入队、从队列 pop、Filter+Score 选节点、写绑定。本节逐段拆这个循环,说明它与控制器调谐循环的异同——调度也是『读期望、看现状、写回』的负反馈,只是决策对象是『放哪』而非『改多少』。lab 用 queue/scheduler.go 的 ScheduleLoop 复现四步循环,展示 pop→filter→score→bind 的完整一round。
K8s 默认只有一个 kube-scheduler,但调度框架允许通过 schedulerName 部署任意多个调度器。本节先说明『单调度器 + 全局视图』的设计价值(决策正确、可解释、易排障),再拆多调度器的分工模型——按 schedulerName 划分工作集,同一 Pod 只被对应名字的调度器处理,最后讨论绑定写回的唯一性:为什么并发调度器不会把同一个 Pod 绑定两次。lab 用 queue 包的多个调度器实例演示按名称分工。
调度器与 API Server 的交互是典型的『观察者 + 写入者』双角色:观察侧用 list-watch 订阅 Node/Pod/PVC 等对象维护全局视图,写入侧通过绑定子资源把『Pod 应该运行在哪个节点』持久化。本节拆解这两条通道各自的协议、一致性与滞后边界,说明调度器如何在不直连 kubelet 的情况下完成决策的落地。lab 用 queue/scheduler.go 的节点快照与绑定记录复现观察-决策-写入三段。
把调度问题形式化:在满足硬约束的前提下为每个待调度 Pod 选择一个节点并优化软偏好,是一个带约束的组合优化问题。本节先给出 K8s 里调度问题的输入、输出与约束结构,再定位 kube-scheduler 在分布式系统里的角色——一个靠 watch 维护全局视图、靠写入绑定子资源落地决策的集中式决策者,最后说明它为什么是『分布式决策』而非『分布式算法』。lab 用 queue/scheduler.go 验证一轮调度(pop→filter→score→bind)的完整语义。
《Kubernetes 分布式系统原理深入解析·共识与存储:Raft 与 etcd》的目录与学习路径:45 篇逐节索引、三条阅读路线、十五章依赖关系,以及本卷与站内《后端架构设计》《MMO 服务器开发》《游戏服务端架构》的分工边界;每节配一个可运行的 Go 最小验证,正文以 K8s 控制面与 etcd 为对象讲解分布式系统原理。
全 45 篇的章节索引:从分布式系统基础、CAP 与一致性模型、时钟与顺序出发,依次拆解 Raft 共识(选举、日志复制、安全性、成员变更、快照、读一致性),再进入 etcd 工程实现(内部架构、mvcc 与事务、watch 事件流、quorum 与容错、运维与一致性代价);每节配一个可运行的 Go 最小验证,共 46 用例。
收束卷一:从一致性模型到 Raft 共识再到 etcd 工程,每个选择都是一致性档位与代价的交换。本节给出五档全景、成本明细与决策框架,lab 用全量 46 用例逐档验证各档行为。
etcd 写延迟由 WAL fsync 与多数派 RTT 两块预算构成:fsync 是单成员物理下限、批量提交摊薄;RTT 是跨机房支配项,决定心跳、选举超时与租约尺度。lab 用 TestKeepAlivePreventsExpiry 验证租约靠定期网络往返保活。
etcd 的恢复由 WAL 与快照两件套保证:快照给出一致时间点拷贝,快照后 WAL 重放补齐增量,恢复点即快照时刻。lab 用 TestSnapshotCompaction 与 TestInstallSnapshot 验证压缩与安装快照的语义。
磁盘故障分两类:WAL 未 fsync 断电丢数据,fsync 变慢拖慢提交路径。慢 follower 只拖慢自己,commit 只等多数派;慢 leader 拖慢心跳逼近选举超时触发切主。lab 用 TestSlowFollowerFsyncDragsCommit 验证 3 节点多数派照常提交、慢 follower 恢复后追平并应用。
脑裂时两侧都想当主,Raft 不事后检测,而是让提交必须多数派确认:分区后多数派继续选主提交,少数派 commit 停滞在分区前边界,无法双提交。lab 用 TestNetworkPartitionMajorityArbitration 验证 5 节点分区仲裁,用 TestPreVoteQuarantine 验证 pre-vote 防止被分区节点扰乱主集群。
多数派 quorum=n/2+1,奇数集群以 2f+1=n 换 f 个节点故障容忍,两个 quorum 交集非空保证不会两侧同时提交。lab 用 TestQuorumMath 验证 1/3/5/7/9 的 quorum 恒等式,用 TestQuorumSurvivesTwoFailures 验证 5 节点隔离 2 个后主集群仍能选主并提交。
watch 断连是常态不是异常:网络抖动、成员切换、限流取消都会中断事件流。客户端记录最后一个事件的 revision,从 rev+1 重新 List+watch 即不丢不重;progress notify 让服务端周期性返回已确认的 revision,作为一致性书签判断服务端进度。lab 验证书签点与从书签重连只收到新事件。
一次写只产生一个事件,却被广播给所有覆盖该范围的 watcher,各自独立消费同一内容;慢消费者不拉取导致积压,超过上限就被取消,宁可让客户端重连也不让单个 watcher 拖垮成员。apiserver 的 watch cache 把大量客户端 watch 聚合到一条 etcd watch 再扇出。lab 验证扇出广播与慢消费者取消。
watch 是 List 之后持续获得增量的通道:客户端以起始 revision 与 key 范围订阅,服务端回放该点之后的事件并转入实时,事件各带全局 revision 且永不重复;起始 revision 早于压缩点时 watch 失败需重建。lab 验证历史回放、PUT/DELETE 事件序列与 compact 断流。
K8s 对象的 resourceVersion 就是最近一次写入的 etcd revision:Update 靠 mod_revision 比较实现乐观锁,冲突返回 409;读被压缩的旧版本得到 410 Gone。lab 验证 Get 返回最新值+mod_revision、压缩后旧版本被拒与版本链回收。
乐观并发不提前加锁,冲突在提交时检测:etcd 事务用 mod_revision 比较实现 K8s 的 resourceVersion 乐观锁,租约续约时的 checkpoint token 作为 fencing token 拦住陈旧写者。lab 验证事务原子 If/Then、并发写 409 冲突与陈旧 token 失效。
etcd 的存储是多版本并发控制:每次写推进全局主 revision,每个 key 保留按 mod_revision 排列的版本链,删除留下墓碑但历史仍可读。lab 用三个用例验证 revision 跨 key 单调、历史读返回指定版本、墓碑不影响删除前的历史值。