15.2 整条链的最终一致:从写请求到全站收敛
第 1-14 章拆了很多机制。本节把它们串成一条链:一次写请求从进入 apiserver 到全站收敛的完整旅程。每个环节有自己的一致性语义,串起来才是「最终一致」。
一条写请求的完整旅程
kubectl apply 一个 Deployment 开始,全链路:
| 环节 | 一致性语义 | 章节 |
|---|---|---|
| 鉴权 | 你是谁 | 11.1(顺序) |
| 准入 | 能不能进/改成什么样 | 11 |
| 存储 | 落盘 etcd、RV 递增 | 1-2 |
| watch | 变更通知 | 3 |
| informer 缓存 | 各控制器拿到增量 | 3 |
| workqueue | key 去重入队 | 6 |
| 调谐 | 算差异、写修正 | 5-6 |
| 再写 | 下层对象(RS/Pod) | 7 |
| 数据面 | 执行、汇报 status | 15.1 |
一次写请求不是一个动作,而是一串级联:写 Deployment → 控制器的 Deployment 控制器 watch → 调谐 → 写 RS → RS 控制器 watch → 调谐 → 写 Pod → kubelet watch → 执行。每一环的「写」都触发下一环的「读」——声明式系统的传播就是这样逐层发生的。
链能收敛的三个前提
整条链要收敛到期望状态,三个前提缺一不可:
| 前提 | 机制 | 不满足会怎样 |
|---|---|---|
| 写是原子的 | 乐观锁(2 章) | 并发写互相覆盖,状态错乱 |
| 读是增量的 | list-watch(3 章) | 读放大、滞后无限 |
| 调谐是幂等的 | 从现实出发(6 章) | 重复执行产生重复效果 |
乐观锁保证「写不错」、list-watch 保证「读得到」、幂等保证「重做无害」——三个机制各守一环,链才能稳定收敛。lab 的 TestOptimisticConflict 验证第一环:并发写冲突返回 409 而不是覆盖——链首的正确性。
每一环的「最终一致」不同,串起来才是一致
整条链的一致性是分层的:
| 层 | 一致性 | 时延 |
|---|---|---|
| etcd | 强一致(Raft,卷一) | 即时 |
| 控制器视图 | 最终一致(缓存滞后) | 秒级 |
| 全站状态 | 最终一致(多级传播) | 秒到分钟 |
etcd 是强一致的,往上就变最终一致:每个控制器从自己的缓存(可能滞后)看世界,写回时靠乐观锁保证不覆盖。「强一致底层 + 最终一致上层」是控制面的分布式设计:底层用 Raft 保证不丢不错,上层用缓存/幂等换取扩展性。
滞后的来源:每一跳都在积累
为什么「全站收敛」是最终一致——滞后在一跳跳积累:
写 Deployment →(准入+存储)→ 控制器 watch 到:+100ms
控制器写 RS → RS 控制器 watch 到:+100ms
RS 写 Pod → kubelet 收到:+100ms
Pod 启动 → status 传回:+秒级
每一跳的滞后都来自「写 → watch → 处理 → 再写」的异步传播(3.3 节缓存滞后、5.2 节测量/动作延迟)。收敛时间 = 各跳滞后之和——这就是「最终一致」中「最终」的真实度量。它不必是毫秒级,只要「有界且会收敛」。
一致的边界:谁保证「看得到」
全链路的「看得到」边界,由 RV 语义保证(第 3 章 list-watch):
| 语义 | 保证 |
|---|---|
| list 起点 | 从某 RV 开始看后续变化 |
| watch 续点 | 断连后从上次 RV 续 |
| RV 单调 | 世界状态有序推进 |
lab 的 TestListSinceRV:从某 RV 起只返回之后的对象——增量语义的边界。这保证:即使某个控制器滞后,它也能从「上次看到的地方」续上,不会漏也不会乱。RV 是「最终一致」的坐标轴——每个参与者都知道自己看到的是世界的哪个版本。
收束:卷二的整条主线
把卷二 15 章收成一条主线:
声明式对象(spec/status)是骨架
→ 一致性存储(RV/乐观锁)保证不错
→ list-watch 让世界可见
→ 控制器(队列+调谐)驱动收敛
→ 准入/APF 把关与限流
→ 选主保证单写者
→ 最终,全站收敛到期望
每一章都是这条链上的一个环节,删掉任何一环,链都会断:没有乐观锁,写会覆盖;没有 watch,控制器瞎眼;没有幂等,重复会出错;没有选主,双主竞争;没有 APF,apiserver 被打爆。分布式系统没有银弹,只有「每个环节各司其职、串成一条自洽的链」——这是卷二想传递的最终认识。
收敛的度量:怎么知道链收完了
最终一致不能说「等一会儿就好」——要有可观测的收敛信号:
| 对象 | 收敛信号 |
|---|---|
| Deployment | status.conditions 的 Available/Progressing |
| RS | 副本数 spec = status |
| Pod | Ready 条件、containerStatuses.ready |
| Job(第 10 章) | Completions 达到 spec.completions |
收敛信号 = status 追上 spec 的证据:控制器写 status 就是在发布「我这边收敛了」。运维/自动化(rollout 判断、就绪判断)读的就是这些条件。
「最终一致」在生产里不是哲学,是监控:看 kubectl rollout status(Deployment 等 status 追平)、看 status.conditions 从 False 变 True。收敛是一个「可等待、可告警」的过程——等待收敛(rollout status)、告警不收敛(卡住的更新)——而这两者都靠同一件事:status 是收敛的可观测出口。
链路上每个环节的可观测性
整条链每个环节都该能「看见」,排障才能定位:
| 环节 | 可观测点 |
|---|---|
| 写请求 | audit log、apiserver 请求日志 |
| 准入 | 拒绝原因、webhook 延迟 |
| 队列 | workqueue 深度、重试次数 |
| 调谐 | 控制器日志、调谐次数 |
| 全站 | 事件(Event)、对象状态 |
一条写请求出问题,逐环节查:写被拒(准入)→ 没被 watch(list-watch)→ 没进队(workqueue)→ 调谐出错(控制器)——「哪个环节断了」比「哪里错了」更容易定位。分布式系统排障的本质是「沿着链路找断点」,而断点靠每个环节的可观测性暴露(呼应 14.3 节「切换要能看见」)。
从写请求到收敛的最短路径
把 15.2 的链路压缩成「最短收敛路径」:
写 Deployment
→ 存储(RV 递增)
→ Deployment 控制器 watch → 调谐 → 写 RS
→ RS 控制器 watch → 调谐 → 写 Pod
→ kubelet watch → 拉容器 → 写 status
→ RS/Deployment 控制器看到 status → 收敛完成
每一跳都要「写 → watch → 处理 → 再写」,所以链长决定收敛时间。控制面设计的启示:
- 链越短收敛越快:能直接调谐就不要多包一层——7-10 章的分层有独立语义,但每层都带来一跳延迟。
- 并行分支:Deployment 的子对象只有一个 RS,但一个 RS 下多个 Pod 是并行创建——收敛是「串行分层 + 并行扇出」。
「最短路径」帮你看清一次 apply 至少要经过几次写、几个控制器、多长的延迟。心里有这个路径图,看到「apply 后几秒才就绪」就知道是「几跳的常态」还是「卡在某跳的故障」。
「最终」到底有多久:给最终一致一个界
「最终一致」的「最终」不是无限——它应该有界。控制面的界:
| 环节 | 典型的界 |
|---|---|
| watch 传播 | 秒级(informer 重连重试) |
| 调谐 | 受 workqueue 退避上限约束(6.1 节) |
| 整体收敛 | 各跳之和(分钟级内) |
「有界滞后」是可运维的关键:知道「最坏要等多久」,才能区分「还在正常收敛」与「卡死了」。如果收敛没有界,运维无法判断「该等」还是「该干预」——有界滞后 = 可判定的故障。这也是为什么 6.1 节的退避要有上限、为什么控制器要有超时——所有「最终」都要有界,否则就不是「最终一致」而是「永远不一致」。
三个常见误解
- 「最终一致是弱一致,可以随便写」——错误。链首(etcd/乐观锁)是强一致;最终一致是「上层传播有滞后」,不是「底层写可以乱来」。
- 「收敛是瞬间的」——错误。收敛是逐级传播的最终一致,时延是各跳滞后之和。
- 「滞后越少越好」——不准确。有界滞后是扩展性的代价(缓存换读放大);关键是「有界且可观测」,不是「尽量为零」。
本节 lab
本节验证链首的一致性语义(整条链能收敛的前提):
cd private/labs/k8s-ctrl-lab
go test ./api -run 'TestOptimisticConflict|TestListSinceRV' -v
TestOptimisticConflict:过期 RV 写返回 409——「链首写不错」的乐观锁。TestListSinceRV:从某 RV 看后续变化——「链中读不漏」的增量边界。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。