1.1 K8s 为何是分布式系统最佳教材
如果只允许用一个例子讲完分布式系统的所有经典问题,Kubernetes 是最接近「完整标本」的答案。这不是因为它功能多,而是因为它把自己做成了一台分布式系统,而且把每个理论问题都用生产级代码实现了一遍——你可以翻开 Go 源码逐行对照教材上的每个概念。
本节是整本书的观察起点。我们先看 K8s 为什么「本身就是一个分布式系统」,再建立贯穿四卷的四个标本映射,最后说明它与站内 Kubernetes 专题、分布式系统专题的分工。
控制面是一台真正的分布式系统
一个 K8s 集群在物理上由若干台节点组成,但真正承载「系统逻辑」的是控制面上的三个多副本进程与一个单写存储:
| 组件 | 副本数(生产) | 它实现/体现的分布式原理 |
|---|---|---|
| etcd | 3 或 5 | 共识算法 Raft、状态机复制、quorum 容错、线性一致读 |
| kube-apiserver | 2 或更多 | list-watch 事件流、版本化乐观并发、租约(Lease)、最终一致读扩散 |
| kube-controller-manager | 1 主 + N 备 | 领导者选举、调谐循环(负反馈控制)、幂等重试 |
| kube-scheduler | 1 主 + N 备 | 分布式决策、约束满足 + 评分、抢占与优先级 |
这四类组件正好覆盖了分布式系统教材的大部分章节:共识、状态机、事件流、乐观并发、领导者选举、控制回路、决策与调度。下面用一条真实的数据流把它们串起来。
一次 Deployment 创建背后的分布式数据流
考虑一次最普通的操作:kubectl apply 创建一个 Deployment。从分布式系统的视角看,这一条命令在集群里走了一整圈「状态复制」:
- apiserver 写入:请求到达某个 apiserver,经认证、准入(webhook)、校验后,对象被序列化写入 etcd。写 etcd 不是一次普通数据库写——它是一轮 Raft 共识:Leader 把日志追加到本地,多数节点确认后提交,再应用到 mvcc 状态机,返回给 apiserver。这一步是线性一致的写。
- apiserver 发布事件:apiserver 把这次写入转成 watch 事件(类型、对象、resourceVersion),推送给所有订阅者。controller-manager 的 informer 是其中一个订阅者。
- 控制器调谐:controller-manager 里的 Deployment 控制器收到事件后,读取期望状态(spec),对比实际状态(当前没有对应的 ReplicaSet),算出差异,创建一个 ReplicaSet;ReplicaSet 控制器再算出「需要 N 个 Pod」,创建 Pod 对象。每一步都是一次「写回 etcd」,又触发新一轮 watch 事件。
- 调度器决策:Pod 对象出现后,scheduler 通过 watch 感知,执行 Filter(砍掉不合适的节点)+ Score(给剩余节点打分),把决策写回 etcd(Pod 的 nodeName)。kubelet 同样通过 watch 看到这个绑定。
- 节点执行:kubelet 从本地缓存读到 Pod,调 CRI 创建容器。此时系统才真正「生效」。
这条链路里几乎每个环节都对应一个教科书命题:第 1 步是共识与线性一致写,第 2 步是事件流与发布-订阅,第 3 步是负反馈控制与幂等,第 4 步是分布式决策,第 5 步是最终一致与本地状态机。一本书按这条链路展开,就把分布式系统讲完了。
四个标本:本书的核心主张
整本书的骨架是一条判断链:K8s 是一座分布式系统的标本馆,四个组件分别对应四类经典原理。
- etcd = 共识与状态机的标本(卷一)。etcd 不是「一个键值数据库」这么简单:它是 Raft 共识 + 状态机复制的直接实现。写入经 Leader 广播日志、多数确认后提交、再应用到 mvcc 状态机;读分线性一致读与可串行化读两档。K8s 把全部集群状态塞进 etcd,等于把整个集群的一致性承诺押在 Raft 上。卷一围绕它展开:第 4–10 章是 Raft 逐条,第 11–14 章是 mvcc、watch、lease 与容错。
- API Server = 事件流与乐观并发的标本(卷二)。apiserver 在 etcd 之上再包一层分布式数据面:对象带 resourceVersion,写路径用乐观锁(版本冲突返回 409);读路径靠 list-watch 把「存储」变成「事件流」,所有控制器都订阅这个流。它是 K8s 里「事件驱动」的全部来源,也是「多副本 apiserver 读同一 etcd」时一致性边界的观察点。
- 控制器 = 负反馈的标本(卷二)。Deployment、ReplicaSet、StatefulSet、Job……每个控制器都是一个负反馈回路:读期望状态(spec)、读实际状态(status/现实)、算出差异、发出一串幂等的修正动作,然后等待下一轮。用控制理论的词汇说,K8s 的调谐循环就是离散化的比例控制。
- 调度器 = 分布式决策的标本(卷三)。调度是把 Pod 放进哪台节点的决策问题:先 Filter 砍掉硬性不可能的节点,再 Score 排序选最优。它每个周期只做一次决策,却要和 etcd、informer 缓存、配额、抢占、驱逐持续交互。
网络、存储、多集群在卷四把这几类原理推演到「跨节点甚至跨集群」的边界,并回答一个贯穿全书的问题:在这个系统里,你读到的东西到底有多「新」?
为什么开源可读让它成为最佳教材
对比其他分布式系统教材,K8s 有三个具体优势:
- 真实生产规模。这里没有学术理想化的假设:它有网络分区、磁盘 fsync 慢、leader 抖动、watch 断连、缓存滞后、时钟漂移。每一个都是生产事故的真实来源,而不是教材的「极端情况」。你学到的不是「理论上可行」,而是「生产里会怎样坏、怎么收敛」。
- 代码可逐行对照。etcd 的
raft包、apiserver 的list-watch、controller-runtime 的Reconcile、kube-scheduler 的框架扩展点,全都是 Go 开源代码。本书每节都会指出「这个机制在哪个仓库、哪个目录、哪个文件」,并配一个可运行的 Go 仿真(lab)验证行为。 - 机制之间有清晰的数据流。K8s 的组件边界就是分布式系统的数据流边界:谁写、谁读、谁缓存、谁回写,链路明确,方便把「理论」挂到「真实实现」上。这也是本书能按「一条数据流」讲完整套原理的原因。
本书与站内其他内容的分工
站内已经有大量 K8s 内容,本书刻意与它们错位:
| 已有资产 | 定位 | 本书的关系 |
|---|---|---|
Kubernetes 专题(content/posts/kubernetes/,43 篇) | 实践位:怎么配置、怎么运维 | 本书正文会在相应机制处引用它作「实践延伸」,但不重复操作清单 |
分布式系统专题(content/posts/distributed-systems/) | 通用原理位:CAP、一致性哈希、共识概览 | 本书是同一原理在 K8s 里的深度落地,聚焦「具体实现与协议」 |
一句话:专题文章回答「这样配置」,本书回答「为什么这样设计、底层跑的是什么协议、一致性承诺的边界在哪」。
学完本书,你能独立诊断什么
把常见事故映射到章节,也可以当作本书的索引:
| 事故/问题 | 关键机制 | 主要章节 |
|---|---|---|
| etcd 慢盘导致 apiserver 写超时 | fsync 延迟、quorum 往返 | 卷一第 6/14 章 |
| watch 断连后控制器漏事件 | informer 重试、relist 退避 | 卷二第 3 章 |
| 两个 controller-manager 同时生效 | 租约(Lease)选主 | 卷二第 4 章 |
| Deployment 滚动卡在中间 | 控制回路、进度条件 | 卷二第 8 章 |
| Pod 被放到不该放的节点 | Filter/Score 决策 | 卷三第 3–4 章 |
| 节点内存驱逐杀掉关键 Pod | QoS、驱逐排序 | 卷三第 9 章 |
| Service 转发到已下线 Pod | EndpointSlice 传播延迟 | 卷四第 2 章 |
| 联邦集群状态不同步 | 跨集群传播的最终一致 | 卷四第 10 章 |
贯穿全书的一项核心能力是:当别人说「kubectl 返回了,但实际没生效」时,你能指出差异在哪一层——apiserver 已写、控制器未收敛、还是 kubelet 未执行——并说清每一层各自的一致性承诺。
三个常见误解
- 「K8s 是高可用系统,组件挂了会自动恢复」——需要拆开看:控制面进程本身是无状态的,靠 etcd 里的状态恢复;但 etcd 一旦不可用,整个控制面就停止工作。高可用来自「状态集中 + 组件无状态化」的设计,而不是组件自己会飞。
- 「写 etcd 成功 = 写入生效」——写成功意味着多数节点已确认(线性一致),但如果读路径走的是 informer 缓存或 apiserver 的读扩散,你读到的可能是几毫秒到几秒前的旧值。写与读的一致性档位是两回事。
- 「副本越多越安全」——对 quorum 而言成立(5 节点容 2 故障),但 apiserver 多副本并不增强一致性,反而引入读扩散与缓存滞后。副本数与一致性强度要分开看。
本书路线
四卷的推进顺序就是「从内核到边界」:
| 卷 | 主题 | 回答的问题 |
|---|---|---|
| 一 | 共识与存储:Raft 与 etcd | 集群状态是怎么被一致地存储起来的?Raft 每一步为什么这样设计? |
| 二 | 控制面与调谐循环 | 状态怎么变成事件流?控制器怎么让系统收敛到期望状态? |
| 三 | 调度与资源 | 决策怎么做出?资源怎么衡量、怎么驱逐、怎么伸缩? |
| 四 | 网络、存储、多集群与一致性边界 | 跨节点、跨集群时,一致性承诺还剩多少?边界在哪里? |
每卷配套一个 Go lab 工程(k8s-etcd-lab / k8s-ctrl-lab / k8s-sched-lab / k8s-net-lab),每卷 45 个可运行用例,放在 private/labs/。正文每节末尾的「本节 lab」给出对应文件、运行命令与真实断言。
本节 lab
本节建立映射,不写算法。lab 的作用是让你先看清 k8s-etcd-lab 的模块布局,它是后续每节「可运行验证」的载体:
cd private/labs/k8s-etcd-lab
go test ./... -v
三个包分别对应卷一前三批内容:clock(第 3 章时钟与顺序,Lamport / 向量时钟 / HLC)、consistency(第 2 章一致性模型,线性 / 顺序 / 最终一致 + CAP 分区)、raft(第 4–5 章共识与选举,集群结构 / 选举协议 / 选举限制 / pre-vote / FLP 演示)。当前共 13 个用例全绿;随着卷一到第 5 章收尾,会扩充到 45 个用例,覆盖本卷全部机制。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。