15.1 四卷主线回顾
四卷书一路读到这里,机制已经够多:Raft 的选举与日志复制、etcd 的 mvcc 与 watch、控制面的 informer 与调谐循环、调度器的 Filter/Score 与抢占、本卷的跨节点复制与多集群联邦。机制多了容易迷失,收束章要做的第一件事,是把它们折回少数几条主线。
本节把全书浓缩成五条主线,每条主线落到一个真实组件、一句话核心思想,并指出它出现在哪几卷。这五条主线不是并列的知识点,而是彼此咬合的齿轮——状态机复制给了「数据不乱」,共识与选举给了「只有一个主人」,watch 给了「变化能流动」,负反馈给了「系统会自愈」,一致性边界则划清「哪些承诺可以承诺、哪些不能」。
先给一张总览,把五条主线各自的问题、答案与判据列出来,后面再逐条展开:
| 主线 | 回答的问题 | 一句话答案 | 一句话判据 |
|---|---|---|---|
| 状态机复制 | 多副本怎么像单机 | 日志复制 + 多数派提交 | 过半节点存活即不丢数据 |
| 共识与选举 | 谁是这个时刻的主人 | 任期 + 续租 + 隔离 | 心跳断了身份就失效 |
| watch/事件流 | 变化怎么流动 | 增量同步 + resourceVersion | 断连可从版本号追读 |
| 声明式 API 与负反馈 | 系统怎么自愈 | 期望状态 + 调谐循环 | 差距存在就持续纠正 |
| 一致性边界 | 承诺的边界在哪 | ack ≠ 生效、多数派不丢 | 每个承诺都标了适用域 |
这张总览本身就是一把尺子:每一行都能用「问题—答案—判据」三要素复述,说明主线是机制而非功能,机制可以迁移到任何分布式系统,功能则绑死在某个组件上。
主线一:状态机复制(etcd Raft)
载体:etcd 的 Raft 库。核心思想:日志复制 + 多数派提交。
所有分布式系统的第一根支柱是「多副本还要像一个副本」。卷一从 Raft 讲起:客户端请求先落到 Leader 的日志条目,日志被复制到多数派节点,才被提交并应用到状态机。多数派提交保证了两件事——只要超过一半节点存活,数据就不丢;只要日志顺序一致,各副本状态机就收敛到同一状态。
这条主线在 K8s 里藏得最深也最不可缺:etcd 存着整个集群的期望状态,kube-apiserver 的一切读写最终都落在这一复制状态机上。kubectl apply 能成功、两个节点能读到同一份 ConfigMap,全靠它。卷一用最小 Raft 复现了选举、日志复制、安全性、成员变更与快照,每节一个可运行的 Go 验证;本卷第 9 章做 etcd 备份恢复时,「多数派才提交」正是判断「这份备份能不能用」的依据——只有多数派已提交的日志才是安全的还原点。
多数派还有一个常被低估的性质:它同时是容错上限与一致性下限。 5 节点集群能容忍 2 节点故障,是因为多数派 = 3;少于一多半节点,Leader 无法提交新日志,集群进入「只读不写」的保守态。这不是缺陷,而是「宁可暂时不承诺,也不承诺错」的安全设计。
日志复制的过程值得再回味一遍,因为它是「状态机复制」这个名字的全部含义:Leader 把请求打包成日志条目,条目带递增的索引与任期号,复制到每个 follower;每个节点按日志索引顺序应用,状态机结果因此一致。复制的是日志,收敛的是状态机——这条区分解释了为什么 Raft 能容忍节点乱序、为什么回滚未提交日志是安全的。卷一第 4 章用带注释的最小实现把「PreVote→投票→日志匹配→提交」走了一遍,本卷不再重复,但卷四第 9 章的 etcd 恢复演练里,你看到的每条数据实际上都是这条日志链的产物。
主线二:共识与选举(etcd 租约)
载体:etcd 租约与 kube-controller-manager 的选主。核心思想:任期 + 续租 + 隔离。
多副本共识回答了「多数派怎么决定一件事」,但还有一个更日常的问题:同一时刻谁是唯一的执行者。 Raft 用任期(term)约束 Leader 身份,Lease 用「续租成功才算持有」给「软性 Leader」加了时间界限。
K8s 把这套思想搬进了控制面:kube-controller-manager 各组件通过 --leader-elect 竞争 Lease,持有者定期续租,失联超过租期未续租,另一个候选才接替。卷二的 Lease 与选主一章讲透了这里的微妙之处——租约不是「声明了就有」,而是「持续续租才有」,一旦心跳断了,身份立刻进入可被接管状态。这条主线与卷一的 Raft 选举是同一个问题的两种实现:日志型共识回答「哪条日志算数」,租约回答「谁还在管事」。
两者对「失联」的处理不同,值得对照:Raft Leader 失联后,新 Leader 通过任期+多数派完成替换,旧 Leader 的写请求因任期过期被拒绝——这是隔离(fencing);Lease 失联后,新持有者续租成功即可接管,旧持有者再次续租会失败。共同点是:旧执行者必须被明确剥夺资格,否则就是双主。 本卷第 7 章的 attach/detach 分布式协调、第 8 章的跨节点故障转移,用的都是同一套租约语义。
控制面选主有一组真实参数,最能体现「续租决定持有」的工程落地:
| 参数 | 默认值 | 含义 |
|---|---|---|
--leader-elect-lease-duration | 15s | 租约时长,超过未续租即失效 |
--leader-elect-renew-deadline | 10s | 持有者必须在改期限内完成续租 |
--leader-elect-retry-period | 2s | 续租与抢锁的尝试间隔 |
三者关系是「租约 > 续租截止 > 重试周期」,保证网络抖动时持有者还能续上,真正失联时备选又能及时接管。调过这组参数的人都该记得一个教训:租期设得越短,故障切换越快,但也越容易因瞬时抖动误切换;设得太长则失联半天才换人。这是「隔离」与「可用」之间的直接权衡。
主线三:watch/事件流(apiserver list-watch)
载体:apiserver 的 list-watch 与 client-go informer。核心思想:增量同步 + resourceVersion。
共识保证了「数据不乱」,但分布式系统里真正要命的往往是「变化怎么通知」。K8s 的做法是 list-watch:客户端先全量 list 一次拿到基准,再 watch 增量;每次事件带一个 resourceVersion,既标识版本又支持按版本增量追读。断开重连时,从上次的 resourceVersion 接着读,漏掉的更新不会丢。
这条主线横跨卷一与卷二:卷一讲 etcd 的 watch 事件流与 mvcc 版本号——etcd 每个 key 的每一次修改都产生新版本,watch 从某个版本号开始回放;卷二讲 informer 如何把 watch 落到本地缓存、resourceVersion 如何做乐观并发控制——写请求带上期望版本,版本对不上就冲突,从而在无锁的前提下避免覆盖。
事件流最容易踩的坑是「重连从哪读」。读旧了会漏事件,读新了会丢基准。K8s 的处理是:list 返回的 resourceVersion 与 watch 起始版本衔接,若版本已被 etcd 压缩(历史快照清理),informer 会重新全量 list。本卷第 4 章服务发现的一致性、第 10 章跨集群联邦的增量分发,本质都在回答同一个问题:状态变了,如何让「该知道的人」尽快、不丢地知道。 增量同步 + 版本号,是分布式系统里最通用的事件通道。
把一次「从陌生到同步」的完整过程拆开,就是三条标准动作:
| 动作 | 做什么 | 判据 |
|---|---|---|
| 全量 list | 拉取当前全部对象,记录返回的 resourceVersion | 建立基准 |
| 增量 watch | 从基准版本开始,只接收变更事件 | 不重传存量 |
| 重连恢复 | 断连后从上次版本续读;版本失效则重新 list | 不漏不错 |
这套「先全量后增量、版本衔接、失效重全量」的模式,几乎可以直接照抄进任何需要同步状态的自研组件——它是事件驱动系统的地基。
主线四:声明式 API 与负反馈(controller informer)
载体:kube-controller-manager 的各类 controller。核心思想:期望状态 + 调谐循环。
有事件流只是「能看到变化」,系统还得「对变化作出反应」。K8s 的答案是声明式 API + 负反馈:用户写清期望状态(Desired),controller 通过 informer 观察当前状态(Current),调谐循环不断把 Current 拉向 Desired。这与控制理论的负反馈是同构的——不是每次变化都触发指令,而是持续比较差距、持续纠正偏差。
卷二用 ReplicaSet、Deployment、StatefulSet 控制器把这条主线讲透:workqueue 去重与延迟重试、幂等调谐——同样一个调谐请求执行多少次,结果都应相同;乐观并发——版本冲突时重取重试而非覆盖。卷三的调度循环(入队→Filter→Score→绑定)与 HPA 伸缩,也是同一个「观察—比较—纠正」框架的不同实例。
这条主线给全书的启示是:声明式系统不怕故障,因为它靠收敛而非靠一次成功的调用。 一次调谐失败不会留下「半成品」,只会在队列里等待重试,直到差距归零。这也是为什么 K8s 敢把「期望」与「实际」分离:实际状态无论被外部打成什么样,调谐循环都会把它拉回来。
负反馈与「事件驱动 + 命令」的差别,值得用一个对照钉死:
| 维度 | 声明式 + 负反馈(K8s) | 事件驱动 + 命令 |
|---|---|---|
| 状态来源 | 唯一的期望状态,外部只管声明 | 多个事件源发指令,各管一段 |
| 故障处理 | 差距自动收敛,无需补偿动作 | 每条指令可能半途失败,需显式补偿 |
| 重试语义 | 幂等,重跑多少次都一样 | 可能重复执行,需去重或幂等键 |
| 适用场景 | 长期运行、状态复杂 | 一次性流程、明确动作 |
这个对照解释了为什么 K8s 把「控制器」设计成「不断把 Current 拉向 Desired」而不是「事件来了就干活」:前者天然容忍丢事件、乱序、重复,后者每一样都要单独兜底。
主线五:一致性边界(读路径/故障域)
载体:etcd 线性一致读、Pod 拓扑约束、多集群联邦。核心思想:ack ≠ 生效、多数派不丢。
前四条主线讲「系统怎么做到」,第五条讲「系统不能承诺什么」。一致性边界有三层:读路径上,Leader 提交的写与各副本的读之间有时间差,线性一致读要过一次多数派确认(卷一);故障域上,副本若集中在同一机架/可用区,单域宕机就丢多数派(卷三的拓扑约束、本卷第 8 章的跨节点复制);多集群上,联邦只是尽力最终一致,不可能承诺跨集群的强一致事务(卷四第 10 章)。
把三层边界的承诺强度排成一张表,看得最清楚:
| 边界 | 承诺内容 | 不承诺什么 | 对应章节 |
|---|---|---|---|
| etcd 单集群 | 多数派提交的写必持久 | Leader 已确认但未提交的写 | 卷一 Raft |
| 读路径 | 线性一致读看到最新提交 | 副本读可能滞后 | 卷一 mvcc |
| 故障域 | 跨域副本防单域丢多数派 | 跨域延迟与带宽有代价 | 卷三、卷四第 8 章 |
| 多集群联邦 | 最终一致、尽力同步 | 跨集群强一致事务 | 卷四第 10 章 |
这条主线是一把尺子,用来衡量前面四条主线的每一项承诺在什么条件下成立。它也是本卷取名「一致性边界」的原因——把边界划清楚,比把承诺写得更强更重要。
边界误判的后果往往比想象中严重:把「Leader 已确认」当成「已提交」去读,会读到未来可能被回滚的数据;把「副本都在同一机架」当成「多数派可靠」,机架级断电直接失去全部副本;把「联邦同步完成」当成「跨集群强一致」,两边读到不同答案时才追悔莫及。本卷第 10 章的教训是:多集群之间只做最终一致的「尽力同步」,任何需要强一致的决定都必须回落单集群。 认清边界,是分布式系统从业者最重要的一条职业素养。
五条主线 × 四卷对应表
| 主线 | 核心思想 | 载体 | 主要落点 | 其他落点 |
|---|---|---|---|---|
| 状态机复制 | 日志复制 + 多数派提交 | etcd Raft | 卷一 | 卷四第 9 章备份恢复 |
| 共识与选举 | 任期 + 续租 + 隔离 | etcd 租约 / 选主 | 卷一、卷二 | 卷四第 7 章协调 |
| watch/事件流 | 增量同步 + resourceVersion | list-watch / informer | 卷一、卷二 | 卷四第 4、10 章 |
| 声明式 API 与负反馈 | 期望状态 + 调谐循环 | controller / informer | 卷二 | 卷三调度循环 |
| 一致性边界 | ack ≠ 生效、多数派不丢 | 读路径 / 故障域 | 卷一、卷三 | 卷四全卷 |
注意两条主线跨了四卷:watch/事件流与一致性边界。前者是因为「变化通知」在每一卷都有实例,后者是因为「承诺范围」必须处处用同一把尺子。这张表也提示了本书的结构法——不是按组件切分,而是按机制切分,同一机制在不同组件里的不同面貌,正是分布式系统原理最该学的东西。
一次扩缩容串起五条主线
只看表格仍是抽象的,把一次真实操作放进去就具体了。假设你 kubectl scale deployment nginx --replicas=5:
- 状态机复制:请求经 apiserver 落进 etcd,Raft 多数派提交后才算数——
nginx的期望副本数变成 5。 - watch/事件流:ReplicaSet 控制器通过 informer watch 到
nginx对象更新,携带新resourceVersion,进入 workqueue。 - 声明式 API 与负反馈:调谐循环发现「期望 5、当前 3」,为差额创建 2 个 Pod;调度器把 Pod 绑到节点,kubelet 拉起容器。
- 共识与选举:若控制面是多副本,整个过程的执行者是唯一持有 Leader 租约的那一台 controller-manager——没有它,多个副本同时调谐会互相打架。
- 一致性边界:
kubectl scale返回「成功」只代表「期望状态已提交」,不代表「5 个 Pod 已就绪」——ack ≠ 生效;若新 Pod 恰好都调度进同一故障域,副本的多数派保障也随之被削弱。
一次 5 分钟的扩缩容,五条主线全在运转。K8s 不是一个功能清单,而是一个用五条主线编成的网。
这条链路的通用性值得强调:换成自研的分布式存储、自研的配置中心、自研的任务调度器,五条主线一条都不会少——只是载体变了。状态机复制换成自研 Raft 或选主引擎,事件流换成消息队列 + 版本号,负反馈换成你自己的调谐循环。 第 15.3 节讲迁移路径时,这条「主线不变、载体可换」的认知是前提。
一条故障线:节点失联时五条主线各自如何反应
再换个视角,假设集群里一个节点突然失联,五条主线各自进入自己的「降级」:
| 失联事件 | 主线反应 | 机制 |
|---|---|---|
| etcd 节点失联 | 状态机复制 | 剩余多数派继续提交,失联节点追日志回归 |
| controller-manager 失联 | 共识与选举 | 租约过期,另一副本接管,期间控制器停顿 |
| informer watch 断连 | watch/事件流 | 从上次 resourceVersion 重连,追读增量 |
| 工作负载 Pod 失联 | 声明式 API 与负反馈 | 调谐循环重建,直到 Current 追上 Desired |
| 业务副本跨域失衡 | 一致性边界 | 拓扑约束阻止单域堆积,防丢多数派 |
这张表是全书最浓缩的一张:任何一条主线的故障,都能在其他主线上找到对应的自愈机制。读不懂这张表,说明五条主线还没串成一张网。
从主线到设计原则:收束章的路线图
五条主线是「K8s 怎么做的」,收束章剩下两节要把它们转成「你该怎么做」。第 15.2 节把五条主线压成五条设计原则——多数派才承诺、隔离旧 Leader、读可判新旧、副本分散故障域、可重试——并给出一把审计「好设计/坏设计」的尺子。第 15.3 节则回答迁移问题:当你把从 K8s 学到的机制搬到自研分布式系统时,数据真相源怎么保持、分阶段怎么切流、双写窗口怎么避免。先回顾(本节),再立原则(15.2),最后给路径(15.3),是收束章的三级台阶。
三个常见误解
- 「分布式系统的难点主要是网络与存储的可靠性」——错误。多数派提交、租约、版本号、负反馈这些「机制」才是难点;网络与存储只是这些机制运行的载体,机制设计错了,再可靠的硬件也会做出错误决定。
- 「五条主线彼此独立,各学各的就行」——错误。它们咬合成一条链路:状态机复制提供数据基础,watch 让变化流动,负反馈让系统收敛,选举保证只有一个执行者,一致性边界约束全部承诺。只学其中一条,理解必然断片。
- 「一致性边界是书的最后才引入的新概念」——错误。它从卷一「线性一致读」就出现,只是到卷四才把它从「某个读函数的行为」放大成「全书承诺的适用范围」。边界是贯穿始终的尺子,不是收尾时才加上的章节。
一句话总结本节
四卷书可浓缩为五条主线——状态机复制、共识与选举、watch/事件流、声明式 API 与负反馈、一致性边界——各自落在 etcd Raft、租约选主、list-watch、controller informer、读路径与故障域上,彼此咬合成一条从数据到行为的完整链路。记住五条主线的咬合关系,比记住任何单个组件的细节都重要。
下一节把五条主线再往下压一级,提炼成可随身携带的设计原则清单,并给出一把「好/坏设计审计」的尺子。
本节 lab
本节对应 review 包的 TestMainLinesComplete,验证五条主线清单是否完整:
cd private/labs/k8s-net-lab
go test ./review -run TestMainLinesComplete -v
测试有两组断言:
- 依次检查
状态机复制、共识与选举、watch/事件流、声明式 API 与负反馈、一致性边界五个名字都出现在MainLines中——任何一条缺失都会Fatal。 - 再检查
len(MainLines) >= 5,防止清单被写短。
两条断言任一不满足即测试失败;通过时输出 --- PASS: TestMainLinesComplete。跑完见 ok k8s-net-lab/review。这条测试把「五条主线」从书里的叙事固化成可回归的数据结构——以后增删主线,测试会先报警。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。