《Kubernetes 分布式系统原理深入解析·共识与存储:Raft 与 etcd》目录与学习路径

《Kubernetes 分布式系统原理深入解析·共识与存储:Raft 与 etcd》的目录与学习路径:45 篇逐节索引、三条阅读路线、十五章依赖关系,以及本卷与站内《后端架构设计》《MMO 服务器开发》《游戏服务端架构》的分工边界;每节配一个可运行的 Go 最小验证,正文以 K8s 控制面与 etcd 为对象讲解分布式系统原理。

四卷规划 · 卷一 共识与存储 · 卷二 控制面与调谐循环 · 卷三 调度与资源 · 卷四 网络、存储、多集群与一致性边界

本卷阅读路径

flowchart LR
    Basic["第 1–3 章 · 基础 / 一致性 / 时钟"] --> Raft["第 4–10 章 · Raft 共识"]
    Raft --> Etcd["第 11–13 章 · etcd 存储与事件"]
    Raft --> Fault["第 14 章 · quorum 与容错"]
    Etcd --> Ops["第 15 章 · 运维与一致性代价"]

卷一从「K8s 为什么值得当分布式系统教材」入手:先建立一致性模型与时钟的顺序观,再进入 Raft 共识(选举、日志复制、安全性、成员变更、快照、读一致性),随后把镜头转到 etcd 的工程实现(内部架构、mvcc 与事务、watch 事件流、quorum 与容错),最后以快照备份与一致性/性能权衡收口。卷一解决「控制面的状态与共识怎么来的」;卷二(控制面与调谐循环)、卷三(调度与资源)、卷四(网络、存储、多集群与一致性边界)分别在各自卷展开,卷一只在相关章节给出通往后续卷的指针。

怎么读这一卷

三条阅读路径

路径章节顺序建议周期适合谁
共识主线第 1–3 章 → 第 4–7 章 → 第 10 章约 4 周先看一致性/时钟基础,再完整走一遍 Raft 共识与读一致性。
etcd 工程线第 4–6 章 → 第 11–13 章约 4 周从日志复制入手,直接看 etcd 的进程结构、写入路径、mvcc 与 watch。
运维与容错线第 8–9 章 → 第 14–15 章约 3 周从成员变更、快照与压缩出发,看容错边界与备份恢复、性能权衡。

与站内既有内容的分工

书稿负责范围本卷如何处理
《后端架构设计》 四卷分布式与数据一致性的架构落位不重推架构决策,讲一致性模型在 etcd/K8s 里的机制实现
《MMO 服务器开发》 四卷游戏分布式系统的实战形态不写业务玩法,专注共识与状态同步的原理层
《游戏服务端架构》 四卷服务端核心系统与契约不写业务系统,讲控制面存储与一致性机制
《Java 并发编程》语言运行时并发源码解析同为「源码摘录 + 实测」写法,对象换成分布式共识与存储

十五章依赖关系

章标题依赖
1K8s 与分布式系统基础无
2CAP 与一致性模型无(独立)
3时钟与顺序无(独立)
4共识:从 FLP 到 Raft依赖第 2、3 章
5选举依赖第 4 章的集群结构
6日志复制依赖第 4、5 章
7安全性与日志匹配依赖第 5、6 章
8成员变更依赖第 6、7 章
9快照与日志压缩依赖第 6、7 章
10读一致性:ReadIndex 与 Lease Read依赖第 5、6 章
11etcd 内部架构依赖第 4–6 章
12mvcc 与事务依赖第 11 章
13watch 与事件流依赖第 11、12 章
14quorum 与容错依赖第 5、6 章
15etcd 运维与一致性代价汇总第 1–14 章

按问题追踪实现

每条路径的机制都由 k8s-etcd-lab(private/labs/k8s-etcd-lab)验证:cd private/labs/k8s-etcd-lab && go build ./... && go test ./...,46 用例全过。

逐节索引

第 1 章 K8s 与分布式系统基础

节文章核心内容
1.11.1 K8s 为何是分布式系统最佳教材控制面即分布式系统、etcd 即共识存储。
1.21.2 分布式系统的目标与挑战可扩展/可用/一致/可维护的目标与部分失败。
1.31.3 本书路线图与 lab 结构四卷路线与 Go lab 的分层设计。

第 2 章 CAP 与一致性模型

节文章核心内容
2.12.1 CAP 定理的精确表述与误区分区下的 C/A 二选一及其常见误读。
2.22.2 一致性模型谱系:线性、顺序、因果与最终从强到弱的一致性档位。
2.32.3 一致性模型的工程代价延迟/吞吐/可用性上的成本。

第 3 章 时钟与顺序

节文章核心内容
3.13.1 物理时钟、NTP 与墙钟漂移墙钟为何不可作排序依据。
3.23.2 逻辑时钟:Lamport 与向量时钟偏序到全序的构造。
3.33.3 混合逻辑时钟与 K8s/etcd 的 timestamp 语义HLC 与 K8s timestamp 语义。

第 4 章 共识:从 FLP 到 Raft

节文章核心内容
4.14.1 共识的定义与 FLP 不可能性共识问题与异步模型的不可解。
4.24.2 Paxos 简述与 Raft 的动机Paxos 到可读 Raft 的演进。
4.34.3 Raft 集群结构:角色、任期、quorum 与日志角色/任期/quorum/日志的四件套。

第 5 章 选举

节文章核心内容
5.15.1 选举协议:RequestVote、随机超时与任期递增选票规则与超时退避。
5.25.2 选举限制:日志新旧比较候选人日志必须不旧于多数。
5.35.3 异常场景:分裂投票、pre-vote 与 CheckQuorum脑裂预防与可用性手段。

第 6 章 日志复制

节文章核心内容
6.16.1 AppendEntries 与心跳复制请求与心跳复用。
6.26.2 日志匹配性质与不一致修复前缀一致与截断修复。
6.36.3 提交与 apply:commitIndex、matchIndex 与状态机应用多数派确认与状态机推进。

第 7 章 安全性与日志匹配

节文章核心内容
7.17.1 选举安全性:日志新旧比较保证候选人完整性已提交日志必在新任任期保留。
7.27.2 Leader 完整性:日志永不回退leader 任期日志的前缀闭包。
7.37.3 状态机安全与任期开始强制复制任期号遏制陈旧状态机应用。

第 8 章 成员变更

节文章核心内容
8.18.1 成员变更的难题:为何不能直接改配置单步改配置的可用性破坏。
8.28.2 联合共识:两阶段成员变更重叠多数与两阶段交接。
8.38.3 单步变更与 etcd learner单步变更的迁移路径与 learner。

第 9 章 快照与日志压缩

节文章核心内容
9.19.1 日志无限增长的代价存储、回放与启动成本。
9.29.2 InstallSnapshot 协议与生成时机快照传输与滞后节点追赶。
9.39.3 etcd 压缩策略、碎片整理与 defragcompaction 与后端碎片整理。

第 10 章 读一致性:ReadIndex 与 Lease Read

节文章核心内容
10.110.1 为什么读也需要共识陈旧读与领导者信任问题。
10.210.2 ReadIndex 与 Lease Read多数派确认 vs 租约豁免。
10.310.3 etcd 各读模式对比与工程取舍串行/线性/Lease 三模式。

第 11 章 etcd 内部架构

节文章核心内容
11.111.1 etcd 进程结构:gRPC、rafthttp、storage 与 backend单进程四层分工。
11.211.2 写入路径:Put→commit→apply→落盘WAL、backend、apply 的时序。
11.311.3 etcd 与 K8s 数据模型映射key 前缀、resourceVersion 与目录树。

第 12 章 mvcc 与事务

节文章核心内容
12.112.1 多版本并发控制:revision 与版本树单调 revision 与版本链。
12.212.2 乐观并发:CAS、Txn 与 fencing tokenIf/Then、CAS 与租约令牌。
12.312.3 resourceVersion 背后的 mvccrv 语义与乐观更新。

第 13 章 watch 与事件流

节文章核心内容
13.113.1 watch 协议:版本区间、事件、backlog 与 compact从版本回放与 compact 错误。
13.213.2 大集群 watch 扇出与限流扇出放大与慢消费者限流。
13.313.3 断连续读与一致性书签书签/progress notify 与重连恢复。

第 14 章 quorum 与容错

节文章核心内容
14.114.1 多数派与 2f+1 容忍度多数派交集与 f 容错。
14.214.2 网络分区与脑裂防护:大多数方仲裁分区下的单边提交。
14.314.3 磁盘故障、fsync 延时与稳定性边界慢盘拖垮提交与恢复追平。

第 15 章 etcd 运维与一致性代价

节文章核心内容
15.115.1 快照备份、恢复与演练snapshot/restore 与灾备演练。
15.215.2 性能瓶颈:fsync、RTT、WAL 与批量提交写路径各瓶颈与批量优化。
15.315.3 一致性 vs 性能的权衡全景全站一致性档位与取舍收口。

相关阅读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图