四卷规划 · 卷一 共识与存储 · 卷二 控制面与调谐循环 · 卷三 调度与资源 · 卷四 网络、存储、多集群与一致性边界
本卷阅读路径
flowchart LR
Basic["第 1–3 章 · 基础 / 一致性 / 时钟"] --> Raft["第 4–10 章 · Raft 共识"]
Raft --> Etcd["第 11–13 章 · etcd 存储与事件"]
Raft --> Fault["第 14 章 · quorum 与容错"]
Etcd --> Ops["第 15 章 · 运维与一致性代价"]
卷一从「K8s 为什么值得当分布式系统教材」入手:先建立一致性模型与时钟的顺序观,再进入 Raft 共识(选举、日志复制、安全性、成员变更、快照、读一致性),随后把镜头转到 etcd 的工程实现(内部架构、mvcc 与事务、watch 事件流、quorum 与容错),最后以快照备份与一致性/性能权衡收口。卷一解决「控制面的状态与共识怎么来的」;卷二(控制面与调谐循环)、卷三(调度与资源)、卷四(网络、存储、多集群与一致性边界)分别在各自卷展开,卷一只在相关章节给出通往后续卷的指针。
怎么读这一卷
三条阅读路径
| 路径 | 章节顺序 | 建议周期 | 适合谁 |
|---|---|---|---|
| 共识主线 | 第 1–3 章 → 第 4–7 章 → 第 10 章 | 约 4 周 | 先看一致性/时钟基础,再完整走一遍 Raft 共识与读一致性。 |
| etcd 工程线 | 第 4–6 章 → 第 11–13 章 | 约 4 周 | 从日志复制入手,直接看 etcd 的进程结构、写入路径、mvcc 与 watch。 |
| 运维与容错线 | 第 8–9 章 → 第 14–15 章 | 约 3 周 | 从成员变更、快照与压缩出发,看容错边界与备份恢复、性能权衡。 |
与站内既有内容的分工
| 书稿 | 负责范围 | 本卷如何处理 |
|---|---|---|
| 《后端架构设计》 四卷 | 分布式与数据一致性的架构落位 | 不重推架构决策,讲一致性模型在 etcd/K8s 里的机制实现 |
| 《MMO 服务器开发》 四卷 | 游戏分布式系统的实战形态 | 不写业务玩法,专注共识与状态同步的原理层 |
| 《游戏服务端架构》 四卷 | 服务端核心系统与契约 | 不写业务系统,讲控制面存储与一致性机制 |
| 《Java 并发编程》 | 语言运行时并发源码解析 | 同为「源码摘录 + 实测」写法,对象换成分布式共识与存储 |
十五章依赖关系
| 章 | 标题 | 依赖 |
|---|---|---|
| 1 | K8s 与分布式系统基础 | 无 |
| 2 | CAP 与一致性模型 | 无(独立) |
| 3 | 时钟与顺序 | 无(独立) |
| 4 | 共识:从 FLP 到 Raft | 依赖第 2、3 章 |
| 5 | 选举 | 依赖第 4 章的集群结构 |
| 6 | 日志复制 | 依赖第 4、5 章 |
| 7 | 安全性与日志匹配 | 依赖第 5、6 章 |
| 8 | 成员变更 | 依赖第 6、7 章 |
| 9 | 快照与日志压缩 | 依赖第 6、7 章 |
| 10 | 读一致性:ReadIndex 与 Lease Read | 依赖第 5、6 章 |
| 11 | etcd 内部架构 | 依赖第 4–6 章 |
| 12 | mvcc 与事务 | 依赖第 11 章 |
| 13 | watch 与事件流 | 依赖第 11、12 章 |
| 14 | quorum 与容错 | 依赖第 5、6 章 |
| 15 | etcd 运维与一致性代价 | 汇总第 1–14 章 |
按问题追踪实现
- 从「一个写入如何安全落盘」:沿写入路径 、提交与 apply 和日志匹配与修复 阅读。
- 从「一个读取如何不读到旧值」:沿为什么读也需要共识 、ReadIndex 与 Lease Read 和读模式对比 阅读。
- 从「K8s 怎么感知变化」:沿watch 协议 、扇出与限流 和断连续读 阅读。
每条路径的机制都由 k8s-etcd-lab(private/labs/k8s-etcd-lab)验证:cd private/labs/k8s-etcd-lab && go build ./... && go test ./...,46 用例全过。
逐节索引
第 1 章 K8s 与分布式系统基础
| 节 | 文章 | 核心内容 |
|---|---|---|
| 1.1 | 1.1 K8s 为何是分布式系统最佳教材 | 控制面即分布式系统、etcd 即共识存储。 |
| 1.2 | 1.2 分布式系统的目标与挑战 | 可扩展/可用/一致/可维护的目标与部分失败。 |
| 1.3 | 1.3 本书路线图与 lab 结构 | 四卷路线与 Go lab 的分层设计。 |
第 2 章 CAP 与一致性模型
| 节 | 文章 | 核心内容 |
|---|---|---|
| 2.1 | 2.1 CAP 定理的精确表述与误区 | 分区下的 C/A 二选一及其常见误读。 |
| 2.2 | 2.2 一致性模型谱系:线性、顺序、因果与最终 | 从强到弱的一致性档位。 |
| 2.3 | 2.3 一致性模型的工程代价 | 延迟/吞吐/可用性上的成本。 |
第 3 章 时钟与顺序
| 节 | 文章 | 核心内容 |
|---|---|---|
| 3.1 | 3.1 物理时钟、NTP 与墙钟漂移 | 墙钟为何不可作排序依据。 |
| 3.2 | 3.2 逻辑时钟:Lamport 与向量时钟 | 偏序到全序的构造。 |
| 3.3 | 3.3 混合逻辑时钟与 K8s/etcd 的 timestamp 语义 | HLC 与 K8s timestamp 语义。 |
第 4 章 共识:从 FLP 到 Raft
| 节 | 文章 | 核心内容 |
|---|---|---|
| 4.1 | 4.1 共识的定义与 FLP 不可能性 | 共识问题与异步模型的不可解。 |
| 4.2 | 4.2 Paxos 简述与 Raft 的动机 | Paxos 到可读 Raft 的演进。 |
| 4.3 | 4.3 Raft 集群结构:角色、任期、quorum 与日志 | 角色/任期/quorum/日志的四件套。 |
第 5 章 选举
| 节 | 文章 | 核心内容 |
|---|---|---|
| 5.1 | 5.1 选举协议:RequestVote、随机超时与任期递增 | 选票规则与超时退避。 |
| 5.2 | 5.2 选举限制:日志新旧比较 | 候选人日志必须不旧于多数。 |
| 5.3 | 5.3 异常场景:分裂投票、pre-vote 与 CheckQuorum | 脑裂预防与可用性手段。 |
第 6 章 日志复制
| 节 | 文章 | 核心内容 |
|---|---|---|
| 6.1 | 6.1 AppendEntries 与心跳 | 复制请求与心跳复用。 |
| 6.2 | 6.2 日志匹配性质与不一致修复 | 前缀一致与截断修复。 |
| 6.3 | 6.3 提交与 apply:commitIndex、matchIndex 与状态机应用 | 多数派确认与状态机推进。 |
第 7 章 安全性与日志匹配
| 节 | 文章 | 核心内容 |
|---|---|---|
| 7.1 | 7.1 选举安全性:日志新旧比较保证候选人完整性 | 已提交日志必在新任任期保留。 |
| 7.2 | 7.2 Leader 完整性:日志永不回退 | leader 任期日志的前缀闭包。 |
| 7.3 | 7.3 状态机安全与任期开始强制复制 | 任期号遏制陈旧状态机应用。 |
第 8 章 成员变更
| 节 | 文章 | 核心内容 |
|---|---|---|
| 8.1 | 8.1 成员变更的难题:为何不能直接改配置 | 单步改配置的可用性破坏。 |
| 8.2 | 8.2 联合共识:两阶段成员变更 | 重叠多数与两阶段交接。 |
| 8.3 | 8.3 单步变更与 etcd learner | 单步变更的迁移路径与 learner。 |
第 9 章 快照与日志压缩
| 节 | 文章 | 核心内容 |
|---|---|---|
| 9.1 | 9.1 日志无限增长的代价 | 存储、回放与启动成本。 |
| 9.2 | 9.2 InstallSnapshot 协议与生成时机 | 快照传输与滞后节点追赶。 |
| 9.3 | 9.3 etcd 压缩策略、碎片整理与 defrag | compaction 与后端碎片整理。 |
第 10 章 读一致性:ReadIndex 与 Lease Read
| 节 | 文章 | 核心内容 |
|---|---|---|
| 10.1 | 10.1 为什么读也需要共识 | 陈旧读与领导者信任问题。 |
| 10.2 | 10.2 ReadIndex 与 Lease Read | 多数派确认 vs 租约豁免。 |
| 10.3 | 10.3 etcd 各读模式对比与工程取舍 | 串行/线性/Lease 三模式。 |
第 11 章 etcd 内部架构
| 节 | 文章 | 核心内容 |
|---|---|---|
| 11.1 | 11.1 etcd 进程结构:gRPC、rafthttp、storage 与 backend | 单进程四层分工。 |
| 11.2 | 11.2 写入路径:Put→commit→apply→落盘 | WAL、backend、apply 的时序。 |
| 11.3 | 11.3 etcd 与 K8s 数据模型映射 | key 前缀、resourceVersion 与目录树。 |
第 12 章 mvcc 与事务
| 节 | 文章 | 核心内容 |
|---|---|---|
| 12.1 | 12.1 多版本并发控制:revision 与版本树 | 单调 revision 与版本链。 |
| 12.2 | 12.2 乐观并发:CAS、Txn 与 fencing token | If/Then、CAS 与租约令牌。 |
| 12.3 | 12.3 resourceVersion 背后的 mvcc | rv 语义与乐观更新。 |
第 13 章 watch 与事件流
| 节 | 文章 | 核心内容 |
|---|---|---|
| 13.1 | 13.1 watch 协议:版本区间、事件、backlog 与 compact | 从版本回放与 compact 错误。 |
| 13.2 | 13.2 大集群 watch 扇出与限流 | 扇出放大与慢消费者限流。 |
| 13.3 | 13.3 断连续读与一致性书签 | 书签/progress notify 与重连恢复。 |
第 14 章 quorum 与容错
| 节 | 文章 | 核心内容 |
|---|---|---|
| 14.1 | 14.1 多数派与 2f+1 容忍度 | 多数派交集与 f 容错。 |
| 14.2 | 14.2 网络分区与脑裂防护:大多数方仲裁 | 分区下的单边提交。 |
| 14.3 | 14.3 磁盘故障、fsync 延时与稳定性边界 | 慢盘拖垮提交与恢复追平。 |
第 15 章 etcd 运维与一致性代价
| 节 | 文章 | 核心内容 |
|---|---|---|
| 15.1 | 15.1 快照备份、恢复与演练 | snapshot/restore 与灾备演练。 |
| 15.2 | 15.2 性能瓶颈:fsync、RTT、WAL 与批量提交 | 写路径各瓶颈与批量优化。 |
| 15.3 | 15.3 一致性 vs 性能的权衡全景 | 全站一致性档位与取舍收口。 |
相关阅读
- 书稿专题 :站内全部书稿的入口。
- 《后端架构设计》·分布式与数据一致性 :一致性模型的架构落位,与本卷原理互补。
- 《MMO 服务器开发》·分布式与跨服 :游戏分布式系统的实战形态,与本卷的共识/状态同步互补。
- 《游戏服务端架构》·核心系统与契约 :服务端核心系统设计,与本卷的存储与一致性机制互补。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。