posts

《Kubernetes 分布式系统原理深入解析·共识与存储:Raft 与 etcd》 · 全书目录与章节索引(45 篇)

全 45 篇的章节索引:从分布式系统基础、CAP 与一致性模型、时钟与顺序出发,依次拆解 Raft 共识(选举、日志复制、安全性、成员变更、快照、读一致性),再进入 etcd 工程实现(内部架构、mvcc 与事务、watch 事件流、quorum 与容错、运维与一致性代价);每节配一个可运行的 Go 最小验证,共 46 用例。

《Kubernetes 分布式系统原理深入解析·共识与存储:Raft 与 etcd》全 45 篇,是《Kubernetes 分布式系统原理深入解析》四卷本的卷一。本卷以 K8s 的控制面核心——etcd 与 Raft 为对象,把经典分布式系统原理落在真实组件上:一致性、时钟、共识、日志复制、快照、线性一致读、mvcc、watch 与租约;每节配一个可运行的 Go 最小验证,复现该机制的语义。

本页是《Kubernetes 分布式系统原理深入解析·共识与存储:Raft 与 etcd》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。

四卷规划 · 卷一 共识与存储 · 卷二 控制面与调谐循环 · 卷三 调度与资源 · 卷四 网络、存储、多集群与一致性边界

全书概览

项目内容
书稿《Kubernetes 分布式系统原理深入解析·共识与存储:Raft 与 etcd》
篇数45 篇(15 章 × 3 节)
领域分布式系统原理 × 真实组件(K8s 控制面 / etcd / Raft)
实验工程k8s-etcd-lab,纯 Go,go build ./... && go test ./...,46 用例全过
上级专题书稿专题

全书目录

前置

节文章
—目录与学习路径

第 1 章 K8s 与分布式系统基础

节文章
1.11.1 K8s 为何是分布式系统最佳教材
1.21.2 分布式系统的目标与挑战
1.31.3 本书路线图与 lab 结构

第 2 章 CAP 与一致性模型

节文章
2.12.1 CAP 定理的精确表述与误区
2.22.2 一致性模型谱系:线性、顺序、因果与最终
2.32.3 一致性模型的工程代价

第 3 章 时钟与顺序

节文章
3.13.1 物理时钟、NTP 与墙钟漂移
3.23.2 逻辑时钟:Lamport 与向量时钟
3.33.3 混合逻辑时钟与 K8s/etcd 的 timestamp 语义

第 4 章 共识:从 FLP 到 Raft

节文章
4.14.1 共识的定义与 FLP 不可能性
4.24.2 Paxos 简述与 Raft 的动机
4.34.3 Raft 集群结构:角色、任期、quorum 与日志

第 5 章 选举

节文章
5.15.1 选举协议:RequestVote、随机超时与任期递增
5.25.2 选举限制:日志新旧比较
5.35.3 异常场景:分裂投票、pre-vote 与 CheckQuorum

第 6 章 日志复制

节文章
6.16.1 AppendEntries 与心跳
6.26.2 日志匹配性质与不一致修复
6.36.3 提交与 apply:commitIndex、matchIndex 与状态机应用

第 7 章 安全性与日志匹配

节文章
7.17.1 选举安全性:日志新旧比较保证候选人完整性
7.27.2 Leader 完整性:日志永不回退
7.37.3 状态机安全与任期开始强制复制

第 8 章 成员变更

节文章
8.18.1 成员变更的难题:为何不能直接改配置
8.28.2 联合共识:两阶段成员变更
8.38.3 单步变更与 etcd learner

第 9 章 快照与日志压缩

节文章
9.19.1 日志无限增长的代价
9.29.2 InstallSnapshot 协议与生成时机
9.39.3 etcd 压缩策略、碎片整理与 defrag

第 10 章 读一致性:ReadIndex 与 Lease Read

节文章
10.110.1 为什么读也需要共识
10.210.2 ReadIndex 与 Lease Read
10.310.3 etcd 各读模式对比与工程取舍

第 11 章 etcd 内部架构

节文章
11.111.1 etcd 进程结构:gRPC、rafthttp、storage 与 backend
11.211.2 写入路径:Put→commit→apply→落盘
11.311.3 etcd 与 K8s 数据模型映射

第 12 章 mvcc 与事务

节文章
12.112.1 多版本并发控制:revision 与版本树
12.212.2 乐观并发:CAS、Txn 与 fencing token
12.312.3 resourceVersion 背后的 mvcc

第 13 章 watch 与事件流

节文章
13.113.1 watch 协议:版本区间、事件、backlog 与 compact
13.213.2 大集群 watch 扇出与限流
13.313.3 断连续读与一致性书签

第 14 章 quorum 与容错

节文章
14.114.1 多数派与 2f+1 容忍度
14.214.2 网络分区与脑裂防护:大多数方仲裁
14.314.3 磁盘故障、fsync 延时与稳定性边界

第 15 章 etcd 运维与一致性代价

节文章
15.115.1 快照备份、恢复与演练
15.215.2 性能瓶颈:fsync、RTT、WAL 与批量提交
15.315.3 一致性 vs 性能的权衡全景

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python
books

《Kubernetes 分布式系统原理深入解析·共识与存储:Raft 与 etcd》目录与学习路径

《Kubernetes 分布式系统原理深入解析·共识与存储:Raft 与 etcd》的目录与学习路径:45 篇逐节索引、三条阅读路线、十五章依赖关系,以及本卷与站内《后端架构设计》《MMO 服务器开发》《游戏服务端架构》的分工边界;每节配一个可运行的 Go 最小验证,正文以 K8s 控制面与 etcd 为对象讲解分布式系统原理。

6 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》14.2 网络分区与脑裂防护:大多数方仲裁

脑裂时两侧都想当主,Raft 不事后检测,而是让提交必须多数派确认:分区后多数派继续选主提交,少数派 commit 停滞在分区前边界,无法双提交。lab 用 TestNetworkPartitionMajorityArbitration 验证 5 节点分区仲裁,用 TestPreVoteQuarantine 验证 pre-vote 防止被分区节点扰乱主集群。

12 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》13.3 断连续读与一致性书签

watch 断连是常态不是异常:网络抖动、成员切换、限流取消都会中断事件流。客户端记录最后一个事件的 revision,从 rev+1 重新 List+watch 即不丢不重;progress notify 让服务端周期性返回已确认的 revision,作为一致性书签判断服务端进度。lab 验证书签点与从书签重连只收到新事件。

12 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》13.2 大集群 watch 扇出与限流

一次写只产生一个事件,却被广播给所有覆盖该范围的 watcher,各自独立消费同一内容;慢消费者不拉取导致积压,超过上限就被取消,宁可让客户端重连也不让单个 watcher 拖垮成员。apiserver 的 watch cache 把大量客户端 watch 聚合到一条 etcd watch 再扇出。lab 验证扇出广播与慢消费者取消。

15 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》13.1 watch 协议:版本区间、事件、backlog 与 compact

watch 是 List 之后持续获得增量的通道:客户端以起始 revision 与 key 范围订阅,服务端回放该点之后的事件并转入实时,事件各带全局 revision 且永不重复;起始 revision 早于压缩点时 watch 失败需重建。lab 验证历史回放、PUT/DELETE 事件序列与 compact 断流。

12 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》11.2 写入路径:Put→commit→apply→落盘

一次 etcdctl put 经 gRPC 到提案、WAL fsync、raft 多数派确认、commitIndex 推进、apply 落 backend 七步完成,WAL 的 fsync 是写路径核心延迟,批量提交摊薄其成本。lab 用 TestAppendEntriesReplicatesLog 验证日志复制到全部节点,用 TestLeaseGrantAndRemainingDecay 验证挂租约 key 的 TTL 递减。

9 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》11.1 etcd 进程结构:gRPC、rafthttp、storage 与 backend

etcd 单进程由 gRPC 服务层、raft 共识层(raft 库 + rafthttp)、storage 层(WAL + snapshot)与 backend 层(btree + bolt 的 mvcc)四层构成,写请求经提案、WAL、复制、apply 一路落到 backend。lab 用 raft/sim.go 事件驱动 Step 模拟共识层与传输,store、lease、watcher 包对应 backend 之上的 mvcc、租约与事件流,全量 46 用例通过。

11 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》10.3 etcd 各读模式对比与工程取舍

etcd v3 提供串行化读与线性一致读两种模式,差别只在读前是否走一次 ReadIndex 确认。本节给出客户端指定方式、延迟/吞吐对比与适用场景,分析 apiserver 直连 etcd 读为线性一致、watch cache 快照为弱一致,并给出 K8s 各读点的一致性选择框架。lab 用 TestLinearizableReadIndex 与第 2 章 TestEventualStaleReadWindow 对照两种读模式的行为。

9 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》10.2 ReadIndex 与 Lease Read

ReadIndex 用四步把线性一致读变成「commitIndex 边界 + 一次多数派确认」,不写日志;Lease Read 再用时钟租约省掉那次确认,但引入时钟漂移风险。本节对比二者与完整共识读的代价,说明 etcd 默认 Range 走线性一致读、串行化读是显式选项。lab 用 TestLinearizableReadIndex 验证 sim.go 以 commitIndex 作为读边界返回。

11 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》10.1 为什么读也需要共识

只写走共识、读直接本机读在 Raft 集群里不可行:复制异步使 follower 滞后,分区旧 Leader 会继续用过期状态响应读。本节分析 stale read 在 K8s 的实际危害,对比完整共识读、ReadIndex、Lease Read 三档方案,说明完整共识读的写放大与日志爆炸代价,并衔接第 2 章线性一致定义。lab 用 TestLinearizableReadIndex 验证 Leader 以 commitIndex 返回线性一致读边界、未提交日志不参与读。

12 分钟阅读
书稿 Kubernetes 分布式系统
books

《Kubernetes 分布式系统原理深入解析》9.3 etcd 压缩策略、碎片整理与 defrag

etcd 的压缩是三层递进的:Raft 日志压缩(snapshot)只管协议层的日志,mvcc 历史版本压缩(auto-compaction,按 period 或 revision)管键值的历史版本,而存储碎片整理(defrag)才是真正把磁盘空间还给文件系统的一步。本节先讲清楚这三层的边界与默认值(--snapshot-count=100000、--auto-compaction-mode 与 --auto-compaction-retention、--quota-backend-bytes 默认 2GB),再解释为什么 mvcc 压缩后空间未必立即释放——bolt 数据库的碎片;然后给出 etcdctl defrag 与在线 defrag 的用法与代价。K8s 运维实践部分覆盖常见的 8h 保留配置、磁盘告警与逐台 defrag。最后梳理两类压缩故障:mvcc 压缩过快丢 watch 历史(ErrCompacted),以及 defrag 期间的性能下降,并预告 12 章 mvcc 的深入衔接。lab 用 snapshot.go 的 Compact 与 Install、以及 TestSnapshotCompaction 与 TestInstallSnapshot 联合验证「日志压缩→快照」与「落后节点从快照恢复」两个方向。

12 分钟阅读
书稿 Kubernetes 分布式系统