12.1 多版本并发控制:revision 与版本树
11.3 节把 K8s 对象与 etcd 键空间的映射讲清楚了:/registry/ 前缀加上资源路径与名称构成 etcd key,对象的完整序列化内容落在这个键上。本节进入存储内部,看这个键在 mvcc(Multi-Version Concurrency Control,多版本并发控制)里如何保存多个历史版本。理解 revision 与版本树,是理解 12.2 乐观锁、12.3 resourceVersion 与第 9.3 节压缩点语义的共同基础。
第 12 章接下来三节是一个整体:12.1 建立「一个键多个版本」的模型,12.2 在版本号上做乐观并发控制,12.3 把版本号翻译成 K8s 表面可见的 resourceVersion。如果只记住一句话,就是:etcd 不是一个「存当前值」的 KV,而是一个「存每次写的历史」的版本化存储,所有高级语义(事务、watch、resourceVersion)都从「版本」二字派生。
全局单调递增的主 revision
etcd 的 mvcc 用一个全局主 revision 作为全库唯一的「写序号」:每一次写操作(Put 或 Delete)都让这个计数 +1,所有 key 共享同一把计数,而不是每个 key 一把。
lab 的 MVCCStore 里 revision 字段就是这个计数。看它的递增轨迹:
| 操作 | key | 结果 revision | 说明 |
|---|---|---|---|
Put("a", "1") | a | 1 | 第一次写 |
Put("b", "2") | b | 2 | 跨 key 继续 +1 |
Put("a", "2") | a | 3 | 更新已有 key 仍 +1 |
同一个 key a 被写两次,revision 从 1 跳到 3;中间的第 2 号被 key b 占用。这正是「全局共享」的含义:revision 是全库的写序号,不是某个 key 自己的计数器。
为什么要全局而不按 key 分别计数?因为 mvcc 需要一份全序。watch 的增量事件、带 resourceVersion 的 List 快照、事务的 If 比较,都需要在「任意两个写之间」确定先后——只有全局单调计数能提供这种跨 key 全序。第 2 章 consistency 包讨论的线性一致顺序,落到底层就是这份 revision 全序。
注意 revision 与 Raft 的区分:revision 是 mvcc 层的版本号,Raft 日志的下标是 applyIndex,两者由 etcd 在 apply 时一一对齐。第 9.3 节末尾预告过这个对应关系,本节从存储模型侧把它坐实——每次成功提交的写,都会对应推进一次主 revision。
推进发生在 etcd 的 apply 路径上,不是请求入口:Leader 收到写请求后先把日志广播到多数派,提交后再由 apply 协程把日志条目落进 mvcc,同时推进 revision。所以 revision 是「已提交且已 apply」的写序号,与 Raft 的 committed/apply 边界一致。并发写被合并进同一个批次 apply 时,它们的 revision 会连续——这是观察 etcd_server_apply_duration 等指标时常见的「一次 apply 连续推进多个 revision」现象的来源。
还有两个方向要记牢:只有写推进 revision,读永远不推进;Delete 同样推进。读请求无论多少次、从哪个成员读,都不改变主 revision——否则「读」也会变成写路径,破坏读的可扩展性。Delete 推进的原因在「墓碑」小节展开,但计数层面先记住:Put 与 Delete 对 revision 一视同仁,都是 +1。
另一个容易混淆的点是 revision 的起点:lab 的存储从 0 开始,第一次写得到 rev1;真实 etcd 集群的 revision 从建库以来的累计写序号继续,重启不归零,因此不同集群的 revision 绝对大小没有可比性——判断新旧永远用「同一份数据里比较」,而不是两个集群的数字互比。
每个 key 的版本链与读取规则
mvcc 里每个 key 拥有一条按 mod_revision 升序排列的版本链。lab 的 versions map[string][]Version 直接对应真实 etcd 的 keyIndex 结构:btree 上按 key 索引、内部再挂 generation(代)与 revs(revision 列表)。
一次连续写 k 的三个版本,版本链的变化:
| 操作 | revision | 版本链(升序) |
|---|---|---|
Put("k", "v1") | 1 | [v1@1] |
Put("k", "v2") | 2 | [v1@1, v2@2] |
Put("k", "v3") | 3 | [v1@1, v2@2, v3@3] |
版本链上有两种读,lab 分别用 Get 与 GetAtRev 实现:
- 读最新:取链尾最后一个版本。
Get("k")返回v3@3。 - 读历史:
GetAtRev("k", 2)从链尾向前找mod_revision ≤ 2的第一个版本,返回v2@2。
关键在「向前回溯」而不是「精确命中」:GetAtRev(k, 2) 不需要恰好存在一个 revision=2 的写,它找的是「≤ 2 里最近的一次」。这层语义让历史读天然支持「读某个点之前的快照」——哪怕目标点之间隔着其他 key 的写,revision 号依然连续,读法不变。
真实 etcd 的 keyIndex 还维护 generation(代):从 key 首次创建到删除(墓碑)是一个代,删除后再次创建开始新一代。每代内部是一段连续的 revs。这个结构的意义在于区分「同名 key 的历史被删除后的再创建」——/registry/pods/default/foo 被删除后又重建,两个生命周期的版本并不混在同一个连续区间里,而代就是这段区间的边界。lab 的简化实现用单个切片容纳所有代,读取逻辑不受影响。
版本链还有一个边界情况要在实现时留意:GetAtRev(key, rev) 向前回溯时,如果 key 在 rev 之前根本不存在,返回 ok=false。这对应「历史读看到的是不存在」,与「存在但该点恰好是墓碑」一样,都是合法的历史状态——两者在增量回放上语义不同,前者需要生成 Create 事件、后者需要生成 Delete 事件。
版本链增长的代价是空间:K8s 里同一个对象被 status 更新几十次,链上就挂几十个版本,直到压缩才回收。这是第 9.3 节「revision 堆积」的微观原因——对象变更次数决定 revision 数量,而不是键的当前数量。
看一个混合读场景,体会「全局 revision 快照」与「每 key 版本链」如何协作。假设库内依次发生四次写:
| 写序号 | 操作 | 版本链变化 | 当前 Get |
|---|---|---|---|
| 1 | Put("cfg", "v1") | cfg: [v1@1] | cfg=v1 |
| 2 | Put("pod", "p1") | pod: [p1@2] | pod=p1 |
| 3 | Put("cfg", "v2") | cfg: [v1@1, v2@3] | cfg=v2 |
| 4 | Delete("pod") | pod: [p1@2, ✝@4] | pod 不存在 |
此时 GetAtRev("cfg", 3) 返回 v2@3、GetAtRev("pod", 3) 返回 p1@2——两个 key 各自回溯到「≤ 3 的最近版本」,拼起来正是 revision 3 这个时刻的全库快照。这就是「版本树」这个名字的由来:全局 revision 是一条时间轴,每个 key 的版本链是挂在这条时间轴上的纵向结构,历史读就是把时间轴拨到某个点,再逐 key 取该点状态。
删除与墓碑
Delete 不是「物理抹掉」,而是向版本链追加一个带 Deleted 标记的版本(墓碑,tombstone)。lab 的 Version.Deleted 即此标记;真实 etcd 中删除同样只追加墓碑并推进 revision,数据要等压缩才真正回收。
删除后的可见性规则:
- 当前读(
Get):链尾是墓碑 → key 视为不存在; - 历史读(
GetAtRev):回溯到墓碑之前的版本 → 删除前的值仍可见。
以 TestMVCCDeleteMarksTombstone 的操作序列为例:
| 操作 | revision | 链 | Get | GetAtRev(1) |
|---|---|---|---|---|
Put("k", "v1") | 1 | [v1@1] | v1 | v1 |
Delete("k") | 2 | [v1@1, ✝@2] | 不存在 | v1 |
为什么要保留墓碑而不直接删除?因为删除本身是一个「事件」,watch 与 List 增量依赖它在历史里可见。一个「创建→删除」的 key,如果不留墓碑,增量视角下它就凭空消失了——watch 客户端既收不到创建也收不到删除,状态就对不上。墓碑让「在 revision 2 这个键被删了」成为可回放的事实,第 13 章的 watch 事件流就是消费这些墓碑与写版本的。
墓碑的来源不止显式 Delete 一种。etcd 里带租约的 key 到期(TTL 耗尽)时也会被删除——第 11.2 节讲过租约过期自动清理关联 key。清理动作同样走 mvcc 的删除路径,追加墓碑并推进 revision。K8s 的事件对象、部分临时资源就靠这种机制回收,它们的历史同样保留到压缩为止。
墓碑与压缩还有一个微妙的相互作用:压缩点低于墓碑时,墓碑连同更早的版本一起被删,这个 key 从存储中完全消失。此后 watch 从更早的 revision 订阅时会直接得到 ErrCompacted,而不是「看到了一个已删除的 key」——这正是第 9.3 节强调「压缩点不能低于 watch 存活窗口」的原因。
墓碑还让「删除后重建」的两个生命周期可区分:同一 key 先 v1 后 ✝2 再 v3,版本链是 [v1@1, ✝@2, v3@3]。watch 客户端从 rev1 订阅会依次收到修改、删除、创建三个事件,状态机最终收敛到 v3;若没有墓碑,rev1 与 rev3 之间就只剩「从 v1 跳到 v3」,删除事件丢失,依赖该事件的清理逻辑会漏执行。K8s 中这类依赖很常见——例如删除 ConfigMap 触发的挂载回收、删除 Pod 触发的终端事件,都要靠删除事件驱动。
历史读的三个典型用途
历史读不是一个学术概念,它支撑着 K8s 的三类实际请求:
- 带 resourceVersion 的 List:客户端指定一个 revision,etcd 从该点之前的快照读取,而不是从当前状态读取。这在 12.3 会展开。
- watch 起始点:watch 必须从「某个已提交 revision」开始,而不是从当前状态开始——否则刚发生的写入事件会丢失。历史读保证 watch 能从任意合法 revision 接上事件流。
- 事务的 If 比较:读到的 mod_revision 作为乐观锁的校验依据,冲突时整个事务跳过。这正是 12.2 的主题。
三类用途共享同一个底层能力:mvcc 保留了每个 key 的完整历史,任何历史点都可查询。
以 K8s 的实际请求为例把三个用途落到具体场景:
- List 快照:
kubectl get pods --resource-version=12345在语义上是从 etcd 的 revision 12345 读取全量 Pod 快照。这种请求的价值在于「读到一个确定时刻的状态」,而不是「当前状态」,适合校验、续页、审计。 - watch 起始:informer 首次同步通常先 List 拿到一个当前 revision,再从该 revision 建立 watch。如果 watch 不是从「已存在的事件流位置」而是从「当前」开始,List 与 watch 之间发生的写就会丢失,造成状态空洞。
- 乐观锁比较:控制器读到对象的 resourceVersion 后修改它,Update 时把该版本号带回,etcd 用 mod_revision 比较——不一致则 409。这个比较读的就是「版本链当前的最新版本号」,是历史读在写路径上的镜像。
这三处都是只读视角,但它们在 K8s 控制面中分别对应读、订阅、写三个高频路径,共同说明一件事:revision 不只是给存储自己用的,它被序列化进了 API 表面。
历史读也不是免费的。每保留一个版本就要占一份存储:K8s 集群里同一对象的 status 更新可能产生几十个版本,Event 爆发时上千个事件 key 各自带版本,加上 ConfigMap 轮转这类「只增不删」的写模式,revision 总量远大于键数量。这正是第 9.3 节说的「revision 增长由对象变更事件决定」,也是为什么压缩不是可选项——不压缩,历史读确实还能工作,但空间和时间都会失控。
实现上还有一个并发细节:lab 的 MVCCStore 用一把互斥锁保护 revision 与 versions,保证「推进 revision」与「挂版本」是同一个临界区。真实 etcd 的做法类似但更细——写路径在一个串行化的 apply 队列里推进 revision,读路径并发执行但不推进计数。无论如何,revision 的单调性都依赖「写必须串行取号」,这是它区别于时间戳的关键:时间戳可以乱序产生,取号则天然有序。
compaction 回收旧版本
版本链无限制增长会让存储失控,回收由压缩(compact)完成——这正是第 9.3 节说的第二层「mvcc 版本压缩」。lab 的 Compact(rev) 丢弃所有 mod_revision ≤ rev 的版本,并把压缩边界 compactedTo 推到 rev。
压缩的后果:
- 版本链缩短,最新版本保留;若某 key 的全部版本都被压掉,该 key 从存储中消失;
- 读一个已被压缩的 revision(
rev ≤ compactedTo)返回ErrCompacted——客户端必须放弃该历史点; compactedTo只能前进不能后退,重复压缩是 no-op。
对 K8s 的直接含义:resourceVersion 一旦老于压缩点就再也读不到,客户端必须重新 List。第 9.3 节说「保留 8 小时的历史版本够覆盖 watch 重连窗口」,正是因为压缩点以下的 revision 读会失败。压缩的微观语义(哪几个版本被删、哪个 key 消失)由 12.3 的 lab 用 TestMVCCCompactRemovesOldVersions 与 TestMVCCCompactedRevisionRejected 验证。
lab 的 compactedTo 初始是 -1,表示「从未压缩」;一旦 Compact(rev) 执行,边界前移。举一个具体的删除结果:key a 有版本 a@1、a@2,key b 只有 b@3,Compact(2) 会删掉 a@1 与 a@2(2 个版本),a 的所有版本都被压掉所以 key 消失,b@3 保留。这个「被压 key 消失、未压 key 保留」的判定正是 12.3 里「旧 RV 读 410、新对象不受影响」的底层。
为什么压缩点只能前进?因为已删除的历史无法恢复,而 compactedTo 之前的 revision 在逻辑上已不可查询;允许后退会重新暴露一个「已被证明不可读」的版本,破坏一致性。etcd 用错误返回(重复压缩时收到 ErrCompacted 或 no-op)而不是静默接受来强制这一约束。
revision 的 {main, sub} 结构与真实 etcd
真实 etcd 的 revision 不是单个整数,而是 {main, sub} 二元组:main 是全局主 revision,sub 是同一个事务内多 key 写的子序号。为什么需要 sub?因为一个 Txn 可以同时写多个 key,它们共享同一个 main(同一次提交),但要保留先后顺序——sub 从 0 递增区分它们。
lab 的简化实现只保留 main(int64 revision),因为最小 mvcc 的每次写是单 key 的。但记住这个二元组能解释两个现象:一是 K8s 的 resourceVersion 序列化时主要取 main 的十进制数字;二是同一个 etcd 事务里先后写的两个对象,resourceVersion 可能相同——它们共享同一个 main。第 12.3 节会再回到这一点。
落到 bbolt 存储层,etcd 的后端 key 就编码成 <main>/<sub> 形式,例如 0000000000000005/1,值则是该版本的完整数据。索引层(btree 的 keyIndex)按 key 名字建链,链表节点指向这些 <main>/<sub> 后端条目;查询时先在索引层定位版本链,再按 revision 取后端数据。lab 把索引与数据合并成一个内存 map,省去了这一层跳转,但「版本链 → 按 revision 取数据」的语义是一致的。
这套结构与第 9.3 节的 defrag 也有关:压缩删除的版本在 bbolt 里只是标记为待回收的旧页,文件不会自动缩小——正是因为物理存储按页复用,而逻辑版本树已经不再引用它们。12.1 到 9.3 在这里闭环:版本树是逻辑视图,bbolt 是物理视图,压缩在两者之间搬运。
lab 里 Get 返回 (value, modRev, ok) 三元组,与真实 etcd 的返回对应:value 对应 ResponseHeader.revision 之后取到的键值,modRev 对应 mvcc 记录的 ModRevision,ok 对应 ErrKeyNotFound 的语义。真实 etcd 的响应头里还有 header.revision(读时主 revision),但单个键的 ModRevision 与全局 header revision 是两回事——前者是该键最后一次被写的序号,后者是本次读观察到的主 revision。K8s 对象上的 resourceVersion 取的是前者(对象自己的 mod_revision),这个细节在 12.3 会精确化。
本节 lab
本节用 store 包三个用例验证「revision 全局单调、历史读、墓碑可见性」三个方向。实现代码在 private/labs/k8s-etcd-lab/store/mvcc.go,测试在 store/mvcc_test.go(前三个用例即本节内容,store 包其余用例归 12.2/12.3):
cd private/labs/k8s-etcd-lab
go test ./store -run 'TestMVCCPutAssignsMonotonicRevision|TestMVCCReadHistoricalAtRevision|TestMVCCDeleteMarksTombstone' -v
预期断言:
TestMVCCPutAssignsMonotonicRevision:Put("a", "1")得 rev1,Put("b", "2")得 rev2,Put("a", "2")得 rev3——证明全局主 revision 跨 key 单调,更新已有 key 也推进计数;TestMVCCReadHistoricalAtRevision:连续写 v1@1、v2@2、v3@3,GetAtRev("k", 2)返回 v2@2,GetAtRev("k", 3)返回 v3——证明历史读是「≤ rev 的最近版本」;TestMVCCDeleteMarksTombstone:删除产生 rev2 墓碑后Get不可见,但GetAtRev("k", 1)仍返回 v1——证明墓碑不影响删除前的历史值。
三个用例分别对应本节的三个核心结论:主 revision 全局共享、版本链按 mod_revision 回溯、墓碑只挡当前读不挡历史读。
其中 TestMVCCReadHistoricalAtRevision 还验证了一个容易被忽略的边界:GetAtRev("k", 3) 在版本链恰好存在 v3 时返回 v3,与 GetAtRev("k", 2) 返回 v2 对称——说明历史读既支持「恰好在版本上」也支持「落在线性中间」。墓碑用例则把「Get 看不到、历史读看得到」这一对行为同时断言,避免只验证一半语义。运行 go test ./store -run 'TestMVCCPutAssignsMonotonicRevision|TestMVCCReadHistoricalAtRevision|TestMVCCDeleteMarksTombstone' -v 全部通过即满足 12.1 的存储语义。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。