《Kubernetes 分布式系统原理深入解析》9.2 InstallSnapshot 协议与生成时机

日志压缩之后留下一个缺口:Leader 的日志起点往前移了,落后的 follower 再按日志逐条追就追不上了——于是 Raft 引入 InstallSnapshot RPC,直接把快照发给落后节点。本节先讲清楚快照的生成时机(日志超过 snapshot-count 阈值、或 follower 的 nextIndex 落在 Leader 已丢弃的日志段),再逐个解释 InstallSnapshot 的字段(term、leaderId、LastIncludedIndex、LastIncludedTerm、Data),然后走一遍接收方的本地处理:丢弃旧日志、安装状态机、把 commit/apply 推进到快照位置。接着说明快照与日志匹配性质的衔接——LastIncludedTerm 让选举判断依然正确。最后落到 etcd 的 snapshotter 包、--snapshot-count 与备份/恢复的关系。lab 用 snapshot.go 的 Install 与 TestInstallSnapshot 验证落后节点安装快照后状态机直接对齐、不需要重放日志。

9.2 InstallSnapshot 协议与生成时机

9.1 节说清了日志为什么必须压缩,也给出了压缩的原子操作:在 applyIndex 处生成快照,丢弃之前的日志。但压缩立刻制造了一个新的问题——Leader 的日志起点往前移了,而落后 follower 还停在旧位置。follower 落后太多时,Leader 想用 AppendEntries 逐条补,可它要补的条目 Leader 自己已经扔掉了。日志复制这条路走不通,就得换一条路:直接发送快照。

这一节讲 Raft 的 InstallSnapshot 协议:什么时候发、包体里有什么、接收方怎么处理,以及快照如何保持日志匹配性质与选举判断的正确性。最后落到 etcd 的实现、备份恢复的关系,以及一个完整的落后节点恢复时序。

逐条追赶为什么会失败:nextIndex 越过日志起点

先精确描述「追不上」是怎么发生的。Leader 为每个 follower 维护一个 nextIndex,指向下一条要发给该 follower 的日志下标。正常情况下,Leader 每次 AppendEntries 从 nextIndex 开始打包日志,follower 按 prevLogIndex/prevLogTerm 做一致性检查后接收。

当 Leader 压缩日志后,它的日志从 snapshotIndex 之后开始——下标 ≤ snapshotIndex 的条目已经进了快照、被丢弃。这时如果一个 follower 的 nextIndex ≤ snapshotIndex,Leader 就会陷入两难:

  1. 按 nextIndex 打包日志?该下标处的条目已经不在 Leader 日志里,打包不出来;
  2. 从 snapshotIndex+1 开始发?follower 的一致性检查要求 prevLogIndex 处 term 匹配,而 prevIndex = nextIndex - 1 处的日志 follower 有、Leader 没有,两边对不上。

无论怎么构造 AppendEntries,这条路都走不通。此时 Leader 放弃日志复制,改用 InstallSnapshot RPC 把整份快照直接推过去——快照本身携带了覆盖到的日志位置,接收方不需要 prevLogIndex 的匹配检查。

生成快照 vs 发送快照:两个时机

先区分两个容易混的概念:生成快照和发送快照是两件事。

生成快照是 9.1 节的机制:已应用条目数超过 --snapshot-count(默认 100000)时,etcd 生成一份快照并截断日志。这是所有节点都会做的本地动作——Leader 和 follower 都可以在满足条件时各自生成快照,不需要通知别人。

发送快照则是 Leader 对某个落后 follower 的一对一动作:该 follower 的 nextIndex 已经落在 Leader 丢弃日志的区域(nextIndex ≤ snapshotIndex),或需要补的日志太多。此时 Leader 触发 InstallSnapshot RPC,把 Leader 本地(或最近)的快照发给这个 follower。生成是周期性的本地动作,发送是针对性的网络动作。

落后多少算太多:snapshot-catchup-entries

除了「nextIndex 越过日志起点」这种必须发快照的情况,etcd 还有一条主动降级的阈值:--snapshot-catchup-entries,默认 5000。当 Leader 发现某个 follower 需要补的日志条数超过 5000 时,不再逐条补,而是直接发快照。

这个阈值是工程权衡:补 5000 条以内的日志,网络与 CPU 开销通常小于传一份快照;超过之后,逐条补的轮次、消息量、fsync 次数都开始超过快照的成本。在 Raft 状态机里,这个决策对应 etcd raft 层的 Progress 状态迁移:当 follower 的 nextIndex 落后到快照覆盖范围,其进度状态从 replicate 切换到 snapshot,Leader 停止发送 AppendEntries、开始发送 InstallSnapshot。

follower 也自己生成快照

生成快照不是 Leader 的专利。etcd 里每个节点(包括 follower)都会在本地已应用条目数超过 --snapshot-count 时生成自己的快照。这样做的意义有三点:

  • follower 重启时可以直接加载自己的最近一份 member/snap/db,再重放少量 WAL 就能恢复,不必每次都等 Leader 发快照;
  • 本地日志保持有界,内存与磁盘不会无限膨胀——这是 9.1 节「内存缓存」代价在 follower 侧的对应物;
  • 如果 follower 落后得不算多(nextIndex 仍在 Leader 保留日志范围内),它可以靠自己的快照 + AppendEntries 补齐,完全不需要触发 InstallSnapshot。

所以一个健康的 etcd 成员平时维护着自己的一份快照链;InstallSnapshot 只在「本地快照也不够新、落后太深」时才会触发。这也解释了为什么新加入的成员最容易触发快照传输——它本地什么都没有,Leader 的唯一选择就是直接发快照。

InstallSnapshot RPC 的字段

Raft 论文里 InstallSnapshot RPC 的核心字段,etcd 的实现(raftpb.SnapshotRequest)基本一一对应:

字段含义
termLeader 的当前任期;接收方用它做任期对齐
leaderId发送方标识,接收方用于重定向客户端请求
lastIncludedIndex快照包含到的最后一条日志的下标
lastIncludedTerm该下标处日志的任期
data快照数据——etcd 里是 mvcc 后端库的一致拷贝

lastIncludedIndex 与 lastIncludedTerm 是最关键的两个字段:它们声明了「这份快照覆盖到日志的哪个位置」,接收方据此决定保留哪些本地日志、commit 与 apply 推进到哪。data 字段在 etcd 里通常是一份几百 MB 的库拷贝,是这五个字段里体积最大、传输成本最高的部分。

接收方四步处理:任期、清日志、装状态机、推进度

接收方处理 InstallSnapshot 的流程分四步,lab 的 Install(s) 和 sim.go 的 MsgInstallSnapshot 都实现了同一套语义:

  1. 任期检查:如果请求的 term 更大,把本地任期对齐、角色重置为 Follower,并重置选举超时——这与 AppendEntries 的任期处理一致;
  2. 丢弃旧日志:lastIncludedIndex 之前的日志全部删除(已被快照覆盖),只可能保留快照之后的本地日志;
  3. 安装状态机:把 data 反序列化,替换本地状态机(或与已有状态机合并);
  4. 推进进度:CommitIndex 与 ApplyIndex 至少推进到 lastIncludedIndex,然后向 Leader 返回成功,Leader 据此把该 follower 的 matchIndex 更新到快照位置。

第 4 步的关键点:接收方不需要重放快照覆盖的那段日志,commit 和 apply 直接从快照位置继续。这正是「落后节点从快照恢复」比「逐条追日志」快的原因——省掉几万到几百万条日志的解码与逐条应用。

快照只覆盖一部分的情况:合并分支

接收方的日志不一定是空的。如果本地日志比快照新(快照只覆盖了日志的前缀),就不能整块替换。lab 的 Install(s) 精确实现了分支:

  • 快照覆盖到本地末尾或更新(s.LastIncludedIndex >= n.lastLogIndex()):整体覆盖状态机,CommitIndex 与 ApplyIndex 都设为 LastIncludedIndex,清空日志——这是最典型的新节点或深落后场景;
  • 快照只覆盖前缀:把快照里的键合并进状态机,commit/apply 推进到快照位置,保留更近的日志段继续走 AppendEntries。

第二种情况在 etcd 里对应「快照 + 后续 WAL 重放」的组合路径:节点加载快照,再重放快照之后的 WAL 条目。因为快照的 LastIncludedIndex 之后的日志接收方可能已经有一部分,合并比整体覆盖更经济。

快照后的首次 AppendEntries:衔接点

快照安装成功后,Leader 与 follower 之间恢复正常日志复制的第一轮 AppendEntries 是一个容易被忽略的衔接点。此时 Leader 把该 follower 的 nextIndex 设为 snapshotIndex + 1,即快照之后的第一条:

  • prevLogIndex = snapshotIndex,也就是快照的 LastIncludedIndex;
  • prevLogTerm = snapshot.LastIncludedTerm,也就是快照记录的 term。

follower 安装快照后,它对自己的日志认知是「起点在 LastIncludedIndex,起点处 term 为 LastIncludedTerm」,因此这一轮一致性检查必然通过。这正是快照必须携带 LastIncludedTerm 的第二个作用:它不仅服务于选举的新旧比较,还服务于 AppendEntries 的一致性检查——prevIndex 处的 term 对不上,日志复制就接不回去。快照把「断裂的日志」重新焊成了一个连续的整体。

至此,「压缩 → 发快照 → 装快照 → 恢复复制」整个循环是闭环的:每个环节都有对应的协议字段与本地处理,没有一个环节依赖「运气」。

快照与日志匹配、选举判断的衔接

9.1 节结尾埋的伏笔在这里讲完整。Raft 的日志匹配性质(log matching property)要求:如果两条日志在同一下标处有相同的 term,那么它们之前的所有日志都一致。快照取代了一段日志后,节点之间比较日志时遇到「下标 ≤ LastIncludedIndex」的情况,只能用快照的 (LastIncludedIndex, LastIncludedTerm) 作为该位置的信息。

5.2 节的选举限制比较的是「最后一条日志的 (term, index)」。对已装快照的节点来说,快照的 (LastIncludedTerm, LastIncludedIndex) 就是它日志的「虚拟终点」。两个节点只要快照的 lastIncludedTerm 一致、后续日志匹配,它们的完整状态就一致。所以:

  • 投票者用「快照终点 + 日志末尾」合成的新旧比较,仍保证当选 Leader 包含所有已提交条目;
  • 快照参与了日志匹配,但没有破坏它——快照的 LastIncludedIndex 就是它的「日志起点」,快照的 LastIncludedTerm 就是该起点的 term。

这就是为什么压缩点必须记录 term:如果快照只记 index 不记 term,选举判断就无法回答「快照起点处的 term 是什么」,日志新旧比较在跨快照的节点之间会失灵。换句话说,快照不是日志的旁路,而是日志的一个更紧凑的前缀——它记录「覆盖到哪、从哪继续」,协议就能无缝接上。

etcd 的 snapshotter:快照文件与配置

etcd 的 Raft 层之上有一个 snapshotter 组件,职责是序列化/反序列化快照并管理快照文件。它的落盘格式把 Raft 快照元信息与 mvcc 后端库打包成一份快照文件,存放在 member/snap/。相关的三个配置在 9.1 节已经出现过:

  • --snapshot-count(默认 100000):生成快照的频率;
  • --snapshot-catchup-entries(默认 5000):落后多少直接发快照;
  • --max-snapshots(默认 5):保留几份旧快照。

发送侧还有一层实用优化:Leader 不一定非要生成一份全新快照来发送,如果已有快照足够新、能覆盖 follower 的 nextIndex,直接复用最近一份 member/snap/db 即可。这样发送快照不会打断 Leader 自己的压缩节奏。

与备份/恢复的关系

运维上要区分两个都叫「快照」的概念:

  • Raft 快照 / InstallSnapshot:运行期协议的一部分,保证集群成员之间能对齐状态,文件在 member/snap/,随运行自动生成和清理,生命周期完全受 Raft 控制;
  • etcd 备份快照:etcdctl snapshot save(新版本为 etcdutl snapshot save)导出的整个库的恢复备份,文件由运维手动保存到集群之外,用于灾难恢复。

两者的共同点是都基于 member/snap/db 这个一致的库拷贝:Raft 快照在集群内流动,备份快照被搬运到异地。理解 InstallSnapshot 之后再看 etcd 的备份恢复会容易很多——etcdutl snapshot restore 本质上就是「在空目录里构造一份快照状态并补齐后续日志」,与接收方安装 InstallSnapshot 的语义同源。

一个完整的落后节点恢复时序

把整节的机制拼成一个完整场景。假设 3 节点 etcd 中成员 C 离线 30 分钟,期间 Leader A 持续压缩、日志起点不断前移:

时刻事件
T0C 网络恢复,重新加入集群,请求成为 follower
T1Leader A 的 nextIndex[C] 已落在快照覆盖区(C 离线的 30 分钟日志早已被压缩丢弃)
T2A 无法用 AppendEntries 补日志,改为发送 InstallSnapshot(--snapshot-catchup-entries 也超了)
T3C 收到快照:任期对齐、丢弃旧日志、安装状态机(库拷贝)、commit/apply 推进到 lastIncludedIndex
T4C 返回成功,A 把 matchIndex[C] 更新到快照位置,恢复 AppendEntries 复制快照之后的新日志
T5C 与 A 日志重新对齐,恢复正常复制

其中 T3 是快照恢复的核心:C 不需要重放 C 离线期间产生的几十万条日志,直接加载快照状态,恢复时间从「逐条追赶的分钟级」降到「传一份快照 + 装库的秒级到十秒级」。这正是 9.1 节「一次成员重启的完整时间账本」的跨节点版本。

这个时序还有一个值得注意的细节:T1–T4 期间,Leader 对其他正常 follower 的 AppendEntries 复制不受影响——InstallSnapshot 是点对点的,快照传输只占用发送给 C 的那一路带宽,B 的复制照常进行。集群的多数派仍由 A、B 构成,写请求在 C 恢复期间完全不停摆。所以「落后节点走快照恢复」与「集群整体可用性」是两个正交的维度,快照协议的并发性保证了前者不会拖累后者。

快照传输中断与重试

InstallSnapshot 的 data 可能是一份几百 MB 的库拷贝,网络传输比普通 AppendEntries 更容易中断。协议对失败的处理原则是全有或全无:

  • 接收方在收到完整快照之前,不改变任何状态机与日志——半份快照不落盘,中途失败直接丢弃;
  • 传输中断后,接收方返回失败(或干脆不返回),Leader 保留该 follower 的 snapshot 进度状态,下一轮心跳后重新发送;
  • 重试期间,Leader 不会倒退到逐条追日志(那样更慢),除非快照又更新了一轮、直接发更新的快照。

生产里真正要防的是快照传输反复失败导致的「永远追不上」:一个网络不稳、长时间落后的 follower 会让 Leader 反复发几百 MB 的快照,占用带宽、拖慢其他正常 follower 的复制。运维侧应关注 etcd_server_snapshot_send_total 与进度停滞的成员,必要时直接重建该成员——在 etcd 里移除旧成员、加入一个新成员,比死磕追赶更省事。一个简单的判断标准:如果某个成员反复触发快照传输,问题通常不在快照本身,而在它持续落后的原因——网络、磁盘或 WAL 损坏。

本节 lab

本节验证「落后节点从快照直接恢复」:安装快照后状态机直接对齐、不需要重放日志。代码在 private/labs/k8s-etcd-lab/raft/snapshot.go 的 Install,测试在 replication_test.go 的 TestInstallSnapshot:

cd private/labs/k8s-etcd-lab
go test ./raft -run TestInstallSnapshot -v

TestInstallSnapshot 的验证路径分四步:先让 3 节点集群提交 3 条命令并全部 apply;随后 Leader 调用 Compact(l.ApplyIndex) 生成快照;然后新建一个空日志节点 laggard := NewNode(9),直接调用 laggard.Install(snap)(代表收到 InstallSnapshot RPC 后的本地处理);最后断言三点:

  1. laggard.StateMachine["set:b=2"] 存在——落后节点装上快照后,状态机直接对齐到快照内容,无需逐条重放 3 条命令;
  2. laggard.CommitIndex 等于 l.ApplyIndex——commit 与 apply 一次性推进到快照的 LastIncludedIndex,与 Leader 的已应用位置一致;
  3. 安装后 laggard 的日志被清空——快照覆盖了全部命令,后续复制从快照之后开始。

配合 sim.go 里 MsgInstallSnapshot 的处理可以看到同一语义的协议版:把状态机整体替换、CommitIndex 与 ApplyIndex 设为 LastIncludedIndex、清空日志。运行 go test ./raft -run TestInstallSnapshot -v 通过即表示「落后节点安装快照后直接对齐、无需重放」的路径正确。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图