《大规模分布式计算深入解析》5.3 快照、日志压缩与落后节点追赶

说明快照的状态机与 Raft 元数据、发布顺序及掉队节点的恢复路径。

生成和安装

快照保存某个已应用位置的状态、lastIncludedIndex、lastIncludedTerm 和生效配置。按宿主的崩溃一致性顺序持久化快照并可恢复验证,然后才压缩受覆盖的日志。应用状态与相应索引必须来自同一视图。有外部资源的状态机还要保存去重结果或其可恢复索引。

flowchart TD
    S["对已应用位置取得一致视图"] --> M["持久化状态、index、term、配置"]
    M --> C["快照可恢复后压缩旧日志"]
    C --> N{"follower 需要的位置还在日志中?"}
    N -- "在" --> A["发送 AppendEntries"]
    N -- "已压缩" --> I["发送 InstallSnapshot"]
    I --> V{"本地边界 index 和 term 都匹配?"}
    V -- "是" --> K["安装需要的状态,保留匹配后缀"]
    V -- "否" --> R["以快照作基线,丢弃冲突日志"]
    K --> A
    R --> A

leader 的 nextIndex 落在已压缩范围内时发快照。follower 若已拥有相同的边界 index/term,可按协议保留匹配的日志后缀,否则以快照作为基线并丢弃冲突日志。安装后消费新增日志,仍须区分持久化、提交和应用进度。

在 etcd 3.6.0 实验中,隔离旧 leader 后推进 35 笔写,缩短保留日志以触发快照。旧副本重连时记录从已应用索引 9 恢复到快照索引 46,随后读到尾部写入的值 35。快照索引因选举和内部条目而异。另一个流程将 KV 备份恢复到独立集群,直接检查可见数据。前一个使用 Raft 传输,后一个使用备份恢复命令。

20 MB ÷ 50 MB/s = 0.4 s,只计传输。生成、校验、落盘、回放及实时新增会延长追赶。每新增应用 1000 条触发只是本例策略,应用阈值会与磁盘预算共同决定保留范围。

验证

从卷七实验包 解包,运行 Java 传输时间和快照阈值算例,在原生 etcd 探针核对快照恢复后的键。

一手资料

卷七目录 · 系列导读与实验

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图