9.1 日志无限增长的代价
前五章把 Raft 的写入链路讲通了:客户端写请求到达 Leader,Leader 把命令追加进自己的日志,广播给 follower,多数确认后提交,再应用到状态机。这套协议里有一条隐藏的暗线——日志是只追加的。协议本身没有任何删除日志的环节,只要集群还在接受写入,每一条复制成功并提交的命令都会永远留在每个节点的日志里。
本节回答一个先决问题:日志为什么必须被压缩?我们把「不压缩」的后果拆成四类具体代价——磁盘占用、重启重放时间、慢 follower 追赶成本、内存中的日志缓存,再落到 etcd 的真实数字与 K8s 的观察视角,最后澄清压缩与一致性承诺的关系。下一节(9.2)讲快照怎么在节点之间传播,9.3 讲 etcd 完整的三层压缩与碎片整理。
日志是只追加的:压缩是必然选择
Raft 的日志追加特性来自 7.2 节讲过的 Leader 完整性:Leader 只能追加新条目,永不覆盖已提交条目,因此日志在协议层面不存在「删除」入口。日志存在的意义有三个:故障恢复时重放、新节点或落后节点追赶时复制、以及一致性校验时的对照。但「答案」已经在状态机里了——状态机是系统的结果,日志只是产生结果的推导过程。
压缩(compaction)的做法就是把二者解耦:定期把一段已提交且已应用的日志替换成快照(snapshot)。快照是状态机在某个一致时刻的静止拷贝,附带它覆盖到的日志位置(LastIncludedIndex 与 LastIncludedTerm)。生成快照之后,这段日志就没有保留价值了,可以从磁盘与内存中丢弃;快照之后的日志继续按原协议追加。
压缩有两个硬性前提。第一,压缩点必须是 applyIndex——已提交且已应用的下标。未提交的日志、已提交但尚未应用的日志都不能压缩,因为它们还没有进入状态机,压掉就等于丢数据。第二,快照必须记录 LastIncludedTerm,因为日志匹配与选举判断依赖 (term, index),快照取代一段日志后必须能回答「这段日志的 term 是什么」。只要这两条成立,快照内容就与「重放全部日志到该点」严格等价,压缩不需要额外的协议保证。
日志生命周期:追加、提交、应用、压缩
把四个动作连起来看,压缩在流水线里的位置就清楚了。一条命令在 etcd 里依次经过四个阶段,每个阶段由不同的游标标记:
| 阶段 | 动作 | 游标 | 允许压缩吗 |
|---|---|---|---|
| 追加 | Leader 把命令写进本地日志并广播 | 无(uncommitted) | 否 |
| 提交 | 多数派确认,commitIndex 推进 | commitIndex | 否 |
| 应用 | 应用到状态机(写 mvcc 后端) | applyIndex | 是,且只能在这里 |
| 压缩 | 生成快照,丢弃已应用日志段 | snapshotIndex | —— |
四个游标的顺序永远是 lastLogIndex ≥ commitIndex ≥ applyIndex ≥ snapshotIndex。压缩点只能选在 applyIndex 或更早(但已经应用过的地方),所以「快照覆盖到哪」永远不越过「已经应用到的哪」——状态机里永远有快照覆盖的完整结果。这条顺序关系是理解整个第 9 章的骨架。
磁盘占用:WAL 段文件的缓慢膨胀
etcd 的 Raft 日志落盘在 WAL(write-ahead log)里:所有 Raft 条目先追加进 WAL 段文件、fsync 成功后才向客户端确认,这是线性一致写的地基。WAL 位于数据目录 member/wal/,是一组追加写的段文件,旧段满了再开新段。
单条日志条目很小——命令、任期、下标、校验和加在一起通常几十到几百字节。但乘数是集群的运行时长。假设平均每秒 500 次写入、每条约 200 字节,一天新增约 4320 万条,理论上限约 8.6GB/天、一年约 3TB:
| 写入速率 | 日新增条目 | 日新增磁盘(约 200B/条) |
|---|---|---|
| 100 次/秒 | 864 万 | 1.7 GB |
| 500 次/秒 | 4320 万 | 8.6 GB |
| 2000 次/秒 | 1.73 亿 | 34.6 GB |
这是「从不压缩」的极端上限,但它说明方向性问题:日志的磁盘占用不取决于键的个数,而取决于写入总量。K8s 场景里键的数量可能只有几万,但每次 Deployment 滚动更新、每次 status 回写都会追加日志,写入总量远超键数。
更隐蔽的一点:这份磁盘占用不是一份。Raft 集群三个成员各自写自己的一份 WAL,日志长度大致相同,所以磁盘占用天然乘以副本数。而 WAL 段文件的清理依赖快照——没有快照就没有「安全删除点」,旧段只能一直堆着。
重启重放:重放时间随日志长度线性增长
节点宕机重启后,必须把日志重新应用到状态机才能对外服务。有快照与没有快照是两种完全不同的重启路径:
| 维度 | 无快照 | 有快照 |
|---|---|---|
| 重放起点 | 第 0 条日志 | 最近一份快照之后 |
| 重放量 | 全部日志(百万级) | 快照后的 ≤100000 条(snapshot-count) |
| 启动时间 | 随日志线性增长,分钟级 | 上界恒定,秒级到十秒级 |
| 恢复后状态 | 从零重建 | 直接加载库拷贝 + 少量重放 |
生产事故里常见「某个成员宕机几小时,重启后花十几分钟追日志,期间整个集群写延迟被拉高」——因为落后的成员在追赶时还要占用 Leader 的发送带宽。快照的价值在于把重放上界压到固定阈值,与集群活了多久无关。
慢 follower 追赶:逐条补发的双重负担
follower 落后时,Leader 按 nextIndex 逐段补发缺失日志(6.2 节)。日志越长,追赶的代价越大,而且是双重负担:
- Leader 侧:反复读盘、构造 AppendEntries、发送。日志段越长,追赶轮次越多;一次性打包太多又受消息大小限制。
- follower 侧:逐条接收、逐条追加、逐条 fsync、逐条 apply。它最终需要的只是状态机的最终状态,追赶过程却要完整重放一遍这段日志。
最浪费的场景是:follower 只落后很短一段,但这段日志恰好落在 Leader 已经压缩丢弃的区域之外——此时逐条追的成本不如直接传一份快照。这正是 etcd 设置 --snapshot-catchup-entries(默认 5000)的原因:需要补的日志超过 5000 条,放弃逐条追赶,直接走 InstallSnapshot(9.2 节)。
内存中的日志缓存:比磁盘更隐蔽的威胁
Raft 实现为了快速复制与匹配,会把日志保留在内存里。etcd 的 raftLog 同时维护已持久化的 storage 与尚未持久化的 unstable 段,前者在重启后从 WAL 重建,后者直接内存持有。日志不压缩时,内存里的条目数与磁盘同步增长。
内存暴涨不会立即报错——先表现为常驻内存从几百 MB 涨到 GB 级,挤占页缓存,拖慢 fsync,然后在某个高峰写入时触发 OOM。OOM 的节点重启又要重放日志,重放又加剧延迟,形成恶性循环。对 K8s 控制面而言,内存故障比磁盘故障更难定位:磁盘有明确的 etcd_mvcc_db_total_size_in_bytes 可查,内存问题却常表现为「莫名其妙的写超时」。
etcd 的真实数字:snapshot-count、WAL 与快照文件
etcd 用 --snapshot-count 控制 Raft 层压缩的频率,默认值 100000:自上一份快照以来,已应用的日志条目数达到 100000 时触发快照。这个数字可以直接换算成时间——每秒应用 500 条日志时约每 200 秒一次快照;每秒 2000 条时约每 50 秒一次。快照越频繁,WAL 与内存峰值越低,但快照文件的生成与落盘开销越大,这个权衡在「快照频率」一节展开。
快照产物落在数据目录 member/snap/,核心文件是 db——它是 mvcc 后端在快照时刻的一致拷贝,也就是 Raft 快照 data 字段的内容。快照生成后,WAL 中这段日志的落盘价值消失,etcd 用 --max-wal-files(默认 5)限制 WAL 段文件数量,段数超限时会强制触发快照以清理旧段;快照本身也限制数量,--max-snapshots 默认 5,只保留最近 5 份。
量级可以复算:一份快照文件的大小约等于当时 mvcc 后端库的大小。中等规模 K8s 集群的 etcd 库在几百 MB 量级,每 100000 条就产生一份几百 MB 的 db 快照文件。这解释了为什么快照频率不能无脑调低——快照文件本身也占盘,压缩是「日志 vs 快照」的权衡,不是零成本操作。
压缩点的工程细节:快照的安全落盘
压缩不是「在内存里截断一下」这么简单,etcd 必须保证落盘的快照是崩溃安全的。达到 snapshot-count 后,流程是:先把当前 mvcc 后端库的一致拷贝写成一个临时文件,fsync 后改名为 member/snap/ 下的快照文件,记录该快照的 LastIncludedIndex;只有这一步成功之后,才允许截断 WAL 中该下标之前的旧段。
这个顺序不能反过来:如果先删 WAL 再写快照,中途崩溃会让节点既没有快照也没有日志——状态机历史就丢了。反过来,先落快照再删日志,任何时刻节点都至少拥有「快照 + 快照之后的日志」中的一份完整状态。这就是 WAL 截断必须「等快照落盘成功」的原因,也是 --max-wal-files 触发强制快照的机制背景:WAL 段数过多说明快照迟迟没跟上,宁可先补一份快照再清理。
另外注意,快照的 data 是 mvcc 库拷贝,包含的是已应用的状态而不是日志。所以快照落盘之后,覆盖的那段日志的删除是安全的——状态已经在库拷贝里了。这呼应了前文:日志是推导过程,快照是结论的物化。
日志重放的完整路径:从 WAL 到 apply
把「重放」拆开,才能理解快照为什么省时间。etcd 节点重启后要经过四步恢复服务:
- 读 WAL:读取
member/wal/下的段文件,逐条 decode 出 Raft 条目; - 重建 raftLog:把条目灌回内存日志,恢复未提交日志与 commit/apply 进度;
- 恢复角色:进入 Follower(或竞选 Leader),等待心跳与选举;
- apply:把已提交未应用的条目逐个应用到后端库(写 bbolt)。
代价的放大系数在最后一步:每一条都要走 bbolt 事务并 fsync,启动期间的 fsync 次数与条目数成正比。1 万条与 100 万条重放是三到四个数量级的差异。有了快照,第 1 步变成「加载最近一份 member/snap/db + 重放快照之后的 ≤100000 条日志」,上界恒定,与集群活了多久无关。所以 --snapshot-count 可以这样理解:它同时是「重启重放的最大日志条数」与「两次快照之间最多接收的日志条数」。
一次成员重启的完整时间账本
把前面的数字拼成一个完整场景,便于复算。假设每秒 500 次写入的 3 节点 etcd:
--snapshot-count=100000,约每 200 秒产生一份快照;快照文件按库大小估算为 300MB;- 某成员因磁盘 IO 高峰宕机 10 分钟,期间其余两成员继续服务、日志继续增长;
- 该成员重启时:加载最近一份
member/snap/db(300MB 读盘,秒级),然后重放快照之后的日志。宕机 10 分钟约新增 30 万条,按每秒数千条的处理速度,约 1–2 分钟完成重放并回到服务; - 若最近快照不可用(例如快照文件随磁盘故障一起丢失),只能从 WAL 第一条重放——宕机前的全部历史可能到百万级,重启时间按 10 分钟以上计,期间 Leader 还要给它补发日志。
账本结论:快照把「最坏重启时间」从「与运行时长成正比」变成「与 snapshot-count 成正比」,这是日志压缩最直接可量化的收益。第 4 种情况也说明为什么不能只依赖本地恢复——WAL 与快照都放在同一块数据盘(member/ 下),磁盘故障会同时带走两者,这时只能靠集群外部的 etcd 备份快照(9.2 节末尾展开)。
K8s 视角:对象数与 revision 数驱动增长
K8s 把全部集群状态塞进 etcd,etcd 的日志量直接由对象变更量驱动,而不是由键的数量驱动。几个具体的放大来源:
- 每次
kubectl apply、每次 status 回写、每次 watch 触发的事件都会产生新写入; - Deployment 滚动更新期间,ReplicaSet 与 Pod 对象高频创建销毁,短时间内写入速率是平时的数倍;
- 大集群里 controller-manager 的并发调谐把写入速率推到每秒上千条。
压缩不及时的典型故障链:写速率高 → WAL 与库文件快速膨胀 → 磁盘告警或 2GB 配额告警 → apiserver 写 etcd 超时 → 整个控制面停摆。反过来,压缩配置合理时,etcd 的磁盘曲线是锯齿形而非直线——快照周期地切掉日志,mvcc 周期地回收 revision,磁盘稳定在配额以内。运维上盯两个指标:etcd_mvcc_db_total_size_in_bytes 反映库文件实际大小,WAL 目录的 du 反映日志段膨胀速度。不要等告警才处理。
压缩与一致性的关系:只删已提交已应用
一个常被误解的点是:压缩会不会破坏一致性?不会,因为压缩的对象严格限定为已提交且已应用的日志。状态机里的值才是系统对外承诺的「事实」,日志只是推导过程;删除一段已被完整应用的日志,等价于删掉「已经算完的中间步骤」,结论不变。
更精确地说,快照本身就是状态机的一次拷贝,所以「安装快照」与「把这段日志全部重放到状态机」产生相同的状态。压缩不是在删数据,而是在把散落在日志里的历史结论物化为一张静止的当前状态。协议层面的安全靠 LastIncludedTerm 兜底:快照记录它覆盖到的那条日志的 term,让日志匹配性质与选举的日志新旧比较(5.2 节)在快照存在时依然成立。这个衔接是 9.2 节的主题,本节只需记住结论:压缩不会让任何已提交状态从系统中消失。
快照频率的权衡:snapshot-count 不是越小越好
--snapshot-count 是一个需要权衡的参数,默认 100000 是 etcd 长期调出来的平衡点:
- 调小(比如 10000):快照更频繁,WAL 与内存峰值更低,但快照文件生成/落盘更频繁,写放大与 CPU 开销上升,
member/snap/文件轮换更快。 - 调大(比如 1000000):快照少,但重启重放上界变长、内存中的日志缓存变大、落后 follower 更可能触发快照追赶。
对 K8s 用户,不建议随意调小 snapshot-count——快照本身的高频落盘会加剧 etcd 所在磁盘的 IO 压力,而 K8s 更常见的问题恰恰是磁盘 IO 慢导致的 fsync 延迟。保持默认值,把运维精力放在 mvcc 压缩与 defrag(9.3 节)上,是更合理的分配。
本节的五个关键数字
把本节出现的 etcd 默认值收进一张表,后面三节会反复用到:
| 参数 | 默认值 | 含义 |
|---|---|---|
--snapshot-count | 100000 | 已应用条目数达此值触发 Raft 快照 |
--snapshot-catchup-entries | 5000 | follower 落后超过此值则改用快照追赶 |
--max-wal-files | 5 | 限制 WAL 段文件数量,超限触发快照 |
--max-snapshots | 5 | 保留的旧快照数量 |
--quota-backend-bytes | 2GB | mvcc 后端库大小上限,超限进入只读保护 |
这五个数字是理解压缩全貌的骨架:前四个属于 Raft 日志层(本节的 snapshot 与 WAL 相关),最后一个属于 mvcc 存储层(9.3 节 defrag 直接对它负责)。记住它们,读后面两节时不用再回头翻配置手册。
本节 lab
本节验证「日志压缩本身」:超过阈值后可压成快照、日志条数下降、已应用命令保留在快照里。代码在 private/labs/k8s-etcd-lab/raft/snapshot.go:
cd private/labs/k8s-etcd-lab
go test ./raft -run TestSnapshotCompaction -v
lab 里的 Compact(applyIndex) 是压缩的原子操作:它要求 applyIndex 不大于 ApplyIndex 且不大于最后一条日志下标(即必须是已提交且已应用的),然后把状态机拷贝进 Snapshot.State,记录 LastIncludedIndex 与 LastIncludedTerm,最后把 Log 从 applyIndex 截断并整体左移下标,只保留快照之后的部分(含最后一条用于日志匹配)。
TestSnapshotCompaction 先让 3 节点集群提交 4 条命令并全部 apply,再调用 Compact(3),断言三点:
- 快照非空——snapshot 确实生成了;
- 快照里包含
set:c=3与set:d=4——已应用的命令被完整保留在快照状态中; - 压缩后日志条数 ≤ 1——原 4 条日志被压掉,日志条数下降。
运行 go test ./raft -run TestSnapshotCompaction -v 时,测试通过即表示压缩路径符合上述语义:日志条数下降、状态机内容不丢。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。