7.2 Leader 完整性:日志永不回退
7.1 给出了安全证明的初始结论:每个当选 Leader 在其当选时刻,日志必然包含当时为止的全部已提交条目。但「当选时刻包含」还不够——一个 Leader 的任期内会提交新的条目,而这些条目在它任期结束之后是否仍然存在?更尖锐的问题是:一个旧 Leader 因为网络分区被替换,等它恢复联网后重新当选,会不会带着自己那份残缺的旧日志把集群带回旧状态?Leader 完整性(Leader Completeness)回答的就是这两个问题,它是 Raft 安全性证明链的第二个环节。
把 7.1 与 7.2 的区别说穿:7.1 问「新 Leader 会不会缺已提交数据」,答案是当选定理;7.2 问「已提交数据在接下来所有任期会不会丢」,答案是不对称的只追加设计。区别在于时间量词——7.1 是当选那一刻的一个点,7.2 是跨任期的一条线。单独成节是因为生产事故里真正造成数据丢失的往往是后者:旧 Leader 恢复联网后带着残缺日志重新参与选举,如果协议允许它回退日志,整个集群会被倒拨回旧时间点。
标题里的「日志永不回退」是中文读者最容易望文生义的短语——它不是指日志长度永远不减少(Follower 追赶时确实会截断未提交尾巴),而是指「已提交部分永不回退」。准确的说法是:日志的可变范围只有未提交尾巴,已提交前缀是一个单调增长的只读区。
本节先给定义与三条配套规则,然后论证为什么「日志只追加(Append-Only)」是整个性质的地基,再推演旧 Leader 被分区、恢复、重新当选的完整场景,最后对照 etcd 的崩溃恢复路径——WAL 重放与 MemoryStorage 如何把只追加语义在持久化层守住。
Leader 完整性的定义与三条配套规则
Leader 完整性:如果某条日志条目在某个任期被提交,那么它会在之后所有更高任期的 Leader 日志中一直存在。 与 7.1 的当选定理相比,它多了一层「时间上永不消失」的承诺:不只在当选瞬间存在,而是在整个后续时间里作为已提交数据被每个 Leader 持有。
这条性质不是凭空成立的,它依赖三条规则同时生效:
| 配套规则 | 内容 | 保护的是什么 |
|---|---|---|
| 选举限制 | 投票者只投给日志不落后的候选(5.2 / 7.1) | 当选 Leader 的日志起点正确 |
| 日志只追加 | Leader 日志从不删除或覆盖任何条目 | 已提交条目一旦在 Leader 日志中,永不被移除 |
| 只能推进不能覆盖 | Leader 只会推进 nextIndex / commitIndex,不会回退自己的日志 | 复制方向永远从 Leader 到 Follower |
三条规则各管一段:选举限制保证「新 Leader 的日志一开始就是对的」,日志只追加保证「对的日志不会在任期内被改坏」,只能推进不能覆盖保证「复制过程中 Leader 绝不会反过来向 Follower 借日志」。前两条已在 5.2 和 7.1 论证,本节的重点是后两条——尤其是「日志只追加」为什么是安全性的地基。
这套分工还有一个直接的运维推论:Leader 完整性的失败点只有两处——「当选瞬间」(选举限制失守)与「任期内改写」(只追加失守)。前者靠投票规则挡,后者靠代码纪律挡。所以生产事故里若出现已提交数据丢失,排查顺序永远是:先查那次换届的投票日志是否混入了日志落后的节点,再查是否有异常代码路径触碰了已提交区间。知道闸门在哪两处,比背定义更能定位问题。
还要分清一个不对称:Leader 完整性只约束「Leader」,不约束「Follower」。一个刚恢复的 Follower 在追赶过程中可能暂时缺少已提交条目——这完全合法,是进度问题而非安全问题,最终会通过 AppendEntries 补齐。安全与进度在这里的分工是:Follower 可以暂时缺(活性由追赶保证),Leader 必须全(安全性由选举限制与只追加保证)。诊断 etcd 日志状态时,看到 Follower 落后不用慌,看到 Leader 缺失才是事故。
「日志永不回退」这个短语概括的正是这条性质的时间维度。回退有两种可能:一是节点本地把日志下标往回改(截断到更早的位置),二是用一条不同的日志替换某下标处的旧条目。Raft 对 Leader 同时禁止这两种操作:截断只发生在 Follower 侧,替换也只发生在 Follower 侧。因此从全系统看,日志的演化方向是单调的——已提交前缀只会变长,不会变短。K8s 控制面把全部期望状态押在 etcd 上,这条单调性就是「kubectl 确认的写入不会被时钟倒拨」的全部依据。
为什么日志只追加是安全性的根基
Raft 的日志处理有一个不对称设计:冲突删除只发生在 Follower 侧,Leader 侧永远只追加。 看 lab 里 Node.AppendEntries 的冲突处理(这段代码只被 Follower 调用):
for _, e := range entries {
at := e.Index
if at < len(n.Log) {
if n.Log[at].Term != e.Term {
n.Log = n.Log[:at] // 截断冲突段再追加
n.Log = append(n.Log, e)
}
} else {
n.Log = append(n.Log, e)
}
}
这个 n.Log = n.Log[:at] 删除动作是 Raft 里唯一的日志删除点,而它只出现在接收 AppendEntries 的一方。为什么必须这样设计?因为「已提交」意味着日志曾被某个多数派持有,如果 Leader 也能删除自己日志里的条目,那它就可能删除一条已提交的条目,Leader 完整性在第一个任期就被击穿。只有让删除只发生在被追赶的一方(Follower),而追赶方向永远从 Leader 指向 Follower,已提交条目才有一个不可逆的归宿。
这里有个诚实的前提要交代:lab 的 AppendEntries 并没有真实 etcd 那个「冲突在已提交区间就 panic」的护栏——如果真有一个日志残缺的旧 Leader 当选并向 Follower 广播旧日志,lab 的截断逻辑会把已提交条目也删掉。换句话说,lab 的安全性不靠 AppendEntries 自觉,靠的是 7.1 的选举限制把残缺 Leader 挡在当选门外。 这正是「三道闸门」的分工:仿真只复现了第一道(选举限制),真实 etcd 在协议之外又多筑了两道(maybeAppend panic 与 MemoryStorage 的只追加)。理解 Raft 安全性时,分清哪道闸门承担什么职责,比记住某一行代码更重要。
真实 etcd 把这条防线做得更硬。raft/log.go 的 raftLog.maybeAppend 在发现冲突点位于已提交区间时直接 panic:
ci := l.findConflict(ents)
switch {
case ci == 0:
case ci <= l.committed:
l.logger.Panicf("entry %d conflict with committed entry [committed(%d)]", ci, l.committed)
default:
l.append(ents[ci-offset:]...) // 只追加冲突段之后的条目
}
也就是说,在 etcd 的实现里「覆盖已提交条目」不是一种需要容忍的异常,而是一个 fatal 级错误。选举限制是第一道闸门(不让旧 Leader 当选),这个 panic 是第二道闸门(就算消息里带了冲突的已提交条目,也当场崩溃拒绝执行)。两道闸门都在说明同一件事:已提交日志是只读的,任何人都无权改写。
归纳证明:为什么「永不回退」对每个任期成立
Leader 完整性是一条跨任期的性质,它的证明是标准的数学归纳,三句话:
- 基础:任意 Leader 当选时,日志已包含当时为止的全部已提交条目(7.1 定理,由多数派交集与选举限制推出)。
- 保持:任期内日志只追加、从不删除,已提交条目的存在性在任期内不减(本节刚论证的不对称设计)。
- 递推:第 T 任期内新提交的条目,会出现在第 T+1 任期 Leader 的日志里——因为第 T 任期的提交多数派与第 T+1 任期的选举多数派必有交集,交集节点持该条目且只投给日志不落后的候选,7.1 定理对「换届后的第一个 Leader」再次成立。
把第 3 步反复套用,就得到「从 term 0 到任意 term,已提交条目始终被每个 Leader 持有」。注意第 2 步是第 3 步的前提:7.1 定理只保证「当选时刻包含」,是「只追加」让这份包含在任期内不丢失,递推才有意义。反过来,如果允许 Leader 删除日志,归纳在第 1 步之后立即断掉——Leader 完整性、乃至 7.3 的状态机安全都会崩。这正是把日志只追加称为安全性地基的原因:它是归纳链条里唯一连接「当选时刻」与「任期之后」的环节。
新 Leader 从不删除或覆盖旧日志
当选瞬间,新 Leader 用 initProgress 初始化进度表:把自己日志末尾之后的 index 设成每个 Follower 的 nextIndex,自己的 matchIndex 设成自己的日志末尾。关键在于这个初始化只设定「要发给谁多少日志」,绝不回退自己的日志:
func (n *Node) initProgress(clusterSize int) {
for id := 0; id < clusterSize; id++ {
if id == n.ID {
n.MatchIndex[id] = n.lastLogIndex() // 自己的日志是标准答案
continue
}
n.NextIndex[id] = n.lastLogIndex() + 1 // 从自己末尾之后开始补
n.MatchIndex[id] = -1
}
}
后续复制就是一场单向追赶:Leader 从自己的日志末尾往回找与 Follower 的共同前缀(logMatchPrefix 检查 prevLogIndex / prevLogTerm),找到后把差异段整体发给 Follower,Follower 截断自己冲突的尾巴、补齐缺失的条目。Leader 在这个过程中只做两件事——读自己的日志、发自己的日志,从不读 Follower 的日志来决定自己该删什么。即使某个 Follower 碰巧在某些任期内有更长的日志(例如它曾短暂当过候选),那也只可能是未提交的垃圾尾巴,新 Leader 凭选举限制已经保证自己的日志不落后于所有投票者,那些更长的尾巴本来就是冲突段,会在 Follower 侧被截断。
这套单向追赶还有一个可观测的产物:任意节点的日志长度随时间单调不减。追赶让短的变长,冲突截断只发生在未提交尾巴上,截断后再被 Leader 补上,净效果仍是变长。运维上可以用 etcdctl endpoint status 观察各节点的日志长度:若某节点长度明显回退,说明它发生过截断,需要确认截断点是否落在未提交区间——只要截断点低于多数派的 committed 值,就是安全事件。
用可复算的日志对照:新 Leader L 的日志是 (1,1)(2,2)(2,3),Follower F 的日志是 (1,1)(1,2)(1,3)。共同前缀是 (1,1),F 的 index 2、3 与 L 冲突。L 从 nextIndex=4 开始回退,到 prevIndex=1 找到匹配,把 (2,2)(2,3) 发给 F;F 执行 Log = Log[:1] 截掉两条 term 1 的尾巴,再追加两条 term 2 的条目。结果双方都是 (1,1)(2,2)(2,3)——变化只发生在 F 侧,L 的日志原封不动。
注意 nextIndex 的「回退」也只是一种指针移动,不是日志改写:Leader 把 nextIndex 从 4 降到 2,只是决定「这次从哪开始发」,它自己的日志条目一个都没动。第 6 章的 nextIndex 回溯(TestNextIndexBacktrack)反复演示过这个过程——每次冲突都让 Leader 把指针往前挪一格,直到共同前缀,而指针每挪一次,Follower 就被修好一段。把「指针回退」与「日志回退」区分开,是读懂 7.2 的一个关键:回退的只有进度指针,日志本身只前进。
场景推演:被分区替换的旧 Leader 恢复与重新当选
把只追加语义放进最典型的生产事故里。5 节点 etcd,节点 A 是 term 2 的 Leader,提交并应用了一批条目。某一刻 A 与集群网络分区,多数派 B、C、D、E 继续运转。这个场景之所以值得完整推演,是因为它把四个要素——分区、替换、恢复、重新当选——放在同一条时间线上,而每个要素都恰好踩中一条安全规则:分区对应「旧 Leader 只能单机追加、无法确认」,替换对应「新 Leader 靠日志不落后当选」,恢复对应「Follower 截断未提交尾巴」,重新当选对应「已提交前缀被每个新 Leader 继承」。用可复算的 5 节点、quorum=3 数字走一遍:
| 时间 | A(旧 Leader) | B、C、D、E(主集群) |
|---|---|---|
| t0 | 持有已提交前缀到 index 10,另有一条未提交的尾巴 (2,11) | 与 A 一致到 index 10 |
| t1 | 被分区,仍以为自己是 Leader,继续在本地追加 (2,12)(2,13) | 选举超时,B 以 term 3 当选,nextIndex 从 11 开始向 C/D/E 补日志 |
| t2 | 无法确认,本地多了两条永远确认不了的垃圾 | B 提交并应用 (3,11)(3,12) 两条新命令 |
| t3 | 恢复联网,收到 term 3 的消息,降级为 Follower | B 用 AppendEntries 给 A 补齐 (3,11)(3,12) |
关键在 t3 之后 A 的日志状态。A 的 (2,11)(2,12)(2,13) 是 term 2 的未提交尾巴——它没有进入任何多数派,从没被提交。B 作为新 Leader 给 A 发送 index 11 起的内容,A 的 logMatchPrefix 在 prevIndex=10 处匹配成功,然后把自己的三条 term 2 尾巴整体截断,替换成 B 的 (3,11)(3,12)。已提交的 index ≤ 10 前缀一条不少。这就是「Leader 完整性」在恢复路径上的体现:被替换的 Leader 失去的只是自己任期内未提交的垃圾尾巴,已提交数据永远保留。
更极端的一步:假设 A 之后又被选为 term 5 的 Leader。A 的日志此时已经是追赶对齐后的完整日志(含 (3,11)(3,12)),term 5 竞选时其他节点判 logUpToDate 通过,A 当选,然后只追加不删除。整个过程没有任何一步允许 A 删除已提交条目——A 在 term 2 留下的已提交前缀,从 term 2 到 term 5 每个 Leader 都持有它。
这里有一个值得停下来确认的点:A 在 t1 阶段追加的 (2,12)(2,13) 最终被丢弃,会不会破坏什么?不会。这两条从未被任何多数派确认,从未提交,也从未被客户端感知——etcd 的写请求在 quorum 确认前不会返回成功,客户端根本不知道这两条存在。丢掉的只是一段「从未发生」的历史,而保住的 index ≤ 10 是客户端明确收到过成功确认的写入。已提交与未提交的分界线,恰好就是「该不该为丢数据负责」的分界线:多数派确认过的必须保留,多数派没确认过的可以安全地丢。
etcd 崩溃恢复:WAL 重放如何维持只追加语义
etcd 崩溃恢复:WAL 重放如何维持只追加语义
日志只追加不只是一条运行时规则,还要在崩溃恢复后仍然成立。etcd 的持久化路径是:每条日志条目先写 WAL(write-ahead log)并 fsync,才会被协议对外确认;HardState(term、vote、commit)也随 WAL 落盘。wal/wal.go 的 Save(st HardState, ents []Entry) 把一批条目和状态顺序写入文件段;ReadAll() 在启动时重放,返回恢复出的 HardState 与全部条目。
重放为什么不会破坏只追加?三个事实叠加:
- WAL 按 index 顺序追加记录。
ReadAll读出的ents天然按 index 递增,重放进内存日志时不会产生「先有后面、再补前面」的乱序,也就没有截断旧条目的机会。 - 已提交前缀由 HardState 固定。恢复后的
raftLog.committed取自HardState.Commit,这个位置之前的条目被视为不可变动;etcd 的maybeAppend对已提交区间冲突直接 panic,等于在恢复路径上也声明「已提交区只读」。 - MemoryStorage.Append 只从追加点截断。
storage.go的实现是ms.ents = ms.ents[:offset]再拼上新条目,offset 是追加的起始位置;崩溃前已写入内存的已提交前缀不在截断范围内。
重启时 etcd 的完整路径是「快照 + WAL」两级恢复:先加载最近一次快照(snapshot,已压缩进状态机的部分),再从快照包含的 index 之后重放 WAL 里的增量条目。快照自身携带 LastIncludedIndex 与已应用的状态,恢复出的日志从快照位置之后开始,快照位置之前视为不可变动。InstallSnapshot 与 WAL 重放共用同一条约束:只有追加位在前进,没有任何一个步骤允许把下标往回挪。 这也是为什么 WAL 可以安全地被截断(旧段被快照取代)而不会破坏只追加语义——截断发生在「已压缩进快照」的部分,那条不可逆的边界始终由 committed 值锚定。
写入顺序也服务于只追加:WAL.Save 先逐条写 entry 记录,再写 HardState,最后统一 fsync。崩溃可能发生在链路任意位置——比如 fsync 之前断电——但恢复路径遵循同一顺序:ReadAll 把能读到的条目按 index 重放,HardState 里恢复出的 commit 不会越过实际重放到的条目末尾。所以崩溃最坏的结果只是丢失最后几条从未被确认的尾巴(下次选举时它们会被截断或覆盖),而已提交前缀无论如何都完整保留。持久化层与协议层用同一套顺序逻辑,是只追加语义能跨重启成立的根本原因。
对照 lab 的 Node.maybeCommit 与 AppendEntries:lab 的 commit 推进同样只发生在 Log[i].Term == n.Term(当前任期)且多数派 matchIndex 覆盖的下标上,AppendEntries 的截断也只在 Follower 侧、只在与 Leader 冲突的下标处。两者合起来保证:无论经过多少次选举、崩溃、重放,只要任期与下标被正确比较,已提交条目就只会被追加继承,永远不会被回退覆盖。
本节 lab
TestLeaderAppendOnly 直接验证「Leader 追加日志后已提交条目不被改写」:
leaderCommitting让 3 节点集群选主,并提交set:a=1、set:b=2两条命令到所有节点;- 用
before := append([]LogEntry(nil), l.Log...)深拷贝 Leader 日志快照; - 给 Leader 追加一条新命令
set:c=3(模拟任期内继续写入); - 逐条断言
before里的两条已提交条目在追加后 term、command 完全不变,任何一处不同就t.Fatalf("leader log rewrote committed entry %d", i)。
这个测试跑在 Leader 本地:它验证的不是 Follower 对齐(那是 7.1/6.2 的范围),而是Leader 自身的日志操作只有 append,没有 rewrite。配套的 maybeCommit 保证 commit 只推进到「当前任期 + 多数派确认」的下标,AppendEntries 的截断逻辑只对 Follower 生效。
把断言反过来想更能看清性质:如果 Leader 被允许改写已提交条目,那么 set:a=1 或 set:b=2 里任意一条在追加 set:c=3 后被改动,测试就会立刻 t.Fatalf 报错。这个「快照对比」手法在真实 etcd 里没有等价的单测,因为真实实现直接在 maybeAppend 处 panic——但两者验证的是同一个不变量:追加新日志是 Leader 唯一合法的日志操作。 运行:
cd private/labs/k8s-etcd-lab
go test ./raft -run TestLeaderAppendOnly -v
输出 PASS 说明:Leader 在追加新日志时不会改写任何已提交条目,日志只追加语义在仿真中成立,Leader 完整性这条安全性质的地基是牢的。
回看整节的证明结构:Leader 完整性 = 7.1 的当选定理(基础)+ 本节的不对称设计(保持)+ 归纳递推(跨任期)。TestLeaderAppendOnly 验证的是「保持」这一步——Leader 在任期内追加日志,已提交条目原地不动;「跨任期」的剩余部分,7.3 的 TestStateMachineSafety 会继续接手。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。