7.3 状态机安全与任期开始强制复制
前两节把安全证明推到了「每个任期的 Leader 都持有全部已提交日志」。但 Raft 最终交付的不是「日志很安全」,而是「状态机很一致」——只有所有节点以相同顺序应用相同日志,复制状态机才真正成立。状态机安全(State Machine Safety)就是这条链的最后一环:如果某个节点已经在下标 i 应用了一条日志,那么任何其他节点永远不会在下标 i 应用不同的日志。
对 K8s 来说,这一环是「每个 etcd 节点的 mvcc 存储最终一致」的全部依据。apiserver 的读请求可能落在任何一个 etcd 副本上,如果各副本状态机在同一个 index 上分叉,同样的读会得到不同的答案。本节讲清楚三件事:状态机安全怎么被前两条性质推出;「只提交当前任期日志」这条提交规则为什么是推导里不可缺的一环;以及新 Leader 在任期开始时如何用空日志条目与强制复制把集群收敛到同一条日志上。
把三节的边界再收拢一次:7.1 证明当选 Leader 日志正确,7.2 证明这种正确性跨任期保持,7.3 把「Leader 的日志正确」翻译成「所有节点的状态机一致」。前两节讲的都是日志层的保证,这一节跨到应用层——日志再正确,如果提交边界错乱、应用乱序或重复应用,状态机照样分叉。所以 7.3 一半是证明(为什么不会分叉),一半是工程(看 etcd 怎么把「不重复、不乱序」落地成可运行的代码)。
本节路线:先定义状态机安全并说明它与日志匹配性质的关系,再单独处理「只提交当前任期日志」与「任期开始强制复制」这两个让证明成立的机制,接着给出从 Log Matching → Leader Completeness → State Machine Safety 的完整证明链,最后落到 etcd 应用层如何高效且幂等地把证明兑现成代码。
学完本节,你应该能独立回答三个问题:为什么不能靠多数派直接补提交旧任期日志;新 Leader 上任后第一条日志为什么是空条目;以及 etcd 靠什么保证崩溃重启后不会重复应用一条已提交日志。
State Machine Safety 的定义
正式的陈述:若一个服务器已在状态机的下标 i 处应用了某条目,则不存在任何其他服务器会在下标 i 应用一个不同的条目。 注意它不要求所有节点同时应用到 i(那是活性与进度问题),只要求「如果应用了,内容必须一致」——也就是顺序与内容两个维度的确定性:
| 维度 | 保证 | 违反的后果 |
|---|---|---|
| 顺序 | 所有节点按 index 递增应用,不许跳号 | 同一状态机出现不同的演进路径 |
| 内容 | 同一 index 处条目相同(含 term) | 同一 index 出现两个互相矛盾的写入 |
实现上「按 index 递增、不跳号」由 apply 循环保证:lab 的 Node.Apply 每次只取 (ApplyIndex, CommitIndex] 闭区间内的日志,从 ApplyIndex+1 开始逐条应用;真实 etcd 的 applyEntries 同样从 appliedi+1 起只处理 firsti > ep.appliedi+1 会直接 panic(不许跳号)。内容维度则由整个第 7 章来保证——那就是本节要证明的链条。
定义里还隐含一条约定:节点只把「已提交」的日志应用到状态机。lab 的 Node.Apply 应用区间是 (ApplyIndex, CommitIndex]——只应用被多数派确认过的条目;etcd 的 applyEntries 同样只处理来自 Raft ready 里 committed 的条目。这条约定把「应用」与「提交」绑定:不提交就不应用,而提交边界又由 Leader 完整性保证唯一,应用因此有了确定的内容来源。
举个会违反它的具体形态:5 节点集群,节点 X 在下标 9 应用了命令 set:k=v,节点 Y 在下标 9 应用了 set:k=w。两条日志从 index 9 起彻底分叉。如果这是 etcd 集群,同一个 key 在 X 上是 v、在 Y 上是 w,apiserver 轮询到哪个副本就返回哪个值——一致性承诺归零。状态机安全要消灭的正是这种「同 index 双内容」。
对 K8s 控制面而言,状态机安全还有一层更具体的意义:etcd 的 mvcc 存储是一个带 revision 的键值状态机,多个 etcd 节点各自在本地应用同一批日志,得到的是 revision 完全一致的数据副本。apiserver 从任何一个副本读到同一个 key,看到的是同一个 revision 与同一个值——读路径的一致性(配合第 10 章的线性一致读)在源头上就是状态机安全给的。分叉一旦发生,集群状态的「唯一真相」就不存在了。
还要澄清一个常被误读的点:状态机安全不要求所有节点「同时」应用同一条日志。副本之间永远可能有进度差——慢盘节点落后几十条、离线节点落后几千条——但只要应用动作发生,内容就必须一致。Raft 的一致性是「应用时的一致」,不是「时间上的一致」;后者由活性与可用性(第 4、14 章)保证,前者才是安全性质的本分。
再给一个直观的类比:状态机安全就像「同一份施工图纸」——每个工人都按同一张图纸施工,哪怕有人进度慢、有人进度快,建出来的楼结构一定相同;如果有人拿两张不同的图纸,有人按 A 建、有人按 B 建,进度再整齐也是两座不同的楼。Raft 的全部努力,就是确保集群里只有一张图纸(同一份日志),且这张图纸的每一页(每个 index)都不会被篡改。
与日志匹配性质的关系
状态机安全不是凭空成立的,它站在日志匹配(Log Matching)这个结构性事实上。Log Matching 有两条,第 6 章已证明:
- 若两条日志在某个下标处含相同 (index, term),则从开始到该下标的所有条目都相同;
- 若两条日志的最后一条相同,则整条日志相同。
它的两个前提正是前两节讲过的设计:Leader 日志只追加,所以 Leader 从不制造「同一下标两个 term」的分叉;Follower 收到冲突段时截断并替换,所以 Follower 不会保留与 Leader 不一致的条目。于是所有节点的日志关系是「前缀包含」:任何两条日志,要么一致,要么一条是另一条的前缀,绝无「同样下标、不同内容」的并列。
这个事实把状态机安全问题化简了:既然任意两条日志在共享前缀上完全相同,那么「应用时会不会分叉」就完全取决于「提交边界是否一致」。换句话说,Log Matching 负责「结构上不可能分叉」,Leader 完整性负责「每个 Leader 拿到的提交边界正确」,两者合起来才能推出「应用时不会分叉」。这正是证明链条的骨架。
可复算的日志关系示例:节点 P 的日志 (1,1)(2,2)(2,3),节点 Q 的日志 (1,1)(2,2),节点 R 的日志 (1,1)(2,2)(2,3)。P 与 Q 是前缀关系,P 与 R 完全一致,Q 与 R 是前缀关系——不存在任何一对在 index 2 处内容不同的情况。若某对日志在 index i 出现 term 分歧,那一定是因为曾有 Leader 在 i 处写下不同 term 的条目,而这被「Leader 只追加 + Follower 冲突截断」两条规则排除了。日志之间的全局关系就是「互为前缀」这四个字。
提交规则:为什么只能提交当前任期日志
现在到了最容易出错的环节。考虑一个场景:Leader A 在 term 2 把一条日志复制到了多数派,但还没提交(没有多数确认 term 2 的这条日志)就崩溃。term 3 的新 Leader B 当选,B 的日志里恰好也有这条 term 2 的日志(因为多数派交集,B 选举时它的日志不落后)。那么 B 能不能直接把这条 term 2 的日志「补提交」?
不能。因为 term 4 的 Leader C 可能在 B 提交之前当选,而 C 的日志里那条 index 处可能是另一条 term 2 的日志(term 2 曾分叉)。如果 B 靠「多数派持有」就提交,C 靠「多数派持有」就提交,同一个 index 会先后被提交成两条不同的日志——状态机安全在第一次换届就崩了。
把场景数字画出来,5 节点、quorum=3:
| 任期 | 事件 | index 5 处的日志 |
|---|---|---|
| term 2 | Leader A 把 cmd1 复制到 A、B、C,未提交便崩溃 | term 2 / cmd1(A/B/C 持有) |
| term 3 | Leader B 当选(日志含 cmd1),因提交规则不提交 term 2 条目 | term 2 / cmd1(多数派持有,未提交) |
| term 4 | Leader C 当选,C 在 index 5 处是另一条 term 2 的 cmd2(term 2 曾分叉) | term 2 / cmd2(C 的日志) |
如果 B 在 term 3 靠「多数派持有」就提交 index 5,随后 C 在 term 4 也靠「多数派持有」提交,同一个 index 5 会被提交成 cmd1 和 cmd2 两条不同的日志——状态机安全在两次换届里崩掉。提交规则把第一次提交推迟到「term 3 的某条新日志被多数派确认」之后,间接提交发生时 term 2 的分叉早已在 term 3 的复制中被裁决掉了。
这个例子里最关键的一行是 term 4:C 的日志在 index 5 处与 term 2 提交多数派持有的 cmd 不同。term 2 曾经分叉,说明那时有多个写入者;提交规则的意义不是阻止分叉发生(日志层允许分叉被复制、被持有),而是阻止分叉被「提交」固化下来。分叉只要没提交,最终就会被后续 Leader 覆盖掉——提交才是不可逆的那一步,提交规则守的就是这道不可逆之门。
Raft 的解法是一条很短的规则:Leader 只能提交自己当前任期(term)内写入的日志。 任期之外、复制到了多数派但未提交的旧日志,必须等一条当前任期的新日志被提交后,通过「包含关系」间接提交。lab 的 Node.maybeCommit 把这条规则写得很直白:
for i := n.lastLogIndex(); i > n.CommitIndex; i-- {
if n.Log[i].Term != n.Term {
break // 只能推进当前任期日志(Raft 提交规则)
}
// 统计多数派确认……
}
从日志末尾往前扫描,一旦遇到 term 不等于当前任期的条目就停下来——因此 commitIndex 只能推进到「尾部属于当前任期」的范围。真实 etcd 的 raftLog.maybeCommit(maxIndex, term) 同样要求 term(maxIndex) == r.Term。这条规则是证明链条的保险丝:它保证提交边界的推进永远由「当前 Leader 亲自确认」驱动,而不是由「某个旧任期的多数派巧合」驱动。
配套地,Follower 侧的 commitIndex 推进也要受控。lab 的 AppendEntries 收尾处有一条夹紧逻辑:nc = leaderCommit,但 if nc > last { nc = last }——Follower 的 commitIndex 只推进到「自己日志末尾」与「Leader 的 commitIndex」的较小者。这个夹紧防止 Leader 声明一个 Follower 尚未持有的 commit 边界;等 Follower 补齐日志,下一条 AppendEntries 会再把边界推上来。两条夹紧——Leader 只推当前任期、Follower 不越过日志末尾——合在一起,保证提交边界在任何时刻都不超出任何节点的实际日志。
新 Leader 的强制复制:空日志条目与直接覆盖
「只能提交当前任期日志」立刻引出一个问题:如果新 Leader 上台后没有任何新写入,那些已复制到多数派、就差临门一脚的旧任期日志会不会永远无法提交?Raft 的答案是新 Leader 在任期开始时就主动制造一条当前任期的日志——空日志条目(no-op entry)。真实 etcd 的 becomeLeader 里就有这一行:
func (r *raft) becomeLeader() {
// ...状态迁移、进度重置……
r.appendEntry(pb.Entry{Data: nil}) // 空日志条目:当前任期,Data 为 nil
r.logger.Infof("%x became leader at term %d", r.id, r.Term)
}
Data: nil 的条目不携带任何命令,但它的 term 是当前任期。它被复制到多数派并提交后,两条事同时完成:其一,一个明确的「当前任期提交点」确立,旧任期那些未提交条目被间接提交;其二,应用层看到 Data == nil 直接跳过(etcd applyEntryNormal 的注释写着「raft state machine may generate noop entry when leader confirmation」,随即 if len(e.Data) == 0 { return }),不会污染状态机。空日志条目不是一条命令,而是一枚「提交锚点」。
为什么空日志条目不会成为安全问题?因为它本身不含命令,应用层直接跳过,状态机不会因此多出一条副作用;它唯一的职责是占住「当前任期在多数派的第一个提交点」。它和强制覆盖的分工可以并排看:
| 机制 | 解决的问题 | 作用维度 | 对应的实现 |
|---|---|---|---|
| 空日志条目(no-op) | 旧任期未提交条目无法收口 | 时间:把旧日志间接提交 | appendEntry(pb.Entry{Data: nil}) |
| 强制复制(force replication) | Follower 与 Leader 日志分歧 | 空间:截断冲突、对齐基线 | AppendEntries 覆盖冲突段 |
前者是时间维度的(把该提交的提交掉),后者是空间维度的(把不一致的对齐)。这两个动作合起来,就是 Raft 论文里「新 Leader 在任期开始就强制复制自己的日志」的完整含义。
诚实的前提:k8s-etcd-lab 的仿真并没有实现空日志条目——countVotes 里当选后直接 initProgress,不追加任何 Data 为 nil 的条目。这不是仿真的缺陷,而是它的简化:sim 的 leaderCommitting 总是在当选后立刻追加新的当前任期命令,当前任期条目很快就出现在多数派里,旧任期悬案没有机会滞留。真实 etcd 没有这个便利,必须靠空日志条目主动创造提交点。读者在这里应该看到两层:仿真验证的是「提交规则本身正确」,空日志条目是让提交规则在生产里尽早生效的工程补丁。
与空日志条目配套的是强制复制(force replication):新 Leader 以自身日志为准,把冲突段整体覆盖。lab 的 Node.AppendEntries 在 Follower 侧执行的就是这件事——logMatchPrefix 检查共同前缀,命中后 Log = Log[:at] 截断冲突尾巴再追加 Leader 的条目。两者合在一起描述「任期开始时的强制复制」:先立锚点(空日志条目),再统一基线(覆盖冲突)。 锚点保证旧任期悬案可以收口,覆盖保证所有 Follower 快速对齐到新 Leader 的日志。
证明链条:Log Matching → Leader Completeness → State Machine Safety
把三节的材料收拢成一条完整的归纳证明,这是 Raft 论文第 5.4 节的核心论证。目标:任意节点在同一 index 只会应用同一条日志。
提交时必然在 Leader 日志中。任何被提交的条目,提交瞬间必然存在于当时 Leader 的日志里(提交的定义:Leader 收到多数确认后推进 commitIndex,而 commitIndex 永远指向自己日志内的下标)。
之后每个 Leader 都持有它。由 Leader 完整性(7.2),被提交的条目在之后所有更高任期的 Leader 日志中都存在;又因为日志只追加,这些条目永远不会被删除。
Follower 应用它时内容必然一致。假设某 Follower 在下标 i 应用了一条日志。它应用的前提是该条目已提交,而已提交条目在 i 处的内容由第 2 步唯一确定。Follower 的日志在该 index 的条目是从某个 Leader 通过 AppendEntries 复制来的,若它与已提交条目相同,由 Log Matching 性质,整条前缀一致,应用结果必然一致。
没有第二种可能性。若另一个节点在 i 处应用了不同条目,那么它的 i 处条目必须也是已提交的(只应用已提交条目),但已提交条目在第 2 步已被证明在 i 处唯一——矛盾。
归纳的骨架一句话:Leader 完整性把「已提交」变成一个不随时间变化的事实,Log Matching 把「同 index 即同内容」变成一个结构性事实,两者叠加,应用环节再无分叉的可能。 这也是为什么 7.1/7.2 的每条规则都不可或缺——去掉任何一条,第 2 步或第 3 步就会断掉。
用「删规则」的思维反向检验这条链,四条规则各守一个环节:删掉选举限制(7.1),旧日志 Leader 可能当选,Leader 完整性从第一步失守;删掉日志只追加(7.2),已提交条目可能在任期内被删,第 2 步失效;删掉「只提交当前任期」,提交边界可能在换届时被旧多数派的巧合推动,第 1 步失效;删掉 Log Matching 的冲突截断,Follower 可能保留与 Leader 不一致的条目,第 3 步失效。四个下标正好封死所有能产生分叉的路径,这正是第 7 章三节各配一个 lab 验证的原因。
用「对下标 i 归纳」的形式再复述一遍:基础情形,i 之前的条目已在所有节点一致应用,任何新 Leader 当选时日志在 i 之前与已提交日志一致(Leader 完整性 + 日志匹配)。归纳步,若某节点在 i 应用了条目,则该条目必已提交;已提交条目在每个 Leader 日志中唯一(第 2 步);任何 Follower 从 Leader 复制到的 i 处条目,由 Log Matching 保证与已提交者一致。于是任意节点在 i 处应用的内容相同,归纳贯穿所有下标。注意这个归纳不假设任何节点同时应用,只要求「一旦应用,内容确定」——这正是安全性质与活性性质的典型分工。
etcd 应用层:backend 的 batch apply 与幂等应用
证明给出的是「不会分叉」,生产实现还要回答「怎么高效、怎么防重放」。etcd 的应用路径分两层:
顺序应用。 etcdserver/server.go 的 applyEntries 拿到已提交条目后,只处理 appliedi+1 之后的增量,逐个交给 applyEntryNormal。后者先做幂等检查:若 e.Index <= s.consistIndex.ConsistentIndex() 直接返回(“do not re-apply applied entries”),否则先把 consistentIndex 置为 e.Index,再写入 mvcc 状态机,最后 setAppliedIndex(e.Index) 原子更新已应用下标。
批量落盘。 写入不是逐条 fsync 的,而是走 backend.BatchTx()(bolt 的批处理事务):一批命令合并成一次事务,按 batchInterval(时间)或 batchLimit(条数)触发提交落盘。批量提交把「每条日志一次随机写」摊薄成「一批一次顺序写」,这是 etcd 吞吐的关键——14 章的 fsync 与批量提交主题会展开量级。
两个可复算的默认参数值得记住:batchInterval 是 100ms,batchLimit 是 10000 条。意思是一个应用批次最迟 100ms、或最多攒 10000 条写入就提交一次。对写入速率稳定的集群,批量大小由速率决定:10k 写入/秒时每批约 1000 条、提交频率约 10 次/秒;fsync 次数从每秒 10k 次降到 10 次,换来约一个 batchInterval 的提交延迟上限。这笔「吞吐换延迟」的账,正是第 15 章一致性 vs 性能权衡的主题。
批量提交之外,应用本身是严格串行的:etcd 的 applyAll 路径上 applySnapshot → applyEntries → 触发快照由单个 goroutine 顺序执行,不做并发。串行的原因正是状态机安全——如果两条日志被并发应用到同一个 mvcc 事务里,顺序就失去了定义。lab 的 Node.Apply 同样在一个 for 循环里按序应用,没有任何分支能把两个命令并行落地。批量与串行并不矛盾:批量是把 N 条写入合并成一次事务落盘(磁盘效率),串行是保证 N 条写入的先后顺序固定(状态机一致)。
幂等应用靠 persistent consistent_index。 每次应用前写入的 consistent_index 并非只在内存:它落在 backend 的 meta 桶(mvcc/kvstore.go 里键名就是 "consistent_index"),重启恢复时 mvcc 的 restore 从桶里读回该值。于是崩溃后重放 WAL 时,凡 index 不大于 consistent_index 的条目都不会被重复应用。这套机制与 lab 的 Node.Apply(按 (ApplyIndex, CommitIndex] 顺序应用到 StateMachine)一一对应——lab 靠 ApplyIndex 记进度,etcd 靠持久化的 consistent_index 记进度,目标相同:每条已提交日志恰好应用一次,且顺序全局一致。
本节 lab
TestStateMachineSafety 验证「移除旧 Leader 后新 Leader 仍保留已提交命令」,正好覆盖本节的核心推论。它的测试路径走的就是本节的完整逻辑——先提交、再换主、最后断言状态机不变:
leaderCommitting让 5 节点集群选主,提交set:k=v、set:k2=v2两条命令到多数派并完成应用;s.RemoveNode(l.ID)移除旧 Leader(模拟故障/分区隔离);StepUntilLeader(500)让剩余节点选出一个新 Leader;- 断言新 Leader 的
StateMachine里两条已提交命令都存在,缺任何一条就t.Fatalf。
为什么这个断言能证明状态机安全?新 Leader 不是从提交现场继承状态的——它靠的是日志:被提交的命令存在于多数派日志中,新 Leader 凭借 7.1 的选举限制当选时日志已含它们,应用层在当选后的追赶与 apply 过程中把它们落到自己的 StateMachine。配套的 AppendEntries 负责把新 Leader 日志对齐到全体节点,Apply 负责按序应用。
对比前两节的 lab 可以看到三个测试分别踩住证明链的起点、保持、终点:TestElectionRestriction 验证「谁配当选」,TestLeaderAppendOnly 验证「当选后日志只增不减」,TestStateMachineSafety 验证「换了 Leader,状态机不变」。这里 RemoveNode 模拟的不是普通故障,而是把旧 Leader 从集群配置里摘除(成员变更的极端形式,第 8 章展开)——新 Leader 完全从剩余节点里产生,这正是「任意 Leader 都持全部已提交日志」的最强考验。运行:
cd private/labs/k8s-etcd-lab
go test ./raft -run TestStateMachineSafety -v
输出 PASS 说明:旧 Leader 被移除后,新 Leader 的日志与状态机仍保留全部已提交命令,且全体节点以相同顺序应用相同日志——状态机安全在仿真中成立,第 7 章的安全证明链在此收口。
把第 7 章三节串成一句话的完整结论:选举限制保证每个任期只有日志不落后的节点能当选(7.1),日志只追加让已提交条目在后续每个 Leader 中都存在(7.2),再配合「只提交当前任期日志」与任期开始的强制复制,所有节点以相同顺序应用相同日志(7.3)。这三条性质共同把「Raft 是一个安全的一致性协议」从论文的断言变成了生产代码里可以逐行对质的事实——也是后面第 8 章成员变更、第 9 章快照、第 10 章线性一致读能放心展开的前提。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。