4.3 Raft 集群结构:角色、任期、quorum 与日志
上一节解释了 Raft 相对 Paxos 的动机,这一节把它转成「图纸」:一个 Raft 集群由哪些部件组成、这些部件怎么协同、能容忍多大故障。角色、任期、日志、quorum 是 Raft 的四个地基概念,之后 5.1 的选举、5.2 的日志复制、5.3 的异常场景全都建立在这四个概念之上。
读这一节时保持一个视角:Raft 的所有设计都在回答同一个问题——在一个没有全局时钟、节点会崩溃、消息可能乱序的网络里,怎么让所有副本按同一个顺序执行同一批命令。 角色决定谁有权写,任期给事件排序,日志承载顺序,quorum 划定多少节点点头才算数。这一节先建立静态结构,5.1 节起这些结构才会真正运动起来。
三角色状态机
Raft 把每个节点的角色压成三种,任何时刻一个节点恰好处于其中一种。状态转移被设计得尽可能简单,目的就是让「这个节点现在是什么角色、为什么」一眼可判:
| 当前角色 | 可迁移到 | 触发条件 | 迁移后的首个动作 |
|---|---|---|---|
| Follower | Candidate | 选举超时且未收到有效心跳/AppendEntries | 任期 +1,发起竞选 |
| Follower | Follower(重置) | 收到合法消息,任期对齐 | 更新任期,重置选举定时器 |
| Candidate | Leader | 获得多数票(quorum) | 立即广播空 AppendEntries(心跳) |
| Candidate | Follower | 收到更高任期的 Leader 或 Candidate 消息 | 承认落选,降级跟随 |
| Leader | Follower | 收到更高任期消息(如新 Leader 心跳) | 认输退位,恢复跟随 |
- Follower 是默认角色:它不主动发起任何写操作,只响应来自候选人和 leader 的消息,并持续等待。它的「存在感」由两件事维持:自己的选举定时器,以及收到的 leader 心跳。定时器先到期而没等到心跳,它就去竞选。
- Candidate 是过渡角色:选举进行中,它一边给自己投票、一边向所有节点广播
RequestVote,直到获得多数票晋级 Leader,或收到更高任期消息而降级。 - Leader 是唯一写者:它独占日志追加权,周期性广播心跳维持权威。K8s 里每个 etcd 集群在任一时刻都有一个 leader 承担全部写流量,这正是 4.2 说的「强领导者」假设在集群结构上的落地。
lab 仿真的 node.go 就用这三个角色建模:Role 枚举 Follower/Candidate/Leader,初始全部为 Follower,任期 0。三态之间没有第四个角色、没有「备胎」状态——这个简化是 Raft 可理解性的第一来源。
在 etcd 的真实世界里,这三种角色对应到可观测现象:etcdctl endpoint status 或 etcd 的 --print 指标会告诉你谁是 leader、谁是 follower;一个 etcd 节点在故障日志里反复出现 started a new election,就是它从 Follower 变 Candidate 的现场。三角色状态机不是抽象名词,而是你能在 etcdctl 输出和指标页上直接对号入座的东西。
任期:排序一切的逻辑时钟
任期(term)是 Raft 里最容易被低估、却最重要的一件东西。它本身只是一个单调递增的整数,但承担了三重职责:
第一,任期是「逻辑时钟」。 集群没有全局物理时钟,事件之间的先后靠任期对拍。每开始一次新的选举,竞选者把当前任期加 1,整个集群都以这个数字为参照对齐。lab 里节点 Term 字段初始为 0,竞选时 n.Term++,就是一次对拍。
第二,任期内最多一次选举、最多一个 leader。 每个任期内,每个节点最多投出一票(VotedFor 只记一个,-1 表示未投)。多数票规则保证同一任期最多诞生一个 leader——这是「每任期最多一个 leader」的安全性的直接来源,5.1 会展开证明。
第三,任期贯穿所有消息。 每条 RequestVote、AppendEntries 都携带发送方的任期。接收方的对齐规则只有一条,可以背下来:
发现更高任期即降级跟随。 收到
msg.Term > 自己任期的消息时,无条件更新自己的任期、把角色降为 Follower、清空本任期投票记录;收到更小或相等的任期则按角色规则处理。
lab 的 handle() 正是这么实现的:if m.Term > to.Term { to.Term = m.Term; to.Role = Follower; to.VotedFor = -1 }。这条规则的工程意义在于:一旦出现分裂或网络恢复,较高的任期会让整个集群快速收敛到一个事实 leader,而不是各持己见。任期不齐的节点之间没有「讨论」,只有「谁任期高谁说了算」。
用一张表把任期编号与事件对应起来,直观感受「逻辑时钟」的节奏:
| 任期 | 发生了什么 | 意义 |
|---|---|---|
| 0 | 集群启动,所有节点为 Follower | 初始时钟,无人当选 |
| 1 | 第一次选举,节点 2 当选 | 第一个领导期开始 |
| 2 | 节点 2 失联,节点 4 竞选 | 新选举 = 时钟前进 |
| 3 | 节点 2 恢复,发现任期 2/3 更高 | 旧 leader 自动退位跟随 |
注意任期不跟随「时间流逝」而增长,它只跟随选举增长:没有选举发生,任期可以长时间停在同一个数字。这是「逻辑」时钟与物理时钟最本质的区别。
任期对齐规则在故障恢复时是关键。设想一个 3 节点集群,leader 节点 2 在任期 1 失联,节点 4 以任期 2 当选。网络恢复后节点 2 还以为是 leader,继续广播任期 1 的 AppendEntries;节点 4 的节点收到后发现自己任期 2 更高,不理会。而节点 2 一旦收到任何任期 ≥2 的消息,就立刻降级为 Follower——集群由此回到「任期最高的单一 leader」状态。这个「高任期压过低任期」的机制不需要节点间讨论谁是权威,只需要各自对比一个整数,这就是逻辑时钟的威力。任期对齐因此是 Raft 里所有「谁说了算」问题的第一判据:消息里没有比 term 更高的权威。也正因如此,lab 里收到任何更高 term 的消息都会重置 VotedFor——旧任期的投票承诺在新任期内不作数。
日志结构:有序条目与 committed/applied 之分
Raft 把要执行的命令排成一条日志,这是复制状态机的载体。每个条目携带两个定位字段:
| 字段 | 含义 | 谁分配 |
|---|---|---|
| term | 这条日志是在哪个任期被 leader 追加的 | leader 写入时的当前任期 |
| index | 日志中的全局连续下标,从 1 开始 | leader 单调递增 |
| command | 要应用到状态机的命令 | client 提交,如 PUT key val |
term + index 一起构成条目的唯一身份。同一 term 内 index 递增;不同 term 的 index 也可能撞车(新 leader 会覆盖冲突条目,这是 5.2 的内容),所以判断「两条日志一样」必须 term 和 index 都相等。lab 的 LogEntry 结构体就是这三个字段:{Term, Index, Command},并在选举阶段只使用前两个判断日志新旧。
日志的两个关键状态,全书贯穿使用,必须先钉死:
- committed(已提交):该条目已经被复制到多数节点。只有 committed 的条目才算「定案」,系统承诺它最终会被所有节点应用到状态机。leader 知道某条目 committed 的方式是:它在自己的 term 内把它广播出去,且收到多数
AppendEntriesResponse。 - applied(已应用):该条目已经被执行、结果进入了状态机。applied 一定是 committed 的子集,但两者之间有延迟——committed 先发生,apply 是异步追赶。
用 etcd 写一个对象的路径说明:kube-apiserver 把 PUT /registry/pods/... 提交给 etcd leader;leader 把它追加到自己的日志、广播给 follower;多数确认后该条目 committed,etcd 返回写成功;随后状态机应用(applied)并更新 mvcc 版本。注意一个工程细节:leader 向 client 确认成功只等 committed,不等 applied——所以「写成功了」不代表「立刻能被线性一致读到」,这里的时间差正是卷二读扩散和租约的用武之地。
对 K8s 而言,committed/applied 的区分还意味着一个操作层面的规则:etcd 的写回包只保证日志定案,不保证状态机已经执行。如果 apiserver 写完后立即读,可能读到的是 applied 之前的旧版本;生产环境因此对「写后立即读」保持谨慎,更常用 list-watch 订阅事件流来等待状态前进。这个「先 commit、后 apply、读要追赶」的节奏,会在卷二展开成完整的读一致性模型。
对比表把两个概念钉在一起:
| 状态 | 判定条件 | 崩溃后 |
|---|---|---|
| 未提交 | 未复制到多数 | 可被新 leader 丢弃 |
| committed | 复制到多数 | 新 leader 必须保留 |
| applied | 已进入状态机 | 只增不减,只能前进 |
举一个具体的日志片段,把 term 和 index 的配合看清楚。假设 leader 在任期 3 里连续追加三条命令,集群 3 节点、quorum 2:
| index | term | command | 状态 |
|---|---|---|---|
| 1 | 2 | PUT /a 1 | committed(已复制到 2 节点) |
| 2 | 3 | PUT /b 2 | committed |
| 3 | 3 | PUT /c 3 | 已复制到 leader + 1 follower,等待多数 |
第三条命令「已复制到 leader + 1 follower」恰好是多数 2,一旦最后一个跟随者也确认、leader 收到它的 AppendEntriesResponse,它就晋升为 committed。注意 index 2、3 同属任期 3 但 index 不同——term 相同不冲突,index 才是日志内的定位坐标。
quorum 与多数派:容错的地基
quorum(法定人数)是 Raft 判定「多少节点点头算成功」的最小票数。定义朴素:q = n/2 + 1(n/2 整除向下取整),n 为集群节点数。
这个定义在 etcd 里就是「多数确认」的字面含义:一次写入至少要被 quorum 个节点在日志里确认,才算 committed。少一个都不行——所以 quorum 不是「尽量多」,而是「必须达到的最小值」。
配套的记忆方式是「quorum 即交点的保证」:任何两个 quorum 至少共享一个节点,这保证任何两次「成功」必然有一次交集,从而日志不会产生互相矛盾的两个已提交状态。
随之而来的两个推论:
- 可容忍故障数
f = n - q:最多允许f个节点同时不可用,剩余q个仍能凑成多数、继续工作。 2f + 1 = n:这是「要容 f 个故障,最少需要 2f+1 个节点」的另一种写法。因为少数派f个节点 + 多数派自己必须仍够一个 quorum,推导就是f < q即f <= n-q,取最大f时n = 2f+1。
把常见规模算出来:
| 集群节点数 n | quorum q | 可容忍故障 f | 一次性故障占比 |
|---|---|---|---|
| 1 | 1 | 0 | 0% |
| 3 | 2 | 1 | 33% |
| 5 | 3 | 2 | 40% |
| 7 | 4 | 3 | 43% |
| 9 | 5 | 4 | 44% |
两个关键直觉:为什么 3 节点容 1 故障? 因为多数是 2,剩 2 个活节点还能凑出 quorum;坏 2 个就只剩 1 个,凑不出 2。为什么 5 节点容 2 故障? 多数是 3,坏 2 个剩 3 个仍够;坏 3 个剩 2 个不够。可见故障容忍度不是「节点越多越线性」,而是 floor((n-1)/2)——这也是 etcd 集群规模一般取奇数的直接原因:偶数节点只会多花复制成本,不增加任何容错(4 节点和 3 节点同样只容 1 故障)。
多数派还有一层微妙作用:两个 quorum 必相交。上一节在 Paxos 里论证过交集非空,Raft 继承了这个性质——两个多数集合至少共享一个节点,这个共享节点保证了「已提交的日志不会被新 leader 丢弃」。所以 quorum 不只决定吞吐,它直接是正确性论证的支点。
为什么要「严格大于一半」而不是「恰好一半」?把 N=6 的两个「一半」 quorum 看成 {1,2,3} 和 {4,5,6},两者交集为空——两个互不知晓的集合都自认多数,就可能各自提交不同的命令,共识破裂。只有当 quorum 严格超过一半,任意两个多数才必然相交。lab 的 majority() 实现是 len(Nodes)/2 + 1(整除向下取整),5 节点返回 3,6 节点也返回 3——6 节点时 3 不是多数,这个函数算的是「超过一半的最小整数」,语义上正是 floor(n/2)+1。
集群规模选择:3 vs 5 的权衡
既然容错靠奇数规模就能满足,生产上到底用 3 还是 5?这个选择题本质是延迟、成本与可用性的三角权衡,etcd 的官方建议也落在这两个数字上。
3 节点:写入延迟最低,适合绝大多数 K8s 集群。
- 每次写入只要 2 个节点确认(leader 自己 + 1 个 follower),多数确认的最长等待是「leader 收到最慢那个多数成员响应」的时间,网络跳数少、延迟尾巴更短。
- 运维简单:3 个 etcd 成员通常分到 3 个可用区,成本是控制面的主要开销之一。
- 代价:只能容 1 节点故障。坏 2 个(比如某节点维护中 + 另一个宕机)就失去 quorum,整个控制面只读不可写。
5 节点:可用性更高,写入延迟略增,适合大型或跨区集群。
- 多数确认要 3 个节点,写延迟的「最慢多数成员」可能落在第三个节点上,典型写入延迟比 3 节点高一小截。
- 容 2 故障:任一节点维护、甚至「一个节点维护 + 一个节点故障」同时发生时,仍能保持读写。
- 代价:多 2 个成员 = 更多心跳流量、更多磁盘与网络资源,扩缩容也要走配置变更协议。
用一张决策表收口:
| 考量 | 3 节点 | 5 节点 |
|---|---|---|
| quorum / 容错 | 2 / 容 1 | 3 / 容 2 |
| 写入多数确认成本 | 2 个响应 | 3 个响应 |
| 可同时故障 | 1 个 | 2 个 |
| 适用场景 | 中小集群、单/双可用区 | 大型集群、跨可用区、追求高可用 |
| 典型成员分布 | 3 AZ 各 1 | 5 AZ 或 3 AZ(2+2+1) |
K8s 控制面里 etcd 的选择规律:开发/测试集群用 3 节点足以;生产集群若可接受「任一节点维护期间另一节点不能宕机」则 3 节点,否则上 5 节点。真正要避免的是偶数节点和一个节点都不坏也照样慢的病态部署——前者不增容错,后者说明 quorum 的通信模型没被尊重。
实际运维里还有一个容易被忽略的点:etcd 节点数要稳定。把一个 3 节点集群临时扩到 4 再缩回 3,会各触发一次配置变更,期间 quorum 口径变化、提交边界被扰动;多次「加一台、减一台」的抖动比保持 3 或 5 不动更容易暴露日志复制的边界问题。K8s 生产集群往往把 etcd 作为独立控制面成员部署,用 StatefulSet 或静态 Pod 固定成员名单,就是这个道理——规模先想清楚,扩缩容走显式协议,而不是随手改。
本节 lab
本节的 lab 是 TestQuorumMath。它遍历 n ∈ {1, 3, 5, 7, 9},按 q = n/2 + 1 算多数、f = n - q 算可容忍故障,断言两件事:q 必须严格大于 n/2(否则凑不成多数),且 2f+1 必须精确等于 n。这正是本节「quorum 与多数派」一节的公式验证,5 个规模的表格也就在测试循环里:
cd private/labs/k8s-etcd-lab
go test ./raft -run TestQuorumMath -v
跑通后建议顺手改一个数试试:把循环里的某个 n 改成偶数(比如 4),测试会立刻失败——2f+1 = 4 不成立,直观印证「偶数节点不增加容错」的结论。下一节 5.1 起,角色与任期就要真正动起来:选举协议怎么用这套结构选出唯一的 leader。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。