8.3 单步变更与 etcd learner
8.2 的联合共识在数学上最干净,但 etcd 对外长期使用的其实是更朴素的一招:单步变更(one-at-a-time)——每次只加一个或只删一个节点。再配合 V3.4 引入的 learner,就同时解决了「变更安全」和「新成员慢」两个问题。这一节把它们讲透,并给一份可直接照着做的 3→5 扩容演练。
单步变更:每次只动一个节点
单步变更的约束一句话:相邻两次配置之间,恰好差一个节点。
- 加节点:C_old = {1,2,3} → C_new = {1,2,3,4};
- 删节点:C_old = {1,2,3} → C_new = {1,2};
- 替换:拆成两步——先删坏节点 C_old={1,2,3}→C_new={1,2},再加新节点 C_new={1,2}→C_final={1,2,4}。
这个约束的价值在于数学上的白送性质:C_old 与 C_new 的交集非空。只要集群原成员数 ≥ 2,删掉一个或加进一个,新旧配置至少共享 2 - 1 = 1 个节点。回忆 8.1 的脑裂反例——两个多数派不相交的前提是配置变化能一次跨过多个成员;单步变更把这个可能直接掐断:任何旧配置多数派与新配置多数派必然在新旧交集里相撞。
因此单步变更不需要双多数、不需要联合态,Leader 只需:
- 追加一条「新配置」日志;
- 按新配置的多数派确认后提交;
- 提交后旧配置失效。
因为每一步交集非空,旧、新多数派永远相交,不会出现 8.1 的两个不相交多数派。代价是慢:5→3 缩容必须 5→4→3 两步走,不能一步到位;替换也必须先删后加,中间必然经过一个更小的集群。
单步变更的 quorum 过渡带
单步变更虽安全,但每次跨过一个整数边界时,quorum 会经历一段「过渡带」,值得单独看:
| 操作 | 成员变化 | quorum 变化 | 容错变化 |
|---|---|---|---|
| 加第 1 个(3→4) | 2 → 3 | 1 → 1 | 不变(仍只能丢 1 台) |
| 加第 2 个(4→5) | 3 → 3 | 1 → 2 | 变好(可丢 2 台) |
| 删 1 个(5→4) | 3 → 3 | 2 → 1 | 变差 |
| 删 1 个(4→3) | 3 → 2 | 1 → 1 | 不变 |
单步变更的工程含义很清楚:3→4 这一半程只增加容量、不增加容错,所以生产扩容的标准动作是「一次补两个、凑成奇数」——3 直接扩到 5,把两段过渡带一次走完,避免长期停在 4 节点这种「多花钱、不多扛故障」的状态。而缩容 5→3 也必须分两步,中途 4 节点期容错只有 1,操作窗口要挑业务低峰。
learner:先当「观察员」,追平再转正
单步变更解决了脑裂,却没解决另一个问题:新加入的节点日志是空的,一进入 quorum 就拖累全集群。
设想 3 节点集群直接 member add 一个空日志节点。配置变成 {1,2,3,4},quorum 立刻从 2 涨到 3。之后 Leader 每次提交都要等 3 个确认;而这个新节点要先从快照开始把几 GB 日志追平,期间它既没有最新已提交命令(无法可靠投票),又会把每次 commit 的延迟拖到它的同步速度上。更糟的是 8.1 表格显示 4 节点容错只有 1——扩容进行到一半,集群反而更脆。
etcd V3.4 的答案是把「加节点」拆成两个动作:
- 以 learner 身份加入:
member add --learner。learner 进入集群,但raft包的语义是:它不投票、不参与选举、不进入 quorum 计算,只接收日志复制(AppendEntries 正常发给它)。它相当于一个「观察员」,先把数据和状态同步到最新,不给集群添任何负担。 - 晋升为正式投票成员:日志追平后执行
member promote。learner 转为 Voters,正式进入 quorum,此时它已经具备投票能力,不会再拖慢 commit。
learner 的生命周期可以抽象成四态:
| 阶段 | 角色 | 是否投票 | 是否进入 quorum | 日志状态 |
|---|---|---|---|---|
| 刚加入 | learner | 否 | 否 | 空,落后 Leader 很多 |
| 同步中 | learner | 否 | 否 | 通过快照 + 日志追赶 |
| 追平 | learner(待晋升) | 否 | 否 | 与 Leader 基本齐平 |
| 晋升后 | Voter(Follower) | 是 | 是 | 完整 |
注意第二个问题的根治:因为 learner 不进入 quorum,它在追平期间的慢,完全不改变集群的多数派大小和延迟。3 节点 + 1 个 learner 的 quorum 还是 2,集群照常容 1 故障。
learner 的数据流:它怎么追上日志
learner 追日志的机制和普通 follower 相同,只是不带投票:Leader 通过进度表跟踪 learner 的 nextIndex,从 nextIndex 开始发 AppendEntries;如果 learner 落后太多(超过快照阈值),Leader 直接发 InstallSnapshot,让它一步落到快照包含的状态,再继续增量同步。
具体路径:
- 快照兜底:learner 刚加入时日志为空,Leader 判断
nextIndex已经落到快照边界之前,改为发 InstallSnapshot。learner 安装快照后CommitIndex推进到快照包含位置,立刻获得完整的历史状态。 - 增量追赶:快照装完,
nextIndex跳到快照末尾,Leader 继续发后续 AppendEntries,逐条补齐快照之后的日志。 - 追平判定:learner 的
matchIndex追上 Leader 的lastLogIndex(或落后在一个容忍阈值内),即可认为追平,允许 Promote。
这条路径在 raft/replication_test.go 的 TestInstallSnapshot 里有等价演示:新节点安装快照后状态机与 commit 立刻对齐,不用重放全部日志。learner 正是把「同步」阶段放到「投票」之前,让最重的快照传输发生在集群不依赖它的时候。
为什么 learner 解决「新成员慢、拖垮集群」
把因果链摆出来就清楚:
- 没有 learner:新节点加入的瞬间就获得投票权 → 它进入 quorum → Leader 提交必须等它确认 → 它日志落后,跟不上 → commit 延迟被拉长;若它恰好是那个不确认的少数,集群甚至无法提交。
- 有 learner:新节点先同步 → 同步期间它不在 quorum 里,集群行为与加节点前一模一样 → 追平后 Promote 转正 → 转正时刻它的日志已是最新,加入 quorum 不会引起任何确认延迟。
还有一个连带好处:Promote 本身是一次单步变更,继承上一小节的交集非空保证,所以 learner 转正不破坏一致性。这也正是 etcd 把「learner → promote」设计成标准路径的原因——它把「慢节点加入」从集群一致性风险降级为「纯运维等待」。
learner 不进入 quorum 计算
在 lab 里,learner 的实现直接就是「不算票」:votingNodes() 把角色为 learner(Role == -1)的节点排除,majority() 只统计 votingNodes()。看 sim.go:
func (s *Sim) majority() int { return len(s.votingNodes())/2 + 1 }
于是 3 节点集群加 1 个 learner,votingNodes() 仍是 3,quorum 仍是 2;只有 Promote 把 learner 的角色改回 Follower 后,votingNodes() 变 4,quorum 才涨到 3。learner 的日志复制不走选举广播——broadcast 对 MsgRequestVote/MsgPreVote 跳过 learner,但 AppendEntries 照发。这在 lab 的测试里有直接断言。
etcd 命令与生产扩容演练
etcd 侧的日常命令(etcd v3.4+):
# 查看当前成员与角色(learner 会显示 isLearner=true)
etcdctl member list -w table
# 以 learner 身份加入新节点,--learner 是关键参数
etcdctl member add new-node \
--learner=true \
--peer-urls=https://10.0.0.4:2380
# 新节点启动并追平日志后,晋升为正式投票成员
etcdctl member promote <member-id>
# 缩容
etcdctl member remove <member-id>
一份可执行的 3→5 扩容演练(两个新增节点按编号 4、5):
- 前置门禁:确认现有 3 节点健康——
etcdctl endpoint health全部 healthy,etcdctl endpoint status的 applied index 一致,无告警。 - 加 learner 4:
member add node-4 --learner=true --peer-urls=https://10.0.0.4:2380,得到 member-id 后在新机器上启动 etcd。此刻集群仍按 3 节点 quorum=2 运行,加号不改变可用性。 - 等待追平:
etcdctl member list -w table观察 node-4 仍为 learner;etcdctl endpoint status --endpoints=...对比 node-4 与 Leader 的 applied index,追平(或落后在阈值内)才允许 Promote。同步慢的大集群可先依赖快照,别硬等全量日志。 - 晋升 node-4:
etcdctl member promote <node-4-id>。配置变 4 节点,quorum=3,容错暂时回到 1——这是整个演练最脆弱的窗口。 - 加 learner 5、追平、晋升:重复第 2–4 步。完成后再做一次全量健康检查,确认 5 节点 quorum=3、容错 2。
- 退出门禁:连续观察若干分钟,无选举抖动、无频繁 leader 切换、watch 正常推送,扩容才算完成。
两个铁律:新增节点一律先 learner 后 promote,绝不 member add 直接当 Voter 进生产;最终成员数保持奇数——如果你要扩到 4,宁可多扩一个到 5,也不要停在 4(quorum=3 且容错只有 1)。
常见失败模式与处理
演练会失败,提前列出常见情况和应对:
- learner 长时间追不平:磁盘慢、peer 网络不通、或数据量大到快照反复过期。处理:检查
etcdctl endpoint status的 applied index 是否在涨;若一直停滞,删掉该 learner 重新加入,别让一个半死的 learner 占着 member list。 - Promote 失败:多发生在日志尚未真正追平或集群刚好发生选举时。处理:Promote 是一个单步变更,失败通常安全回滚,重试即可;重试前先确认 applied index 追平。
- 误 remove 掉健康节点:单步变更一旦提交,被删节点立刻失去投票权,它自己也可能没收到配置条目而继续以旧配置运行。处理:误删的补救是立即
member add加回(又是一个单步),并在操作窗口内密切观察 quorum。 - 扩容过程中 Leader 恰好故障:4 节点 quorum=3 的脆弱期,如果 Leader 挂了且同步中的节点还没追平,可能卡在选举。处理:尽量在低峰扩容,缩短脆弱窗口(learner 追平后立即 Promote)。
这四种模式有一个共同教训:成员变更不是「改完就跑」,而是一个有持续时间的操作,期间要把集群当「手术中」对待。
learner 与快照阈值的关系
learner 的追赶速度取决于 Leader 的快照策略。etcd 有一个关键阈值:当某个 follower 落后 Leader 超过一定距离(默认 snapshot-count,约 10 万条日志)时,Leader 不再补增量,改为发快照。learner 刚加入时必然落在快照区,所以它拿到的第一批数据是 InstallSnapshot,而不是逐条日志。
这个设计的含义:
- 追赶时间 ≈ 快照传输 + 快照之后的增量,与历史日志总量无关——learner 不用重放集群诞生以来的每条命令。
- 快照传输可能很大(etcd 快照常见数百 MB 到数 GB),所以 learner 同步窗口可以长达几分钟;正因为 learner 不参与 quorum,这几分钟对在线集群零影响。
- 如果集群写压高、快照频繁过期,learner 可能追不上(装完一个快照,Leader 又推进了几十万条)。处理是等低峰扩容,或临时调大 snapshot 间隔让 Leader 多走增量、少打快照。
这条路径在 lab 里有对应物:TestInstallSnapshot(9.2)演示新节点通过 InstallSnapshot 一步对齐到快照状态、不用重放全部日志——learner 追平依赖的正是这条路径。
本节 lab
本节 lab 直接演示 learner 的核心语义:不投票、不被选举、晋升后才进 quorum。源码在 private/labs/k8s-etcd-lab/raft/membership.go:AddLearner 以 Role == -1 的 learner 角色加节点,Promote 把 learner 改成 Follower,votingNodes/majority 只统计非 learner。
cd private/labs/k8s-etcd-lab
go test ./raft -run TestLearnerDoesNotVote -v
测试 TestLearnerDoesNotVote(raft/replication_test.go)按三步断言:
NewSim(3, 3)建 3 节点集群后AddLearner(5),majority()仍为 2——learner 不改变 quorum;StepUntilLeader(200)反复运行选举,断言选出的 Leader 不可能是节点 5,且 learner 节点从未进入 Candidate/Leader 角色——learner 不被选为 Leader、不参与选举;Promote(5)后majority()变为 3——晋升后 quorum 增大。
这 3 条断言把正文的结论钉死:learner 在整个追平期间对集群的多数派大小零影响,唯一的 quorum 变化发生在 Promote 转正的那一刻。结合 TestMembershipAddChangesQuorum(8.2 的 lab),你就同时验证了单步变更的「一次一个」与 learner 的「先观察再投票」两条安全线。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。