13.2 控制面/节点/数据面分区的表现与恢复
13.1 节的脑裂讨论局限于 etcd 复制组,但一个 Kubernetes 集群是一个多层系统:etcd 承载元数据,控制面组件消费元数据,节点与数据平面提供计算与存储。同一条物理网络故障,落在不同层会呈现完全不同的症状。本节给「分区」按对象分层,逐类说清表现、可用性代价与恢复路径。
分区要按「面」来判,不按「节点」来判
排查集群分区时最常见的错误是把「哪个节点不通」当成问题的全部。实际上同一节点可以同时属于多个逻辑面:它既是控制面 apiserver 的宿主,也是工作负载的数据平面成员。分区判定的单位不是节点,而是「哪个面失去了法定人数」。lab 的 FaceOf(kind) 把分区归成四种典型面,每一种的 WritesOK / DataLoss / Degraded 三件套决定它对外呈现的语义:
| 面 | WritesOK | DataLoss | Degraded | 一句话语义 |
|---|---|---|---|---|
| 控制面(多数派) | 是 | 否 | 否 | 一切照常,元数据写可用 |
| 控制面(少数派) | 否 | 否 | 是 | 写被拒,但不丢数据 |
| 节点 | 是 | 否 | 是 | 写可用,受影响负载不可达 |
| 数据面 | 否 | 否 | 是 | 有状态副本失去多数派,拒写保数据 |
这张矩阵是全节的骨架。注意一个反直觉的点:大多数分区是「降级」而不是「崩溃」,是「拒写」而不是「丢数据」。DataLoss 这一列在四种典型面里全部为「否」——这正是上一节仲裁的意义:宁可不可用,不让数据撕裂。
控制面分区:多数派写可用,少数派写被拒
控制面由一组 apiserver 与背后的 etcd 构成。分区发生时:
- 多数派一侧:etcd 仍够法定人数,apiserver 照常服务。
WritesOK=true,对象创建/更新继续提交,resourceVersion继续前进。这一侧的 kubelet 与控制器工作完全正常,集群对外「看起来没坏」。 - 少数派一侧:apiserver 进程可能还活着、还能接受请求,但向 etcd 的写会因
no leader或提交超时失败。WritesOK=false,但DataLoss=false——写失败的对象没有被部分写入,事务要么整体提交要么整体不生效。
少数派一侧的客户端看到的现象值得强调:kubectl 可能还连得上,只是 apply 会报错。这制造了一种「能读不能写」的错觉,让运维误以为是 RBAC 或限流问题。判定方法很简单:kubectl create 报错而 kubectl get 正常,且错误指向 etcd 提交超时,就该怀疑控制面分区而非权限。
节点分区:写可用,但受影响负载降级
节点分区是最常见也最容易被误判的一类:节点 kubelet 与控制面断开,但节点本身仍在运行,节点上的 Pod 也仍在运行。此时:
- 控制面是完整的,etcd 有法定人数,元数据写照常可用(
WritesOK=true)。 - 受影响节点上的 Pod 与 apiserver 失联:健康检查上报中断、Pod 状态停留在旧值、调度器不会把新 Pod 放到这个「看不见」的节点上。
- 节点上已有的容器仍在执行,但无法接受来自控制面的新指令(如滚动更新的新版本拉取、scale 指令)。
Degraded=true 说的是这种「进程活着但控制通道断了」的中间态。它比硬故障难处理得多:节点还占着资源、还跑着副本,但调度器与控制器都拿它当不存在。如果节点最终恢复,Pod 状态被重新上报,通常能无痕追上;如果节点永不恢复,超时后控制面会把其上的 Pod 判定为不可用,触发重建。
节点分区的两个恢复窗口
节点分区的恢复不是一个瞬间,而是两个先后发生的窗口,搞混它们会让排障在「半恢复」状态下反复绕圈:
| 恢复窗口 | 发生什么 | 可观测标志 |
|---|---|---|
| 物理窗口 | 节点与控制面的网络恢复,kubelet 重新上报心跳 | kubectl get node 从 NotReady 回 Ready |
| 逻辑窗口 | 节点上的 Pod 状态与控制面重新对齐,失联期间的变更被追赶 | Pod 状态更新、DaemonSet 补拉、控制器认可 |
物理窗口只代表「能通信了」,逻辑窗口才代表「账对上了」。很多「恢复后又出问题」的案例,都是物理窗口通过、逻辑窗口还没完成——例如滚动更新期间节点短暂失联,物理恢复后新旧 ReplicaSet 的计数对不上,控制器要再花一轮 reconcile 才收敛。判定「恢复完成」要看逻辑窗口的判据(Pod 状态、副本数、controller 无 diff),而不是节点 Ready 状态。
数据面分区:失去多数派就拒写
数据面指真正持有状态的组件:etcd 自身是状态,第 8 章有状态应用的副本也是状态。数据面分区的典型形态有两种:
| 形态 | 场景 | 后果 |
|---|---|---|
| etcd 复制组分区 | 控制面背后的存储被切断 | 少数派侧 apiserver 写被拒(上一节) |
| 有状态应用副本分区 | 三副本被切成一侧 2、一侧 1 | 2 副本侧可写,1 副本侧拒写并降级 |
以第 8.1 节的三副本有状态应用为例:分区成 2:1 后,2 副本一侧满足 quorum=2,可继续写;孤立副本拒绝写、只提供过期读。WritesOK=false、DataLoss=false——孤立副本的写被拒,它的数据不会「另起炉灶」,恢复后以多数派一侧的数据为准。这与 etcd 的行为完全同构,只是对象从 KV 换成了应用数据。
如何判定当前是哪个面在分区
分区排障的第一个动作不是查网络,而是用「现象 → 面」的反查表定位受害者。把上一节的面矩阵反过来用:
| 观测现象 | 最可能的面 | 下一步动作 |
|---|---|---|
kubectl apply 超时、kubectl get 正常 | 控制面(少数派侧) | 查 etcd 成员连通性 |
部分节点 NotReady,其余集群写正常 | 节点分区 | 查该节点 kubelet 与 apiserver 通道 |
| 有状态应用写报错、无状态应用正常 | 数据面(该应用副本) | 查应用复制组成员与多数派 |
| 全部写都超时、etcd 无 Leader | 控制面失去多数派 | 先恢复 etcd 法定人数,再谈其余 |
这张表的判据是「先找哪个面失去多数派」。多数派还活着时,问题被局限在少数派侧,恢复优先级是「救少数派(等待网络)或隔离少数派(尽快降级)」;控制面整体失去多数派时,所有其他症状都只是果不是因,必须先从 etcd 法定人数入手。
分区表现可以组合:一个交换机,多种症状
真实故障不会只切一面。一个跨机架交换机宕机,可能同时制造「控制面多数派」与「数据面少数派」:
| 受影响的系统 | 落在哪一侧 | 表现 |
|---|---|---|
| etcd 成员 | 多数派(2 个在 A 机架 + 1 个独立) | 控制面写可用 |
| 有状态应用副本 | 少数派(2 副本全在 B 机架) | 该应用写被拒、只读降级 |
| 无状态工作负载 | A 机架节点正常 | 正常;B 机架节点失联、Pod 不可达 |
| 客户端到 B 机架入口 | 不可达 | 用户流量报 502/超时 |
排障顺序因此有讲究:先看哪个面失去了多数派,再追物理故障。如果控制面多数派仍在,集群整体可用,优先处置数据面少数派上的有状态应用;只有控制面自身失去多数派,才需要优先处置 etcd。这个优先级来自表格里 WritesOK 的分布——多数派侧的系统优先恢复,少数派侧的系统等待网络回归。
恢复:追赶日志把少数派拉回主线
分区恢复后的第一件事不是「合并两边数据」,而是少数派向多数派追赶(catch-up)。lab 的 Recovery 类型把这段过程记账为两个数字:
| 字段 | 含义 | 例子 |
|---|---|---|
LostRev | 隔离期间错过的 revision 数 | 100(落后 100 条写) |
CatchUp | 已追赶上的 revision 数 | 0 → 90 → 100 |
CaughtUp() 判定 CatchUp >= LostRev——追平即恢复完成。这套记账揭示了几件容易被忽略的事实:
- 追赶是从多数派 Leader 拉日志,不是「把两边 diff 一下合并」。孤立一侧没有产生任何新提交(拒写保证了这点),它只是落后,所以追赶是单向的。
- 追赶的量取决于隔离时长与写入速率:
LostRev越大,恢复窗口越长。对高频写的 etcd,一个小时的隔离可能积压数十万条 revision,追赶期间该成员还不能对外服务写请求。 - 追平后还有一个「追上后确认」的步骤:成员要重新进入 Leader 的已提交列表,才能重新参与法定人数。追平日志 ≠ 重新可写,中间隔着一次重新确认。
Kubernetes 世界里追赶的实例很多:etcd 成员重启后回放 WAL、kubelet 与 apiserver 失联后重新同步 Pod 状态、第 8.3 节有状态应用故障转移后新主把旧从补齐到最新。它们的共同形态都是「以多数派时间线为准,单向补齐落后量」。
不同面的恢复速度对比
追赶不是免费的,不同面的「落后量」与「追赶成本」差异很大,规划 RTO/RPO 时要分开算:
| 面 | 落后量的决定因素 | 追赶成本 | 恢复判据 |
|---|---|---|---|
| etcd 控制面 | 隔离时长 × 写速率 | WAL 回放,通常分钟级 | 成员追平且重新计入 quorum |
| 有状态应用副本 | 隔离时长 × 应用写速率 | 增量复制或全量快照 | 副本追平到最新 index |
| 节点 kubelet | 隔离时长内对象变更数 | 增量 diff 比对 | Pod 状态对齐、控制器无 diff |
注意第二行:有状态应用的追赶成本可能远超 etcd。若隔离期间应用写入量巨大,增量复制追不上,就需要退到快照+重放(第 9 章的恢复手段),这时的 RPO 不再是「最后一条成功写」,而是「快照时间点」。规划恢复时先问「落后量多大、追得上吗」,再定「要不要提前做快照」。
恢复的工程清单
把「分区恢复」做成可验证的流程,逐项核对:
| 检查项 | 判据 | 漏掉的后果 |
|---|---|---|
| 确认多数派侧系统先恢复 | 多数派侧 WritesOK 先回到真 | 先救少数派,白费力气 |
| 隔离期间少数派未产生新提交 | 少数派日志 revision 不前进 | 若前进过,说明拒写失效,双主风险 |
| 追赶是单向的 | 新 Leader 下发、旧成员接收 | 误做双向合并,数据错乱 |
| 追平后重新确认 | CaughtUp 后重新计入 quorum | 追上即放行,重新选举时缺员 |
记录 LostRev 与追赶时长 | 恢复报告含两个数字 | 无法复盘恢复耗时与积压量 |
这张清单与第 9.3 节 etcd 备份恢复、第 8.3 节故障转移的恢复判据互相呼应:恢复的终点不是「所有成员在线」,而是「所有成员追平且重新计入多数派」。
分区演练:把恢复变成可检验的流程
本节的面矩阵与恢复判据,如果不做演练就只是一张纸。Kubernetes 生态里最常见的做法是把分区恢复拆成可反复执行的小实验:
| 演练步骤 | 注入什么 | 验证什么 |
|---|---|---|
| 切断单个 etcd 成员的网络 | 模拟少数派 | 多数派照常提交,少数派拒写 |
| 隔离一个节点 30 秒 | 模拟节点分区 | Pod 降级但控制面写可用 |
| 恢复网络后立刻探测 | 观察追赶 | 成员追平、重新计入 quorum |
| 全程断言不变量 | 持续检查 | 已提交数据不丢、无双主 |
这类演练的价值在「把恢复时间从事故现场的慌乱,变成流程里的既定步骤」。第 14 章会用混沌实验把这套演练系统化——本节的面矩阵就是第 14.3 节故障注入要验证的承诺清单。
三个常见误解
- 「分区就是节点失联,节点恢复就等于集群恢复」——错误。节点恢复只是物理层恢复;逻辑层要看它追平日志并重新计入多数派,后者才是可用的判据。
- 「少数派侧写失败会丢数据,因为写请求已经发出去了」——错误。少数派写被拒,事务不产生任何已提交数据;不丢数据正是拒写的设计目的。
- 「节点分区后节点上的 Pod 一定也停了」——错误。容器可能继续运行,只是与控制面失联、状态无法上报;这种「活着的降级」比硬故障更难发现。
一句话总结本节
Kubernetes 里的分区要按「面」分层判断:控制面多数派写可用、少数派写被拒不丢数据、节点分区降级但写可用、数据面失去多数派拒写;恢复时少数派以多数派时间线为准单向追赶日志,追平并重新计入多数派才算恢复完成。多数派决定可用性,拒写保护数据,追赶保证收敛。
下一节把副本「摆在哪里」提上日程:故障域设计如何从根上决定分区的结局是「还能写」还是「整体拒写」。
本节 lab
本节的三个测试落在 splitbrain 包的 Face、Recovery 类型上,验证「分区表现、恢复后可写、日志追赶」:
cd private/labs/k8s-net-lab
go test ./splitbrain -run TestPartitionFaceBehavior -v
go test ./splitbrain -run TestMinorityWritesRejectedThenHealed -v
go test ./splitbrain -run TestRecoveryCatchUp -v
TestPartitionFaceBehavior:断言控制面少数派写不可用且不丢数据、控制面多数派写可用、节点面写可用但降级、数据面失去多数派拒写——共 5 条断言,对应「三类分区表现矩阵」。TestMinorityWritesRejectedThenHealed:5 节点拆出{1,2}后断言成员 1 不能提交,Heal 恢复后断言成员 1 可写——共 2 条断言,对应「隔离期拒写、恢复后可写」。TestRecoveryCatchUp:LostRev=100、CatchUp=90时断言未追平,Apply(10)后断言追平——共 2 条断言,对应「追赶日志与追平判据」。
三个测试共 9 条断言,跑完见 ok k8s-net-lab/splitbrain。这就是「表现矩阵 + 拒写恢复 + 日志追赶」的分区恢复最小闭环。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。