《Kubernetes 分布式系统原理深入解析》13.2 控制面/节点/数据面分区的表现与恢复

13.1 节把脑裂钉在复制组里,本节把分区放大到整个 Kubernetes:控制面多数派写可用、少数派写被拒不丢数据、节点分区降级但写可用、数据面失去多数派拒写;恢复后靠追赶日志追平。lab 用 splitbrain 包的 TestPartitionFaceBehavior、TestMinorityWritesRejectedThenHealed、TestRecoveryCatchUp 验证三类分区表现与追赶恢复。

13.2 控制面/节点/数据面分区的表现与恢复

13.1 节的脑裂讨论局限于 etcd 复制组,但一个 Kubernetes 集群是一个多层系统:etcd 承载元数据,控制面组件消费元数据,节点与数据平面提供计算与存储。同一条物理网络故障,落在不同层会呈现完全不同的症状。本节给「分区」按对象分层,逐类说清表现、可用性代价与恢复路径。

分区要按「面」来判,不按「节点」来判

排查集群分区时最常见的错误是把「哪个节点不通」当成问题的全部。实际上同一节点可以同时属于多个逻辑面:它既是控制面 apiserver 的宿主,也是工作负载的数据平面成员。分区判定的单位不是节点,而是「哪个面失去了法定人数」。lab 的 FaceOf(kind) 把分区归成四种典型面,每一种的 WritesOK / DataLoss / Degraded 三件套决定它对外呈现的语义:

面WritesOKDataLossDegraded一句话语义
控制面(多数派)是否否一切照常,元数据写可用
控制面(少数派)否否是写被拒,但不丢数据
节点是否是写可用,受影响负载不可达
数据面否否是有状态副本失去多数派,拒写保数据

这张矩阵是全节的骨架。注意一个反直觉的点:大多数分区是「降级」而不是「崩溃」,是「拒写」而不是「丢数据」。DataLoss 这一列在四种典型面里全部为「否」——这正是上一节仲裁的意义:宁可不可用,不让数据撕裂。

控制面分区:多数派写可用,少数派写被拒

控制面由一组 apiserver 与背后的 etcd 构成。分区发生时:

  • 多数派一侧:etcd 仍够法定人数,apiserver 照常服务。WritesOK=true,对象创建/更新继续提交,resourceVersion 继续前进。这一侧的 kubelet 与控制器工作完全正常,集群对外「看起来没坏」。
  • 少数派一侧:apiserver 进程可能还活着、还能接受请求,但向 etcd 的写会因 no leader 或提交超时失败。WritesOK=false,但 DataLoss=false——写失败的对象没有被部分写入,事务要么整体提交要么整体不生效。

少数派一侧的客户端看到的现象值得强调:kubectl 可能还连得上,只是 apply 会报错。这制造了一种「能读不能写」的错觉,让运维误以为是 RBAC 或限流问题。判定方法很简单:kubectl create 报错而 kubectl get 正常,且错误指向 etcd 提交超时,就该怀疑控制面分区而非权限。

节点分区:写可用,但受影响负载降级

节点分区是最常见也最容易被误判的一类:节点 kubelet 与控制面断开,但节点本身仍在运行,节点上的 Pod 也仍在运行。此时:

  • 控制面是完整的,etcd 有法定人数,元数据写照常可用(WritesOK=true)。
  • 受影响节点上的 Pod 与 apiserver 失联:健康检查上报中断、Pod 状态停留在旧值、调度器不会把新 Pod 放到这个「看不见」的节点上。
  • 节点上已有的容器仍在执行,但无法接受来自控制面的新指令(如滚动更新的新版本拉取、scale 指令)。

Degraded=true 说的是这种「进程活着但控制通道断了」的中间态。它比硬故障难处理得多:节点还占着资源、还跑着副本,但调度器与控制器都拿它当不存在。如果节点最终恢复,Pod 状态被重新上报,通常能无痕追上;如果节点永不恢复,超时后控制面会把其上的 Pod 判定为不可用,触发重建。

节点分区的两个恢复窗口

节点分区的恢复不是一个瞬间,而是两个先后发生的窗口,搞混它们会让排障在「半恢复」状态下反复绕圈:

恢复窗口发生什么可观测标志
物理窗口节点与控制面的网络恢复,kubelet 重新上报心跳kubectl get node 从 NotReady 回 Ready
逻辑窗口节点上的 Pod 状态与控制面重新对齐,失联期间的变更被追赶Pod 状态更新、DaemonSet 补拉、控制器认可

物理窗口只代表「能通信了」,逻辑窗口才代表「账对上了」。很多「恢复后又出问题」的案例,都是物理窗口通过、逻辑窗口还没完成——例如滚动更新期间节点短暂失联,物理恢复后新旧 ReplicaSet 的计数对不上,控制器要再花一轮 reconcile 才收敛。判定「恢复完成」要看逻辑窗口的判据(Pod 状态、副本数、controller 无 diff),而不是节点 Ready 状态。

数据面分区:失去多数派就拒写

数据面指真正持有状态的组件:etcd 自身是状态,第 8 章有状态应用的副本也是状态。数据面分区的典型形态有两种:

形态场景后果
etcd 复制组分区控制面背后的存储被切断少数派侧 apiserver 写被拒(上一节)
有状态应用副本分区三副本被切成一侧 2、一侧 12 副本侧可写,1 副本侧拒写并降级

以第 8.1 节的三副本有状态应用为例:分区成 2:1 后,2 副本一侧满足 quorum=2,可继续写;孤立副本拒绝写、只提供过期读。WritesOK=false、DataLoss=false——孤立副本的写被拒,它的数据不会「另起炉灶」,恢复后以多数派一侧的数据为准。这与 etcd 的行为完全同构,只是对象从 KV 换成了应用数据。

如何判定当前是哪个面在分区

分区排障的第一个动作不是查网络,而是用「现象 → 面」的反查表定位受害者。把上一节的面矩阵反过来用:

观测现象最可能的面下一步动作
kubectl apply 超时、kubectl get 正常控制面(少数派侧)查 etcd 成员连通性
部分节点 NotReady,其余集群写正常节点分区查该节点 kubelet 与 apiserver 通道
有状态应用写报错、无状态应用正常数据面(该应用副本)查应用复制组成员与多数派
全部写都超时、etcd 无 Leader控制面失去多数派先恢复 etcd 法定人数,再谈其余

这张表的判据是「先找哪个面失去多数派」。多数派还活着时,问题被局限在少数派侧,恢复优先级是「救少数派(等待网络)或隔离少数派(尽快降级)」;控制面整体失去多数派时,所有其他症状都只是果不是因,必须先从 etcd 法定人数入手。

分区表现可以组合:一个交换机,多种症状

真实故障不会只切一面。一个跨机架交换机宕机,可能同时制造「控制面多数派」与「数据面少数派」:

受影响的系统落在哪一侧表现
etcd 成员多数派(2 个在 A 机架 + 1 个独立)控制面写可用
有状态应用副本少数派(2 副本全在 B 机架)该应用写被拒、只读降级
无状态工作负载A 机架节点正常正常;B 机架节点失联、Pod 不可达
客户端到 B 机架入口不可达用户流量报 502/超时

排障顺序因此有讲究:先看哪个面失去了多数派,再追物理故障。如果控制面多数派仍在,集群整体可用,优先处置数据面少数派上的有状态应用;只有控制面自身失去多数派,才需要优先处置 etcd。这个优先级来自表格里 WritesOK 的分布——多数派侧的系统优先恢复,少数派侧的系统等待网络回归。

恢复:追赶日志把少数派拉回主线

分区恢复后的第一件事不是「合并两边数据」,而是少数派向多数派追赶(catch-up)。lab 的 Recovery 类型把这段过程记账为两个数字:

字段含义例子
LostRev隔离期间错过的 revision 数100(落后 100 条写)
CatchUp已追赶上的 revision 数0 → 90 → 100

CaughtUp() 判定 CatchUp >= LostRev——追平即恢复完成。这套记账揭示了几件容易被忽略的事实:

  • 追赶是从多数派 Leader 拉日志,不是「把两边 diff 一下合并」。孤立一侧没有产生任何新提交(拒写保证了这点),它只是落后,所以追赶是单向的。
  • 追赶的量取决于隔离时长与写入速率:LostRev 越大,恢复窗口越长。对高频写的 etcd,一个小时的隔离可能积压数十万条 revision,追赶期间该成员还不能对外服务写请求。
  • 追平后还有一个「追上后确认」的步骤:成员要重新进入 Leader 的已提交列表,才能重新参与法定人数。追平日志 ≠ 重新可写,中间隔着一次重新确认。

Kubernetes 世界里追赶的实例很多:etcd 成员重启后回放 WAL、kubelet 与 apiserver 失联后重新同步 Pod 状态、第 8.3 节有状态应用故障转移后新主把旧从补齐到最新。它们的共同形态都是「以多数派时间线为准,单向补齐落后量」。

不同面的恢复速度对比

追赶不是免费的,不同面的「落后量」与「追赶成本」差异很大,规划 RTO/RPO 时要分开算:

面落后量的决定因素追赶成本恢复判据
etcd 控制面隔离时长 × 写速率WAL 回放,通常分钟级成员追平且重新计入 quorum
有状态应用副本隔离时长 × 应用写速率增量复制或全量快照副本追平到最新 index
节点 kubelet隔离时长内对象变更数增量 diff 比对Pod 状态对齐、控制器无 diff

注意第二行:有状态应用的追赶成本可能远超 etcd。若隔离期间应用写入量巨大,增量复制追不上,就需要退到快照+重放(第 9 章的恢复手段),这时的 RPO 不再是「最后一条成功写」,而是「快照时间点」。规划恢复时先问「落后量多大、追得上吗」,再定「要不要提前做快照」。

恢复的工程清单

把「分区恢复」做成可验证的流程,逐项核对:

检查项判据漏掉的后果
确认多数派侧系统先恢复多数派侧 WritesOK 先回到真先救少数派,白费力气
隔离期间少数派未产生新提交少数派日志 revision 不前进若前进过,说明拒写失效,双主风险
追赶是单向的新 Leader 下发、旧成员接收误做双向合并,数据错乱
追平后重新确认CaughtUp 后重新计入 quorum追上即放行,重新选举时缺员
记录 LostRev 与追赶时长恢复报告含两个数字无法复盘恢复耗时与积压量

这张清单与第 9.3 节 etcd 备份恢复、第 8.3 节故障转移的恢复判据互相呼应:恢复的终点不是「所有成员在线」,而是「所有成员追平且重新计入多数派」。

分区演练:把恢复变成可检验的流程

本节的面矩阵与恢复判据,如果不做演练就只是一张纸。Kubernetes 生态里最常见的做法是把分区恢复拆成可反复执行的小实验:

演练步骤注入什么验证什么
切断单个 etcd 成员的网络模拟少数派多数派照常提交,少数派拒写
隔离一个节点 30 秒模拟节点分区Pod 降级但控制面写可用
恢复网络后立刻探测观察追赶成员追平、重新计入 quorum
全程断言不变量持续检查已提交数据不丢、无双主

这类演练的价值在「把恢复时间从事故现场的慌乱,变成流程里的既定步骤」。第 14 章会用混沌实验把这套演练系统化——本节的面矩阵就是第 14.3 节故障注入要验证的承诺清单。

三个常见误解

  • 「分区就是节点失联,节点恢复就等于集群恢复」——错误。节点恢复只是物理层恢复;逻辑层要看它追平日志并重新计入多数派,后者才是可用的判据。
  • 「少数派侧写失败会丢数据,因为写请求已经发出去了」——错误。少数派写被拒,事务不产生任何已提交数据;不丢数据正是拒写的设计目的。
  • 「节点分区后节点上的 Pod 一定也停了」——错误。容器可能继续运行,只是与控制面失联、状态无法上报;这种「活着的降级」比硬故障更难发现。

一句话总结本节

Kubernetes 里的分区要按「面」分层判断:控制面多数派写可用、少数派写被拒不丢数据、节点分区降级但写可用、数据面失去多数派拒写;恢复时少数派以多数派时间线为准单向追赶日志,追平并重新计入多数派才算恢复完成。多数派决定可用性,拒写保护数据,追赶保证收敛。

下一节把副本「摆在哪里」提上日程:故障域设计如何从根上决定分区的结局是「还能写」还是「整体拒写」。

本节 lab

本节的三个测试落在 splitbrain 包的 Face、Recovery 类型上,验证「分区表现、恢复后可写、日志追赶」:

cd private/labs/k8s-net-lab
go test ./splitbrain -run TestPartitionFaceBehavior -v
go test ./splitbrain -run TestMinorityWritesRejectedThenHealed -v
go test ./splitbrain -run TestRecoveryCatchUp -v
  • TestPartitionFaceBehavior:断言控制面少数派写不可用且不丢数据、控制面多数派写可用、节点面写可用但降级、数据面失去多数派拒写——共 5 条断言,对应「三类分区表现矩阵」。
  • TestMinorityWritesRejectedThenHealed:5 节点拆出 {1,2} 后断言成员 1 不能提交,Heal 恢复后断言成员 1 可写——共 2 条断言,对应「隔离期拒写、恢复后可写」。
  • TestRecoveryCatchUp:LostRev=100、CatchUp=90 时断言未追平,Apply(10) 后断言追平——共 2 条断言,对应「追赶日志与追平判据」。

三个测试共 9 条断言,跑完见 ok k8s-net-lab/splitbrain。这就是「表现矩阵 + 拒写恢复 + 日志追赶」的分区恢复最小闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图