1.3 多副本拓扑与 etcd 单点依赖
一个生产 K8s 集群的控制面通常有:3 或 5 个 etcd、2+ 个 apiserver、2 个 controller-manager、2 个 scheduler。看起来「全是多副本」,但每一层的多副本语义都不同。本节把「多副本」这个模糊词拆成三种具体含义,并指出真正的单点依赖在哪。
三种多副本:冗余、无状态、有状态
| 组件 | 副本行为 | 类型 | 一致性影响 |
|---|---|---|---|
| etcd | 3/5 节点 Raft | 有状态复制 | 提供线性一致写 |
| apiserver | 2+ 进程,全部活跃 | 无状态读扩散 | 不增强一致性,引入缓存窗口 |
| controller-manager | 1 主 + N 备 | 单活选主 | 保证同一时刻一个控制者 |
| scheduler | 1 主 + N 备 | 单活选主 | 同上 |
三种副本类型的关键区别:
- etcd:有状态复制。每个节点存数据,靠 Raft 保持一致。副本越多,容错越强(5 节点容 2 故障),但写性能不升反降(更多副本要确认)。
- apiserver:无状态读扩散。每个副本都不存持久数据,共享同一个 etcd。请求打到任何副本都一样,读写都经过 etcd。多副本的意义是吞吐与可用性(一个挂了另一个顶上),而不是数据冗余。
- controller-manager / scheduler:单活。它们依赖内存状态(workqueue、缓存、调度循环),不能多实例同时跑,否则会重复下发动作。所以用「一个 active + 多个 standby」的方式部署,active 通过租约选主产生。
结论:K8s 控制面的高可用,来自「无状态组件 + 有状态单点」,而不是组件彼此冗余。 换句话说,apiserver 副本越多只带来更多入口;真正撑住数据层的是 etcd。
apiserver 多副本:读扩散与缓存
apiserver 多副本后,出现了单副本没有的问题:
- 写扩散:所有 apiserver 都直接写同一个 etcd,写不受副本数影响(都要过 etcd 的 Raft)。
- 读扩散:客户端连到不同的 apiserver 副本。apiserver 直读 etcd 是线性一致的,但 apiserver 内部对 etcd 的 list-watch 缓存(用于本地 serving 与资源版本判断)会引入滞后。
- watch 一致性:不同副本 watch 到同一 etcd 事件的时间有先后;控制器订阅的副本不同,收到事件的时间窗口就不同。
这套「多个观察者从同一事实源拉取、各有滞后」的模型,是卷二第 3 章与第 14 章的核心。它告诉我们:apiserver 多副本没有让系统「更一致」,而是让系统「更可用、更慢一致」。
controller-manager 多副本:单活选主
controller-manager 不能像 apiserver 一样全部活跃。为什么?看它内部有什么:
- 内存中的 workqueue(对象待处理队列)。
- 内存中的 informer 缓存。
- 对每个对象执行「读取→对比→写回」的循环。
若两个 controller-manager 同时活跃,对同一个 Deployment 会同时算差异、同时写 RS/Pod——虽然写本身有乐观锁保护(不会损坏数据),但会产生重复创建、重复删除、抖动。所以必须单活。
单活的方式是租约选主(Lease):每个 controller-manager 尝试持有同一把「锁」,持锁者是 active。active 挂了,租约过期,standby 接管。这套机制就是卷二第 4 章要详细拆解的。
关键点:选主不改变数据一致性,只改变「谁在动作」。数据仍由 etcd 保证一致;选主只是保证「同一时刻只有一个控制者往 etcd 写修正动作」。
etcd:控制面的单点依赖
把所有副本层剥掉,核心依赖只剩一个:etcd。为什么说它是单点依赖,即使它有 3 个副本?
- 写路径的唯一事实源:所有状态都写入 etcd,所有读都最终来自 etcd。apiserver 无状态,意味着「apiserver 挂了,状态还在 etcd;etcd 挂了,状态无处可写」。
- 可用性的传导:etcd 不可用 → apiserver 写超时 → 控制器读不到缓存、写不回状态 → 整个控制面冻结。节点上的 Pod 还在跑(本地状态机),但控制面「看不见也改不动」。
- 一致性承诺的锚点:全集群「读到的东西多新」的标尺,是 etcd 的 mvcc revision。etcd 挂 = 标尺消失。
所以,K8s 的高可用策略可以概括为一句话:把有状态的部分收敛到 etcd(用 Raft 把它做高可用),其余全部无状态化(可以随意扩缩)。
拓扑与故障模式对照
| 故障 | 表现 | 恢复 |
|---|---|---|
| 一个 apiserver 挂 | 请求打到活副本,无感知 | 无需干预 |
| 两个 controller-manager 抢主 | 租约保证单活,偶发切换 | 自动 |
| 一个 etcd 节点挂 | 集群降级(仍可写,容 1 故障) | 替换节点 |
| 两个 etcd 节点挂(3 节点) | 无 quorum,控制面冻结 | 恢复或重建 |
| 全部 etcd 挂 | 控制面完全不可用,节点上 Pod 继续跑 | 从快照恢复 |
注意最后一行:etcd 全挂时,业务 Pod 不受影响(kubelet 本地执行),但「系统」完全瘫痪。这印证了「状态集中 + 组件无状态」的设计:无状态组件好扩,但状态的命门永远在 etcd。
用卷一的视角再看拓扑:状态机 vs 无状态
把「有状态/无状态」用卷一的词汇再精确化一次:
- etcd 是有状态副本:每个节点持有一份状态机副本(mvcc 存储),Raft 保证它们逐步一致。副本数 n 对应容错 f=(n-1)/2,写要过 quorum。
- apiserver 是无状态副本:不持有持久状态,共享唯一的事实源(etcd)。挂掉后新进程从 etcd 重建一切(重连 list-watch、重建缓存)。
- controller-manager 是「无状态 + 单活」:它虽然有内存缓存,但这些缓存可从 etcd 重建(重新 list 即可),所以本质上无状态;单活选主只是为了防止「两个实例同时动作」。
这个区分解释了 K8s 的一个铁律:为什么组件可以随意滚动重启,etcd 却要小心翼翼地滚动。apiserver/controller-manager 重启 = 无状态重建;etcd 重启 = 有状态副本的一环,必须尊重 quorum 与快照恢复。
控制面组件之间的一致性承诺
各组件在「读到多新的状态」上的承诺各不相同,这是多副本拓扑的直接后果:
| 组件 | 读取路径 | 一致性档位 |
|---|---|---|
| apiserver 写 | etcd Raft 提交 | 线性一致 |
| apiserver 读(直连) | etcd 读 | 线性一致或可串行化 |
| apiserver 读(缓存) | 自维护 watch 缓存 | 有界滞后 |
| 控制器(informer 缓存) | watch 缓存 | 有界滞后(更大) |
| kubelet | informer + 节点 Lease | 有界滞后 + 本地状态 |
同一个集群里,不同组件对「同一个对象」可能看到不同版本。这不是 bug,而是每个组件选择了适合自己的一致性档位(卷一第 2.3 节的一致性代价)。多副本拓扑放大了这些差异:副本越多,每个组件看到的状态越「各自为政」,而唯一的锚点仍是 etcd。
从拓扑到容量:副本数的工程含义
理解了三种副本类型,「该部署几个」就有了依据:
| 组件 | 副本数依据 | 扩容效果 | 风险 |
|---|---|---|---|
| apiserver | 吞吐与可用性 | 线性提升读吞吐 | 缓存滞后窗口不变 |
| controller-manager | 单活,必须 ≥1 备 | 无(只多一个备) | 备不参与工作 |
| scheduler | 单活,必须 ≥1 备 | 无 | 同上 |
| etcd | quorum:3 容 1、5 容 2 | 写延迟升高 | 失 quorum 全挂 |
两个工程上常被忽略的结论:
- controller-manager 副本数是「1 活 + 1 备」,不是越多越好。第三副本不参与任何工作,只消耗选主带宽。生产常用
--leader-elect让两个实例竞争同一个 Lease,active 挂掉后 standby 接管。 - etcd 3 节点 vs 5 节点的取舍:3 节点写更快、容 1 故障;5 节点容 2 故障、写更慢。控制面通常选 3 或 5。「更多副本 = 更安全」在 etcd 上有边界:副本多了写要等更多确认,单次写延迟上升;且若故障域相同(同机架),更多副本也不增加真实容错。
容量规划的核心判断是:哪些组件「加副本就加速」,哪些「加副本只是加保险」。apiserver 是前者(读扩散,加副本提吞吐),controller-manager/scheduler 是后者(单活,加副本只是提高接管速度),etcd 介于两者(加副本提容错但降写性能)。
三个常见误解
- 「apiserver 多副本 = 更安全」——错误。副本不存储数据,不提供额外冗余;它只提供更多入口。真正冗余的是 etcd。
- 「controller-manager 也能全部活跃」——错误。它持有内存态且会重复动作,必须单活选主。这与 apiserver 的读扩散是两类副本。
- 「etcd 有三个副本,所以不是单点」——语义上对,工程上仍要把 etcd 当单点对待:它的 quorum 是控制面可用性的瓶颈,一旦失 quorum 全线冻结。
单点依赖的缓解:为什么 etcd 成为唯一能接受的单点
「etcd 是单点」听起来可怕,但它是 K8s 架构里被刻意接受的单点。缓解手段围绕它展开:
| 手段 | 作用 |
|---|---|
| etcd 自身 Raft 高可用(3/5 节点) | 节点故障不丢数据 |
| apiserver 无状态 | 控制面入口随便扩缩 |
| 控制器幂等 + 重试 | etcd 恢复后自动收敛 |
| 节点本地状态机 | etcd 全挂时 Pod 继续运行 |
真正的结论是:K8s 把「必须一致的状态」收敛到 etcd 一个点,然后把这个点做到尽可能可靠;其余全部无状态化,任意扩缩。这不是「弱」,而是「一致性集中 + 可用性分散」的刻意设计——卷一第 2.3 节的一致性代价在这里落地:线性一致需要等 quorum,K8s 只让需要它的写入(etcd)付出这个代价,读与动作都走最终一致。
这也解释了运维上的两个不对称:
- apiserver 可以随意滚动:无状态,新副本从 etcd 重建缓存,随时替换。
- etcd 要小心翼翼滚动:有状态,重启必须尊重 quorum 与快照恢复,逐节点操作。
「把单点做可靠」而不是「消除单点」的取舍,是分布式系统里反复出现的主题:凡是一致性必须集中的地方,就值得一个精心维护的单点。理解了「为什么 etcd 值得当单点」,就理解了 K8s 高可用的全部取舍。
观察者位置:你看到的是哪一刻的状态
多副本拓扑下,「当前状态」是个相对概念,取决于你站在哪:
| 观察者 | 看到的状态 | 滞后 |
|---|---|---|
| 直连 etcd 的写者 | 线性一致 | 0 |
| 连 apiserver 的 kubectl | 提交后的对象 | 接近 0 |
| 控制器 informer 缓存 | 有界滞后 | 毫秒~秒 |
| 节点上的 kubelet | 本地 + informer | 最大 |
同一时刻,四个观察者对同一个 Deployment 可能看到四个版本。这不是故障,是「观察者各自选择一致性档位」的必然。卷二后续所有「当前状态」的讨论,默认都是「某个观察者的视角」——先明确你在哪一层,再谈状态。
本节 lab
本节是拓扑认知,lab 验证「副本数不等于一致性强度」的租约机制:多个候选者竞争同一 Lease,任意时刻至多一个 active leader:
cd private/labs/k8s-ctrl-lab
go test ./leaderelection -run 'TestNoDualLeaders' -v
TestNoDualLeaders 模拟 3 个候选者竞争租约 30 个周期,每周期断言 active holder 至多一个。这正是 controller-manager 单活选主的迷你版:多副本通过「争一把锁」收敛为单活,而不是各自为政。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。