《Kubernetes 分布式系统原理深入解析》10.2 跨集群资源分发与状态聚合

跨集群分发把一份资源推向所有就绪成员、跳过未就绪集群,并用 resourceVersion 记录每个集群的已下发版本;Pending 集群由「健康但落后」反推,状态聚合再把成员实际结果汇成总表。本节剖析分发、跳过、版本记账与落后识别四件事。lab 用 federation 包的 TestDispatchSkipsNotReady 与 TestPendingClusters 验证未就绪跳过与落后集群识别。

10.2 跨集群资源分发与状态聚合

10.1 节的联邦总表回答了「池子里有谁、谁可用」,本节回答「资源怎么推下去、推没推到位」。跨集群分发与状态聚合是一对镜像操作:分发把联邦控制面的意图推向各成员,聚合再把各成员的结果收回总表。二者共享同一个「版本」概念,这也是判断「谁还没到位」的标尺。

分发的正确性由三个性质撑起:部分成功(一个失败不阻塞其他)、跳过不健康(不扩散故障)、版本记账(幂等与增量)。状态聚合则是分发的反馈回路——把各成员实际落地结果收回总表,供调度器与运维使用。本节逐条拆这四个环节。

另一个常见问题是「分发是推一次还是推一辈子」。答案是:分发器本身只管「这一轮的推进」,持续性的保证来自调谐循环——每轮重新比较意图与现状,所以「推一次」只是「推一辈子」的一拍。本节聚焦拍子,下节串成循环。

分发:把一份资源推到 N 个集群

联邦分发的朴素形态是「控制面对每个成员执行一次 apply」。lab 的 Dispatch 就是这个循环的骨架:

func (m *FedModel) Dispatch(r Resource) int {
	ok := 0
	for _, c := range m.Clusters {
		if !c.Ready {
			continue
		}
		c.Applied[r.Key()] = r.RV
		ok++
	}
	return ok
}

它做的两件事值得拆开:遍历成员、写入 Applied 版本记录。前者是分发动作(真实 Karmada 里是创建/更新成员集群里的对应对象),后者是记账(记录「这个集群收到了哪个版本」)。lab 里没有真正的网络 apply,只保留了记账——因为记账才是判断收敛的依据。

用具体数字看部分成功:联邦 3 个成员 c1/c2/c3,c3 未就绪,分发一个 RV=v2 的资源。Dispatch 返回 2,c1/c2 的 Applied 记为 v2,c3 不动。此时「联邦意图」是「3 个集群都该有 v2」,「现状」是 2 个集群有。差的这 1 个不会被当场补上——它要么在下一轮调谐(10.3 节)补,要么在 c3 恢复后被 PendingClusters 揪出来。

分发的结果是「部分成功」:返回成功下发的集群数,而不是全有或全无。这符合多集群的现实——N 个目标里任何一个失败都不该阻断其他目标的推进。真实 Karmada 也按集群分别记录 Work 对象的状态,互不阻塞。

未就绪跳过:不扩散到不健康目标

Dispatch 里的 if !c.Ready { continue } 是分发安全的第一道闸。跳过不是「失败后原地重试」,而是「这一轮就不碰它」:

处理方式行为代价
全量重试对失败集群反复下发网络风暴,把不健康集群打得更垮
跳过等恢复本轮不碰,等调谐循环下轮再试(10.3 节)需要待处理追踪,不能静默丢目标
直接失败整个分发事务回滚一个集群拖累全部,丧失部分成功

跳过 + 待处理追踪的组合在多集群场景里最稳:不健康成员最不需要的正是新负载。一个正在断网或内存告警的集群收到新的 Deployment 变更,只会加剧故障。分发器的职责是「别把火浇到起火的房子上」,恢复与重试交给周期性的调谐(10.3 节)。

跳过也带来一个观察点:被跳过的集群不会出现在 Pending 里(Pending 只统计就绪但落后的),那它的「未下发」怎么体现?答案是待处理记账——10.3 节的 Reconcile 会把它记为 pending。分发层负责「跳过」,调度层负责「记账」,两层各司其职,少一层都会让「谁还没收到」变得不可见。

下发模式:Pull 与 Push

联邦把对象送进成员集群有两条路线。Push 模式由联邦控制面直接调用成员 apiserver 创建/更新对象——控制面是主动方,动作即时;Pull 模式则反过来:控制面把「期望状态」放进一个被成员可见的队列(Karmada 的 Work 对象),成员一侧的 agent(karmada-agent)主动拉取并落地。

维度PushPull
主动方联邦控制面成员侧 agent
网络方向控制面 → 成员成员 → 控制面
防火墙友好需要控制面可达成员成员出站即可,适合隔离网络
状态回报控制面直接读取成员 agent 写回状态
典型场景同网络内的普通集群跨网络、受限网络、托管集群

两种模式的分发结果都要落到「版本记录」上——无论谁执行落地,控制面最终都要知道「成员收到了哪一版」。lab 的 Dispatch 简化了方向问题,只保留共享的核心:遍历成员、跳过未就绪、写入 Applied。方向的取舍是部署问题,版本记账是正确性问题——后者才是本节重点。

选 Push 还是 Pull,本质是问「谁能出网」。同一 VPC 里、控制面能直连成员的,Push 简单直接、延迟低;成员藏在防火墙后或跨云厂商的,Pull 让成员主动出站,控制面不需要暴露公网地址。真实联邦甚至支持混用:大部分成员走 Push,个别隔离成员配一个 agent 走 Pull。两种模式的边界由网络拓扑决定,与分发语义无关——无论哪种,落地后的版本记录都进同一张账。

resourceVersion:每次变更都留下记录

版本是分发的「账目单位」。lab 的 Resource 用 RV 字段模拟资源版本,每次对象变更(内容变化、加副本、改镜像)版本递增:

type Resource struct {
	Kind string
	Name string
	RV   string
}

Applied 记录每个集群最后收到的版本,于是联邦控制面随时能回答两个问题:这个集群当前是什么版本、它还缺哪个版本。真实 K8s 里 resourceVersion 是 etcd 维护的单调版本号;Karmada 的 Work 对象则用 observedGeneration 等字段表达「目标集群已应用到的提交」。

版本记录让分发具备幂等性:重复分发同一版本是无害的(覆盖写入相同值),增量分发只需要推「版本比 Applied 新」的对象。没有版本记录,控制面就只能全量重推,既浪费带宽又难判断是否收敛。

版本记录还撑起了联邦的审计能力:Applied 相当于每个成员一份「已收到版本」的账单,翻账单就能知道哪个集群长期落后、哪个集群从未成功过。真实 Karmada 里,Work 对象的 observedGeneration 与 applied 状态就是这份账单的持久化形态——控制面重启后依然能重建「谁落后、谁到位」。

版本的三副面孔:RV、generation 与 observedGeneration

lab 用一个 RV 字符串概括「版本」,真实 K8s 生态里其实有三层版本概念,容易混淆:

版本由谁维护表达什么
resourceVersionetcd对象在 etcd 中的变更序号,每次写操作递增
metadata.generationapiserver用户期望(spec)的变更次数
status.observedGeneration各控制器控制器实际观测到的 generation

分发判断用哪一层?答案是「分两层看」:控制面判断「该推什么」用 generation(用户改没改 spec);判断「推没推到位」用 observedGeneration(目标集群有没有消化完这次变更)。lab 的 RV 把这两层压缩成一个,语义上更接近 generation——因为 Dispatch 关心的是「这份意图是第几版」,而不是 etcd 的写入序号。

这个区分能帮你解释一个常见现象:resourceVersion 变了但 generation 没变(比如只是 status 更新),联邦不需要重新分发;反过来 generation 变了才是真的「有新意图要推」。看错版本层,要么多推(浪费),要么漏推(漂移)。

落到 lab 里,Dispatch 写入 c.Applied[r.Key()] = r.RV 用的就是「意图版本」这一层:它记的是「这份资源现在是第几版」,不关心 etcd 内部序号。这个选择让 lab 的分发逻辑与真实联邦的「该推什么」判断对齐,也让你写代码时不用纠缠版本细节。

Pending 集群:从记录反推谁还没到位

版本记录的直接消费者是 PendingClusters:对比「各集群 Applied 版本」与「资源最新 RV」,返回还没到位且就绪的集群:

func (m *FedModel) PendingClusters(r Resource) []string {
	var out []string
	for _, c := range m.Clusters {
		if !c.Ready {
			continue
		}
		if c.Applied[r.Key()] != r.RV {
			out = append(out, c.Name)
		}
	}
	return out
}

注意它同样跳过未就绪集群——Pending 只统计「应该能收到但还没收到」的集群。一个未就绪集群不是 Pending,是「暂不参与」;等它恢复后,它的 Applied 落后最新版本,才会从「暂不参与」变成「Pending」。这个区分很重要,它把「没下发成功」拆成两类:不健康(暂缓)与健康但落后(需重试)。

PendingClusters 的输出可以直接喂给重试:调度器把它当待办清单,下一轮调谐只处理 Pending 集群而不是全量重推。这避免了「每轮把所有集群重新 apply 一遍」的无谓写入——版本记录让调谐变成增量收敛,Pending 是增量的输入。没有这个机制,联邦就只能靠「盲目全量重推」碰运气收敛,版本记录也就失去了意义。

PendingClusters 在排障时也很有用:当某个服务「该有副本的地方没有副本」,先跑一次 Pending 查询,把结果分成两堆——未就绪集群(暂缓)与健康但落后的集群(需要重试)。前者查成员健康,后者查分发链路。待处理列表把「哪一环出了问题」从一团乱麻里分离出来,是联邦排障的第一手输入。

状态聚合:分发的镜子

聚合是分发的逆操作。分发写下去的是「控制面的意图」,聚合读回来的是「成员的实际状态」。10.1 节的 AggregateStatus 统计的是就绪位;真实联邦里聚合的粒度更深——每个集群上报「已成功应用的资源数、运行中的副本数、Ready 副本数」,控制面汇总后驱动下一轮调度(10.3 节)。

聚合的粒度在真实联邦里比 lab 深得多。lab 聚合的是布尔就绪位,生产环境聚合的是「每个集群运行中的副本数、Ready 副本数、资源余量」。调度器看到的不只是「us 区有 2 个集群可用」,而是「us 区还剩 40 个 CPU 配额、20 个副本位」。粒度越深,总表越有用,也越贵——每项指标都是一份周期上报。所以生产联邦通常给不同状态分不同采集频率:就绪位秒级、容量分钟级、内部指标更慢。聚合频率的选择就是总表成本与新鲜度的权衡,这也是「最终一致视图」的另一层含义。

给聚合一个具体输出形状:AggregateStatus 返回 map[string]int,生产版则是 map[region]Capacity,其中 Capacity 含「就绪集群数、可用副本位、剩余配额」。调度器读这张表做决策:us 容量满了就放 eu,eu 也不健康就标记为「暂不可调度」。聚合结果直接决定调度的候选集,所以聚合的质量(新鲜度、粒度)直接决定调度的质量——这在下节会反复出现。

分发与聚合共享同一张成员表,只是方向相反:分发按拓扑把对象推出去,聚合按拓扑把状态收回来。二者之间的版本记录则是「意向与现状差距」的度量。用一张图理解这对镜像:分发阶段,控制面持有「意图版本 RV」,成员持有「已应用版本 Applied」;聚合阶段,成员上报「实际状态」,控制面重新计算总表。中间隔着的是网络延迟与调谐周期——所以「意图」与「现状」之间总有一个有界差距,这个差距就是 10.3 节要收敛的东西。

一个健康的联邦控制面,分发、记账、聚合是同一个循环的三段——本节拆开讲,下节把它缝合成调谐。

三个常见误解

  • 「分发是事务性的,要么所有集群都成功,要么整体回滚」——错误。分发是部分成功的:每个目标独立推进,一个失败不阻塞其他,靠版本记录与重试兜底。
  • 「未就绪集群的分发失败需要立刻重试直到成功」——错误。分发器直接跳过不健康集群,重试交给周期性调谐,避免给故障集群火上浇油。
  • 「没有版本记录也能判断分发是否完成」——错误。不记录 Applied 版本就无法区分「该推没推」与「已推完」,也无法做增量分发与落后识别。

一句话总结本节

跨集群分发按拓扑把资源推向所有就绪成员、跳过不健康集群,并用 resourceVersion 记录每个集群的已下发版本;Pending 集群识别由「健康但落后」反推,状态聚合再把成员实际结果收回总表。分发写意图、记账记差距、聚合读现状,三段共享同一张成员表与同一个版本标尺。

下一节把这三段缝合成一个循环:调度器按偏好选目标,调谐循环反复把现状推向目标,直到所有集群收敛。

本节 lab

本节的两个测试落在 federation 包的 Dispatch 与 PendingClusters 上:

cd private/labs/k8s-net-lab
go test ./federation -run TestDispatchSkipsNotReady -v
go test ./federation -run TestPendingClusters -v
  • TestDispatchSkipsNotReady:建 c1(就绪)与 c2(未就绪)两个成员,分发 RV=v2 的资源,断言只下发到 1 个集群、c1 记录 v2、c2 无任何下发记录——共 3 条断言,对应「未就绪跳过 + 版本记账」。
  • TestPendingClusters:先给 c1 下发 v1,再把资源升到 v2,断言 PendingClusters 返回 [c1]——1 条复合断言,对应「健康但落后的集群被识别为待下发」。

两个测试跑完见 ok k8s-net-lab/federation。这就是「分发跳过 + 版本记账 + 落后识别」的最小闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图