10.2 跨集群资源分发与状态聚合
10.1 节的联邦总表回答了「池子里有谁、谁可用」,本节回答「资源怎么推下去、推没推到位」。跨集群分发与状态聚合是一对镜像操作:分发把联邦控制面的意图推向各成员,聚合再把各成员的结果收回总表。二者共享同一个「版本」概念,这也是判断「谁还没到位」的标尺。
分发的正确性由三个性质撑起:部分成功(一个失败不阻塞其他)、跳过不健康(不扩散故障)、版本记账(幂等与增量)。状态聚合则是分发的反馈回路——把各成员实际落地结果收回总表,供调度器与运维使用。本节逐条拆这四个环节。
另一个常见问题是「分发是推一次还是推一辈子」。答案是:分发器本身只管「这一轮的推进」,持续性的保证来自调谐循环——每轮重新比较意图与现状,所以「推一次」只是「推一辈子」的一拍。本节聚焦拍子,下节串成循环。
分发:把一份资源推到 N 个集群
联邦分发的朴素形态是「控制面对每个成员执行一次 apply」。lab 的 Dispatch 就是这个循环的骨架:
func (m *FedModel) Dispatch(r Resource) int {
ok := 0
for _, c := range m.Clusters {
if !c.Ready {
continue
}
c.Applied[r.Key()] = r.RV
ok++
}
return ok
}
它做的两件事值得拆开:遍历成员、写入 Applied 版本记录。前者是分发动作(真实 Karmada 里是创建/更新成员集群里的对应对象),后者是记账(记录「这个集群收到了哪个版本」)。lab 里没有真正的网络 apply,只保留了记账——因为记账才是判断收敛的依据。
用具体数字看部分成功:联邦 3 个成员 c1/c2/c3,c3 未就绪,分发一个 RV=v2 的资源。Dispatch 返回 2,c1/c2 的 Applied 记为 v2,c3 不动。此时「联邦意图」是「3 个集群都该有 v2」,「现状」是 2 个集群有。差的这 1 个不会被当场补上——它要么在下一轮调谐(10.3 节)补,要么在 c3 恢复后被 PendingClusters 揪出来。
分发的结果是「部分成功」:返回成功下发的集群数,而不是全有或全无。这符合多集群的现实——N 个目标里任何一个失败都不该阻断其他目标的推进。真实 Karmada 也按集群分别记录 Work 对象的状态,互不阻塞。
未就绪跳过:不扩散到不健康目标
Dispatch 里的 if !c.Ready { continue } 是分发安全的第一道闸。跳过不是「失败后原地重试」,而是「这一轮就不碰它」:
| 处理方式 | 行为 | 代价 |
|---|---|---|
| 全量重试 | 对失败集群反复下发 | 网络风暴,把不健康集群打得更垮 |
| 跳过等恢复 | 本轮不碰,等调谐循环下轮再试(10.3 节) | 需要待处理追踪,不能静默丢目标 |
| 直接失败 | 整个分发事务回滚 | 一个集群拖累全部,丧失部分成功 |
跳过 + 待处理追踪的组合在多集群场景里最稳:不健康成员最不需要的正是新负载。一个正在断网或内存告警的集群收到新的 Deployment 变更,只会加剧故障。分发器的职责是「别把火浇到起火的房子上」,恢复与重试交给周期性的调谐(10.3 节)。
跳过也带来一个观察点:被跳过的集群不会出现在 Pending 里(Pending 只统计就绪但落后的),那它的「未下发」怎么体现?答案是待处理记账——10.3 节的 Reconcile 会把它记为 pending。分发层负责「跳过」,调度层负责「记账」,两层各司其职,少一层都会让「谁还没收到」变得不可见。
下发模式:Pull 与 Push
联邦把对象送进成员集群有两条路线。Push 模式由联邦控制面直接调用成员 apiserver 创建/更新对象——控制面是主动方,动作即时;Pull 模式则反过来:控制面把「期望状态」放进一个被成员可见的队列(Karmada 的 Work 对象),成员一侧的 agent(karmada-agent)主动拉取并落地。
| 维度 | Push | Pull |
|---|---|---|
| 主动方 | 联邦控制面 | 成员侧 agent |
| 网络方向 | 控制面 → 成员 | 成员 → 控制面 |
| 防火墙友好 | 需要控制面可达成员 | 成员出站即可,适合隔离网络 |
| 状态回报 | 控制面直接读取 | 成员 agent 写回状态 |
| 典型场景 | 同网络内的普通集群 | 跨网络、受限网络、托管集群 |
两种模式的分发结果都要落到「版本记录」上——无论谁执行落地,控制面最终都要知道「成员收到了哪一版」。lab 的 Dispatch 简化了方向问题,只保留共享的核心:遍历成员、跳过未就绪、写入 Applied。方向的取舍是部署问题,版本记账是正确性问题——后者才是本节重点。
选 Push 还是 Pull,本质是问「谁能出网」。同一 VPC 里、控制面能直连成员的,Push 简单直接、延迟低;成员藏在防火墙后或跨云厂商的,Pull 让成员主动出站,控制面不需要暴露公网地址。真实联邦甚至支持混用:大部分成员走 Push,个别隔离成员配一个 agent 走 Pull。两种模式的边界由网络拓扑决定,与分发语义无关——无论哪种,落地后的版本记录都进同一张账。
resourceVersion:每次变更都留下记录
版本是分发的「账目单位」。lab 的 Resource 用 RV 字段模拟资源版本,每次对象变更(内容变化、加副本、改镜像)版本递增:
type Resource struct {
Kind string
Name string
RV string
}
Applied 记录每个集群最后收到的版本,于是联邦控制面随时能回答两个问题:这个集群当前是什么版本、它还缺哪个版本。真实 K8s 里 resourceVersion 是 etcd 维护的单调版本号;Karmada 的 Work 对象则用 observedGeneration 等字段表达「目标集群已应用到的提交」。
版本记录让分发具备幂等性:重复分发同一版本是无害的(覆盖写入相同值),增量分发只需要推「版本比 Applied 新」的对象。没有版本记录,控制面就只能全量重推,既浪费带宽又难判断是否收敛。
版本记录还撑起了联邦的审计能力:Applied 相当于每个成员一份「已收到版本」的账单,翻账单就能知道哪个集群长期落后、哪个集群从未成功过。真实 Karmada 里,Work 对象的 observedGeneration 与 applied 状态就是这份账单的持久化形态——控制面重启后依然能重建「谁落后、谁到位」。
版本的三副面孔:RV、generation 与 observedGeneration
lab 用一个 RV 字符串概括「版本」,真实 K8s 生态里其实有三层版本概念,容易混淆:
| 版本 | 由谁维护 | 表达什么 |
|---|---|---|
| resourceVersion | etcd | 对象在 etcd 中的变更序号,每次写操作递增 |
| metadata.generation | apiserver | 用户期望(spec)的变更次数 |
| status.observedGeneration | 各控制器 | 控制器实际观测到的 generation |
分发判断用哪一层?答案是「分两层看」:控制面判断「该推什么」用 generation(用户改没改 spec);判断「推没推到位」用 observedGeneration(目标集群有没有消化完这次变更)。lab 的 RV 把这两层压缩成一个,语义上更接近 generation——因为 Dispatch 关心的是「这份意图是第几版」,而不是 etcd 的写入序号。
这个区分能帮你解释一个常见现象:resourceVersion 变了但 generation 没变(比如只是 status 更新),联邦不需要重新分发;反过来 generation 变了才是真的「有新意图要推」。看错版本层,要么多推(浪费),要么漏推(漂移)。
落到 lab 里,Dispatch 写入 c.Applied[r.Key()] = r.RV 用的就是「意图版本」这一层:它记的是「这份资源现在是第几版」,不关心 etcd 内部序号。这个选择让 lab 的分发逻辑与真实联邦的「该推什么」判断对齐,也让你写代码时不用纠缠版本细节。
Pending 集群:从记录反推谁还没到位
版本记录的直接消费者是 PendingClusters:对比「各集群 Applied 版本」与「资源最新 RV」,返回还没到位且就绪的集群:
func (m *FedModel) PendingClusters(r Resource) []string {
var out []string
for _, c := range m.Clusters {
if !c.Ready {
continue
}
if c.Applied[r.Key()] != r.RV {
out = append(out, c.Name)
}
}
return out
}
注意它同样跳过未就绪集群——Pending 只统计「应该能收到但还没收到」的集群。一个未就绪集群不是 Pending,是「暂不参与」;等它恢复后,它的 Applied 落后最新版本,才会从「暂不参与」变成「Pending」。这个区分很重要,它把「没下发成功」拆成两类:不健康(暂缓)与健康但落后(需重试)。
PendingClusters 的输出可以直接喂给重试:调度器把它当待办清单,下一轮调谐只处理 Pending 集群而不是全量重推。这避免了「每轮把所有集群重新 apply 一遍」的无谓写入——版本记录让调谐变成增量收敛,Pending 是增量的输入。没有这个机制,联邦就只能靠「盲目全量重推」碰运气收敛,版本记录也就失去了意义。
PendingClusters 在排障时也很有用:当某个服务「该有副本的地方没有副本」,先跑一次 Pending 查询,把结果分成两堆——未就绪集群(暂缓)与健康但落后的集群(需要重试)。前者查成员健康,后者查分发链路。待处理列表把「哪一环出了问题」从一团乱麻里分离出来,是联邦排障的第一手输入。
状态聚合:分发的镜子
聚合是分发的逆操作。分发写下去的是「控制面的意图」,聚合读回来的是「成员的实际状态」。10.1 节的 AggregateStatus 统计的是就绪位;真实联邦里聚合的粒度更深——每个集群上报「已成功应用的资源数、运行中的副本数、Ready 副本数」,控制面汇总后驱动下一轮调度(10.3 节)。
聚合的粒度在真实联邦里比 lab 深得多。lab 聚合的是布尔就绪位,生产环境聚合的是「每个集群运行中的副本数、Ready 副本数、资源余量」。调度器看到的不只是「us 区有 2 个集群可用」,而是「us 区还剩 40 个 CPU 配额、20 个副本位」。粒度越深,总表越有用,也越贵——每项指标都是一份周期上报。所以生产联邦通常给不同状态分不同采集频率:就绪位秒级、容量分钟级、内部指标更慢。聚合频率的选择就是总表成本与新鲜度的权衡,这也是「最终一致视图」的另一层含义。
给聚合一个具体输出形状:AggregateStatus 返回 map[string]int,生产版则是 map[region]Capacity,其中 Capacity 含「就绪集群数、可用副本位、剩余配额」。调度器读这张表做决策:us 容量满了就放 eu,eu 也不健康就标记为「暂不可调度」。聚合结果直接决定调度的候选集,所以聚合的质量(新鲜度、粒度)直接决定调度的质量——这在下节会反复出现。
分发与聚合共享同一张成员表,只是方向相反:分发按拓扑把对象推出去,聚合按拓扑把状态收回来。二者之间的版本记录则是「意向与现状差距」的度量。用一张图理解这对镜像:分发阶段,控制面持有「意图版本 RV」,成员持有「已应用版本 Applied」;聚合阶段,成员上报「实际状态」,控制面重新计算总表。中间隔着的是网络延迟与调谐周期——所以「意图」与「现状」之间总有一个有界差距,这个差距就是 10.3 节要收敛的东西。
一个健康的联邦控制面,分发、记账、聚合是同一个循环的三段——本节拆开讲,下节把它缝合成调谐。
三个常见误解
- 「分发是事务性的,要么所有集群都成功,要么整体回滚」——错误。分发是部分成功的:每个目标独立推进,一个失败不阻塞其他,靠版本记录与重试兜底。
- 「未就绪集群的分发失败需要立刻重试直到成功」——错误。分发器直接跳过不健康集群,重试交给周期性调谐,避免给故障集群火上浇油。
- 「没有版本记录也能判断分发是否完成」——错误。不记录 Applied 版本就无法区分「该推没推」与「已推完」,也无法做增量分发与落后识别。
一句话总结本节
跨集群分发按拓扑把资源推向所有就绪成员、跳过不健康集群,并用 resourceVersion 记录每个集群的已下发版本;Pending 集群识别由「健康但落后」反推,状态聚合再把成员实际结果收回总表。分发写意图、记账记差距、聚合读现状,三段共享同一张成员表与同一个版本标尺。
下一节把这三段缝合成一个循环:调度器按偏好选目标,调谐循环反复把现状推向目标,直到所有集群收敛。
本节 lab
本节的两个测试落在 federation 包的 Dispatch 与 PendingClusters 上:
cd private/labs/k8s-net-lab
go test ./federation -run TestDispatchSkipsNotReady -v
go test ./federation -run TestPendingClusters -v
TestDispatchSkipsNotReady:建c1(就绪)与c2(未就绪)两个成员,分发RV=v2的资源,断言只下发到 1 个集群、c1记录v2、c2无任何下发记录——共 3 条断言,对应「未就绪跳过 + 版本记账」。TestPendingClusters:先给c1下发v1,再把资源升到v2,断言PendingClusters返回[c1]——1 条复合断言,对应「健康但落后的集群被识别为待下发」。
两个测试跑完见 ok k8s-net-lab/federation。这就是「分发跳过 + 版本记账 + 落后识别」的最小闭环。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。