《Kubernetes 分布式系统原理深入解析》10.1 拓扑与联邦模型(Karmada/Fed v2)

联邦把多个各自拥有独立控制面的集群纳入一个统一控制面,形成「成员集群 + Region 分组 + 就绪状态聚合」的拓扑模型。本节剖析从 Federation v2 到 Karmada 的架构演进、成员集群如何按 Region 分组、就绪状态如何被控制面聚合成总表。lab 用 federation 包的 TestAggregateStatusByRegion 验证按 Region 聚合就绪集群数。

10.1 拓扑与联邦模型(Karmada/Fed v2)

第 5.3 节讲的是「多个集群之间怎么路由流量」,那是数据平面的多集群。本节换到控制平面:把 N 个各自拥有独立控制面的集群,纳入一个统一的联邦控制面来管理。Karmada 与 Kubernetes Federation v2(简称 Fed v2)都做这件事,只是拓扑与一致性模型不同。本节的 lab 用一个极简联邦模型模拟成员集群、Region 分组与就绪状态聚合,正好把两者的共同骨架露出来。

联邦要解决什么:把 N 个集群当一层管理

没有联邦时,一个组织运维 5 个集群,就要登录 5 个 apiserver、维护 5 套 YAML、对着 5 份监控面板排查。联邦控制面的核心承诺是「一份意图,多集群生效」:

痛点无联邦的做法联邦的做法
资源下发逐集群 kubectl apply向联邦提交一份,控制面分发到各成员集群
状态查看逐集群查询联邦聚合一张总表,一次查询见全局
调度范围单集群内选择节点跨集群选目标集群
配置漂移各集群手工维护,易分叉以联邦声明为唯一事实来源

这个转变的本质是把「集群」从操作对象降级为资源池里的一个成员。联邦模型要回答三个问题:哪些集群在池子里(拓扑)、每个集群健不健康(就绪)、状态怎么汇总(聚合)——恰好是本节标题的三个词。

以两个典型场景看联邦的价值。容灾场景:一套服务横跨 us 与 eu 两个区域,us 整体故障时,希望流量与副本自动倾向 eu——这要求控制面知道「哪个区域还剩多少可用集群」,也就是一张按区域聚合的总表。弹性场景:高峰期想把某服务从 2 个集群扩到 4 个——这要求「加集群」对业务方透明,新成员登记后立即进入分发表。两种场景的共同点都是让「集群」成为可被程序管理的资源,而不是运维的登录对象。

从 Federation v2 到 Karmada:控制面演进

「多集群联邦」不是新概念,K8s 生态里走过三代:

方案状态核心思路局限
Federation v1已弃用用专门的 API 类型包装所有资源与原生 API 割裂,维护停滞
Federation v2(kubefed)实验性推进后停更用 CRD 泛化「联邦类型」,类型配置驱动类型联邦铺太开,机制复杂
Karmada活跃、CNCF 毕业面向原生 K8s API,策略驱动分发需额外部署联邦控制面组件

Fed v2 的技术遗产是「CRD 泛化联邦类型」:它不为一类资源写死逻辑,而是把「哪些资源要联邦、分发给谁」抽象成配置对象。Karmada 继承了这一思路但换了个方向——不包装资源类型,而是用传播策略(PropagationPolicy)声明「这份资源该去哪」。分发逻辑从「类型」挪到「策略」,这让 Karmada 可以直接消费原生 Deployment、Service 等对象,用户写 API 时几乎无感知。

这个演进对理解本节模型的意义在于:无论哪一代,联邦控制面都维护着一张「成员集群 + 对象版本」的表。本节的 FedModel 就是这张表的最小形态——Clusters []*Cluster 存成员,Resources map[string]Resource 存待分发对象,两条切片就是联邦控制面的核心数据。

拓扑模型:成员集群与 Region 分组

联邦的第一件事是「登记成员」。在 Karmada 里,每个成员集群是一个 Cluster 对象,登记时写清楚集群身份与网络信息:

apiVersion: cluster.karmada.io/v1alpha1
kind: Cluster
metadata:
  name: member-us-east-1
  labels:
    topology.kubernetes.io/region: us-east-1
spec:
  apiEndpoint: https://10.0.0.10:6443
  secretRef:
    namespace: karmada-system
    name: member-us-east-1-secret

region 是拓扑模型的关键维度。它不来自集群自己,而是联邦管理员在登记时打的标签——把「物理位置」显式化成元数据,调度器才有依据做就近与容灾决策。region 分层(region/zone)与 Node 拓扑标签同构:跨 region 是容灾边界,region 内是扩容边界。

本节的 lab 把拓扑压缩成 NewCluster(name, region):名字是身份,region 是分组键,Ready 是健康位。FedModel 用 Clusters []*Cluster 顺序维护成员,用 Resources map[string]Resource 维护待分发对象——一张「成员表 + 对象表」,就是联邦控制面的全部状态。

成员加入流程:登记、凭据与心跳

联邦拓扑不是静态的,成员有完整的生命周期:登记、验证、持续心跳、退出。Karmada 里加入一个新集群一般走两条路径之一:用 karmadactl join 自动完成,或手工创建 Cluster 对象并附上访问凭据。核心步骤一致:

步骤动作控制面记录
登记创建 Cluster 对象,写 apiEndpoint 与 region 标签成员表新增一行
凭据通过 secretRef 提供访问成员的 kubeconfig控制面据此调用成员 apiserver
心跳集群状态控制器周期探测成员更新 conditions 与最近心跳时间
退出删除 Cluster 对象或标记保留从分发表移除,不再作为调度目标

「凭据」这一步容易被忽略但很关键:联邦控制面之所以能跨集群操作,是因为它握有每个成员的访问凭据,并且自己充当了唯一的管理员入口。成员不再被运维直接登录,登录面收缩到联邦这一层——这就是「一份意图,多集群生效」的安全前提。

心跳周期决定就绪状态的时效。Karmada 的集群状态控制器按周期探测成员,间隔越短状态越新鲜、成本越高。由此引出一条边界:联邦看到的 Ready 永远是「最近一次心跳时」的 Ready,不是「此刻」的 Ready——下一小节展开 Condition 的具体判断。

联邦 API:拓扑的统一视图

联邦控制面除了「分发」,还向用户暴露一张统一的拓扑 API。在 Karmada 里,操作者对着 karmada-apiserver 执行 kubectl get clusters,一次命令看到所有成员;执行 kubectl get cluster member-us-east-1 -o yaml 看到某个成员的状态。对业务团队而言,他们不需要知道成员 apiserver 的地址——联邦把「N 个集群」抽象成一个查询入口,这是拓扑模型的对外呈现。

查询无联邦联邦
集群列表依次登录每个 apiserver一条命令列出全部成员
某集群状态登录后查该集群按名字查 Cluster 对象
全局可用性手工拼多份输出聚合总表直接给出结论

这套统一视图也是权限收敛的基础:操作者只持有联邦 apiserver 的凭据,对成员的访问由联邦控制面代理完成。成员 apiserver 的授权面因此可以缩到「只信任联邦」——拓扑模型和安全模型在这里重叠。

就绪状态:Condition 与「可用」

成员登记后,「在池子里」不等于「可用」。联邦控制面必须持续确认每个成员的存活,Karmada 由 karmada-controller-manager 里的集群状态控制器周期探测成员 apiserver,把结果写回 Cluster.status.conditions:

status:
  conditions:
  - type: Ready
    status: "True"
    reason: ClusterReady
  - type: ServiceAccountAccessible
    status: "True"
  - type: APIEndpointReachable
    status: "True"

「Ready 为 True」通常意味着三条都满足:成员 apiserver 可达、联邦访问凭据有效、成员网络可服务。就绪是一个状态,不是一次事件——探测是周期性的,集群随时可能从 Ready 翻到 NotReady,再翻回来。

lab 的 Cluster.Ready bool 把整个探测过程折叠成一个布尔位,但语义与真实 Condition 一致:分发与调度都以它为准,聚合总表也按它过滤。这就是「就绪状态聚合」的数据来源。

未就绪的过渡同样值得细看。探测连续失败多少次才把 Ready 翻成 NotReady?翻回之前要不要观察期?这些参数决定联邦对故障的「忍耐度」:阈值太小,一次网络抖动就把集群移出分发范围;阈值太大,故障已持续很久总表还显示可用。生产实践通常给「翻 NotReady」一个容忍窗口,而「翻回 Ready」则要求连续成功探测——去程宽松、回程严格,避免集群在就绪与未就绪之间来回振荡。

状态聚合:把分散状态汇成总表

聚合(aggregation)是联邦控制面区别于「脚本批量执行」的关键能力。AggregateStatus 把每个集群的就绪位按 Region 计数,形成一张「哪个区域有多少可用集群」的总表:

func (m *FedModel) AggregateStatus(ready func(*Cluster) bool) map[string]int {
	out := map[string]int{}
	for _, c := range m.Clusters {
		if ready(c) {
			out[c.Region]++
		}
	}
	return out
}

真实联邦里这张总表更厚:每个集群上报自身资源用量、Pod 分布、健康指标,控制面聚合成跨集群视图。但骨架相同——聚合的输入是「各成员自报的分散状态」,输出是一张可查询、可驱动决策的总表。

举个例子:一个联邦有 4 个成员,us 区 c1/c2,eu 区 c3/c4,其中 c4 正在断网。按 Ready 过滤聚合的结果是 us=2, eu=1。这张表告诉调度器:eu 的可用容量只剩一半,扩容新负载优先放 us;同时运维能立刻看出「eu 有异常」。若只看单个集群状态,你得到的是 4 行分散信息,聚合的价值就在于把分散信息折叠成可直接行动的结论。

总表有两个消费者:调度器用它挑「哪个 region 还有容量」(10.3 节),运维用它快速回答「哪片区域整体不健康」。聚合的代价也要认清:总表永远有延迟。成员状态是周期上报的,控制面看到的「就绪」是最近一次探测的缓存。联邦总表是最终一致的视图,不是实时快照——这个性质是 10.3 节最终一致性讨论的前提。

联邦的边界:哪些状态不该进总表

聚合不是「什么状态都往总表塞」。设计联邦总表时有一条实用判据:只有「跨集群决策需要用到」的状态才值得聚合。就绪位、region、容量这类会影响「分给谁」的状态必须进总表;而单个 Pod 的 CPU 尖刺、某个集群内部的一次滚动发布这类「只影响本地」的状态,进总表只会放大噪声。

联邦控制面自身也要高可用:控制面组件(karmada-apiserver、karmada-controller-manager)通常以多副本部署在专门的控制面集群里。联邦是「管集群的集群」,它自己也是被管理对象——这正是多集群治理的递归结构。总表的可靠性建立在控制面的可靠性上,控制面挂了,总表、分发、调度全部停摆。

三个常见误解

  • 「联邦就是把 YAML 复制到每个集群,谁复制都一样」——错误。联邦控制面维护成员拓扑、就绪状态与版本记录,复制只是分发的结果,不是联邦本身。
  • 「Region 是集群自己上报的物理属性」——错误。Region 是联邦管理员登记集群时打的标签,是运维决策的显式化,集群自身没有「位置」概念。
  • 「就绪状态聚合出来的总表是实时一致的」——错误。成员状态周期上报、控制面缓存,总表是最终一致的近似视图,聚合延迟是设计的一部分。

一句话总结本节

联邦模型用「成员集群 + Region 分组 + 就绪状态」描述多集群拓扑,由联邦控制面把各成员的分散状态周期聚合成一张总表。拓扑决定「池子里有谁」,聚合决定「谁可用」,这张总表正是跨集群分发与调度的输入。

下一节回答「总表有了,资源怎么推下去」:分发如何只发给就绪集群、版本记录如何追踪每个集群的落后程度。

本节 lab

本节用一个测试直接落在 federation 包的 FedModel.AggregateStatus 上,验证「按 Region 聚合就绪集群数」:

cd private/labs/k8s-net-lab
go test ./federation -run TestAggregateStatusByRegion -v
  • 先建 3 个成员:c1、c2 同属 us,c3 属 eu,再把 c3 置为未就绪;
  • 用 AggregateStatus 按 Ready 过滤计数,断言 us 聚合为 2、eu 聚合为 0——对应「只有就绪集群计入总表,未就绪集群即使登记了也不进可用数」;
  • 整条断言 1 项(复合条件 agg["us"] != 2 || agg["eu"] != 0),跑完见 ok k8s-net-lab/federation。

这就是联邦控制面把「N 个集群的分散状态」折叠成「一张可查询总表」的最小可验证闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图