《Kubernetes 分布式系统原理深入解析》11.1 MCS API 与全局负载均衡

MCS API 用 ServiceExport 声明「可导出」、ServiceImport 声明「要导入」,控制面把各集群贡献的端点聚合进消费者集群的 EndpointSlice,本地数据平面按端点占比加权轮询分发。本节剖析导出/导入对象、端点聚合与加权轮询语义,并用 mcs 包的 ServiceImport/GlobalLB 验证跨集群聚合与 3:1 加权分发。

11.1 MCS API 与全局负载均衡

第 10 章把「一个联邦里有哪些集群、资源怎么分发」讲清楚了。但分发只是把资源「放过去」,跨集群的流量还要回答另一件事:消费者怎么发现并打到对端。本节讲 MCS API(Multi-Cluster Services)——它用 ServiceExport/ServiceImport 两个对象声明「哪个服务可跨集群、哪个集群要消费它」,再由控制面把各集群的端点聚合成本地的 EndpointSlice,让本集群的 kube-proxy、网关或网格按端点占比做加权轮询。

跨集群服务发现的两种模型

多集群流量要解决的核心是「服务发现跨了集群边界」。有两种主流模型:

模型思路代表实现
注册中心模型把各集群的 EndpointSlice 同步进一个中心,消费者集群各自订阅MCS API、Submariner
网格模型由服务网格在跨集群控制面做端点表,sidecar 就近转发Istio 多主、Linkerd 多集群

MCS API 属于第一种,而且它把「同步端点」这件事做成了声明式 API:源集群声明「这个服务可以出去」、消费者集群声明「我要进来」,中间的同步是控制器的事,使用者不需要关心端点如何流动。这是它与「把两个集群的 kubeconfig 拼在一起手动配 DNS」的根本区别——多集群不再是运维脚本,而是对象与控制器组成的系统。

ServiceExport:声明「这个服务可以出去」

ServiceExport 是一个极简对象,放在提供服务的一端。假设 us 集群里有一个 shared-db 服务要开放给 eu 集群:

apiVersion: multicluster.x-k8s.io/v1alpha1
kind: ServiceExport
metadata:
  name: shared-db
  namespace: prod

它没有任何 spec 字段,含义就是「把这个 Service 导出到集群联邦」。MCS 控制器看到 ServiceExport 后,会做三件事:校验同名 Service 存在、把这个服务标记进联邦端点同步、在联邦的各消费者集群里播报它的存在。ServiceExport 的语义是「权限声明」——没有它,服务再大也出不了本集群。

值得注意 ServiceExport 与 ServiceImport 的绑定方式:不是靠资源引用,而是靠同名同命名空间。消费者集群里 prod/shared-db 的 ServiceImport,对应的就是源集群 prod/shared-db 的 ServiceExport。这套「名字即契约」的约定让对象保持极简,代价是重名冲突必须在命名空间层面隔离——这也是跨集群场景里命名空间规范变得重要的原因。

ServiceImport:声明「我要消费」

消费者 eu 集群需要声明自己要用这个跨集群服务:

apiVersion: multicluster.x-k8s.io/v1alpha1
kind: ServiceImport
metadata:
  name: shared-db
  namespace: prod
spec:
  type: ClusterSetIP
  ports:
    - port: 5432
      protocol: TCP

type: ClusterSetIP 表示「整个集群集合共享一个虚拟 IP」——消费者集群会为它分配一个本地 ClusterIP,本集群的 Service 就指向这个聚合视图。MCS 控制器随后在消费者集群创建一组 聚合的 EndpointSlice,标签是 multicluster.kubernetes.io/service-name: shared-db。这些 EndpointSlice 里的每个地址都来自某个源集群的一个真实 Pod,并带上 cluster 标注标明出处。

ServiceImport 的语义是「订阅」:它把「对方有什么」变成了「本地可寻址、可路由的对象」。本地 ClusterIP 是稳定入口,后端的端点集合随时间变化——增删、故障、集群加入退出——都由控制器维持。

端点聚合:从各集群 EndpointSlice 到全局视图

聚合是 MCS 控制器的核心动作。它的输入是各源集群的 EndpointSlice,输出是一张「哪个集群贡献了几个端点」的账:

源集群贡献端点端点占比
us375%
eu125%

lab 里的 ServiceImport 把这个账建成了数据结构:Clusters 是一个从集群名到 EndpointSet 的映射,EndpointSet 记录 Count 与 Weight。GlobalEndpoints() 把各集群的 Count 相加——聚合的第一语义就是把「分而治之」的端点变成「全局总数」。控制器把这张账写进消费者集群的 EndpointSlice,本集群的数据平面不需要知道「端点属于哪个集群」也能工作,它只需要端点地址与健康状态。

这里有一个值得注意的细节:MCS API 的聚合是控制面最终一致的。控制器从各集群拉取 EndpointSlice、计算全局视图、写入消费者集群,任一环节都是异步的,消费者看到的端点集合可能有几分钟的延迟。它与第 10.3 节联邦调谐共享同一个收敛模型:没有全局锁,靠周期同步与版本对齐。

消费者集群里看到什么

聚合完成后,消费者集群 eu 里会出现一组可观测的对象。用命令核对:

kubectl get serviceimport shared-db -n prod
kubectl get endpointslice -l multicluster.kubernetes.io/service-name=shared-db -n prod

聚合的 EndpointSlice 与普通 EndpointSlice 有两个关键差异:

差异普通 EndpointSliceMCS 聚合 EndpointSlice
地址来源本集群 Service 的 Pod多个源集群的 Pod
出处标识无端点带 cluster 标注标明来源
更新者endpointslice 控制器MCS 控制器(跨集群同步)
生命周期跟随本集群 Service跟随 ServiceExport/ServiceImport 对

这份 EndpointSlice 对数据平面是透明的——kube-proxy 按常规方式读它、建负载均衡规则,不知道也不需要知道「这个后端在另一个集群」。聚合的价值正在于把「跨集群」翻译成「本地端点表」,让整个数据平面零改动。

按端点占比加权轮询

聚合视图建好之后,分发就交回本地数据平面。kube-proxy 或网关对聚合 EndpointSlice 做负载均衡时,默认每个端点等权——于是流量比例自动等于端点数量比例。这就是「按端点占比加权轮询」:us 有 3 个端点、eu 有 1 个,一轮 4 次连接里 us 分到 3 次、eu 分到 1 次。

lab 的 GlobalLB.Pick 就是把这个语义实现成最小形式:把每个集群按 Count 复制进一个池子(us 出现 3 次、eu 出现 1 次),用 round 指针轮询取第 round % len(pool) 个。池子里的元素重复次数即权重,轮询指针保证在完整一轮里,每个权重精确命中它的次数。

for _, es := range lb.Import.Clusters {
    for i := 0; i < es.Count; i++ {
        pool = append(pool, es.Cluster)
    }
}
ip := pool[lb.round%len(pool)]
lb.round++

这套实现解释了加权轮询的三个性质:

  • 比例正确:完整一轮后各集群被选中的次数恰好等于端点占比。
  • 分布均匀:指针每步 +1,避免「us 连发 3 次」的突发,连接呈交错分布。
  • 权重即端点数:权重没有被单独配置,而是从 Count 派生——加权轮询的前提是「每个端点容量相同」。端点容量不均(不同机型、不同规格)时,需要显式权重修正。

加权轮询的局限:容量不均与故障偏斜

「按端点占比」是最朴素的全局负载均衡,但它在两种场景下会失真。第一种是容量不均:us 的 3 个 Pod 都是 2 核 4G、eu 的 1 个 Pod 是 16 核 64G,按端点数 3:1 分发会把大头压到弱节点上。第二种是故障偏斜:若 us 的端点健康但负载已高、eu 的端点空闲,占比不变、流量仍按 3:1 走。

场景端点占比轮询的表现需要的手段
同规格副本3:1 精确,无需修正无
规格异构弱集群过载显式权重或按容量归一
局部过载空转请求增多健康探测 + 就地扩容,或基于延迟的负载均衡
集群级故障端点集合收缩,占比自动改变控制面剔除故障集群的端点

MCS API 的边界就在于此:它负责「端点集合的聚合与同步」,不负责「基于实时负载的智能路由」。跨集群流量要按延迟、成本、区域就近分发,需要网格或第 10 章提到的联邦调度参与;MCS 提供的是「正确、公平、稳定」的基线分发。

把 MCS 放进多集群体系

MCS API 与前面章节的关系需要厘清:

  • 网络可达性:聚合端点必须能被消费者集群路由到。这就是第 1 章扁平网络与第 5.3 节多集群 Ingress 铺垫的基础——MCS 聚合出地址,底层网络保证地址可通。
  • 调度分发:第 10 章决定「服务部署在哪几个集群」,MCS 决定「消费者如何发现这些部署」。先有分发后有聚合。
  • 一致性边界:聚合视图是最终一致的,消费者读到的端点集合总有一个同步延迟——这是第 12.1 节「读路径三层」里客户端缓存之外的另一层最终一致。

落地时按这张清单核对:

检查项说明
源集群创建 ServiceExport漏掉则服务不会被聚合
消费者集群创建 ServiceImport漏掉则本地无 ClusterIP
校验聚合 EndpointSlice 出现kubectl get endpointslice -l multicluster.kubernetes.io/service-name=shared-db
校验本地 Service 能选到聚合端点从消费者集群的一个 Pod 里 curl ClusterIP
检查网络路由可达端点跨集群 ping/tcp 连通,不通则聚合无效

三个常见误解

  • 「ServiceExport 会主动把流量转发出去,导出即负载均衡」——错误。ServiceExport 只声明「这个服务可被导出」,不产生任何转发动作;转发依赖消费者端的 ServiceImport 与聚合 EndpointSlice。
  • 「全局负载均衡是控制面在中心节点做的」——错误。聚合由控制面完成,但流量分发发生在消费者集群本地数据平面,按端点占比加权轮询。
  • 「按端点占比就是按集群容量占比」——错误。端点数相等才意味着容量相等;规格异构时端点占比会失真,需要显式权重修正。

一句话总结本节

MCS API 用 ServiceExport 声明可导出、ServiceImport 声明要导入,控制面把各集群的端点聚合进消费者集群的 EndpointSlice,本地数据平面按端点占比加权轮询分发。它把「跨集群服务发现」做成了对象与控制器组成的声明式系统,而聚合后的占比分发是这套系统最核心的流量语义。

下一节回答多集群里的另一个问题:当每个区域都需要一个「单写者」时,谁来当?Leader 选举与故障转移。

本节 lab

本节的两个测试落在 mcs 包的 ServiceImport 与 GlobalLB 上,验证「端点聚合」与「按占比加权分发」两条语义。一个断言聚合后的总端点数,一个断言一轮轮询里的分发比例。

cd private/labs/k8s-net-lab
go test ./mcs -run TestGlobalEndpointsAggregation -v
go test ./mcs -run TestGlobalLBWeightedByEndpoints -v
  • TestGlobalEndpointsAggregation:ServiceImport 加入 us(3 端点)与 eu(1 端点),断言 GlobalEndpoints() 返回 4——1 条断言,对应「跨集群端点聚合出全局总数」。
  • TestGlobalLBWeightedByEndpoints:同一份 ServiceImport 建 GlobalLB,连续 Pick() 4 次,断言 us 命中 3 次、eu 命中 1 次——1 条复合断言,对应「完整一轮内流量按端点占比 3:1 精确分发」。

两个测试跑完见 ok k8s-net-lab/mcs。这就是「导出声明 + 导入订阅 + 端点聚合 + 占比轮询」的跨集群负载均衡最小闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图