3.2 拓扑感知路由与端点感知
上一节的外部流量策略回答「哪个节点收包」,这一节回答一个更广的问题:流量能不能尽量留在同一个地理/拓扑区域。跨可用区(zone)的流量不只是延迟高一点点——跨 zone 的带宽计费、跨 zone 的链路抖动、跨 zone 的故障爆炸半径,都是成本。把一个「看起来在集群内部」的转发决策变得拓扑感知,是云原生网络里最值钱的优化之一。
K8s 给这个问题的答案是拓扑感知路由(topology-aware routing)。它不是简单地「把请求发给最近的 Pod」,而是由两条独立机制配合:数据面的端点感知路由负责「就近转发」,调度侧的拓扑分布约束负责「把 Pod 放得分散又就近」。本节先讲数据面,再讲它和调度面怎么咬合。
为什么「就近」值得做:跨区成本结构
先量化「跨区」到底贵在哪。假设集群横跨 3 个可用区,每个区 2 个节点:
| 成本项 | 区内(同一 zone) | 跨区(不同 zone) |
|---|---|---|
| 往返延迟 | 0.1-0.3 ms(同机房) | 1-5 ms(云厂商互联) |
| 带宽计费 | 通常免费 | 按 GB 计费 |
| 链路故障影响面 | 单机 | 可能整条区域链路 |
| 故障爆炸半径 | 一个节点 | 两个 zone 之间 |
对延迟敏感的服务(实时同步、游戏对战),多出来的 1-5 ms 是肉眼可见的劣化;对数据量大的服务(日志、批处理),跨区带宽是一张长期账单。把流量留在区内,等于同时优化延迟、成本与可靠性——这就是拓扑感知路由的目标函数。
端点感知路由:从「端点分片」读拓扑键
拓扑感知路由的输入是端点分片(EndpointSlice)。卷二第 2.3 节讲过端点分片把 Service 的端点按拓扑键切成若干片,每片带着 topology.kubernetes.io/zone 这类标签。路由决策的输入就是「请求来自哪个拓扑域 + 每个分片的拓扑键」:
| 输入 | 来源 | 例子 |
|---|---|---|
| 请求来源拓扑域 | 客户端所在 zone(从请求入口推断) | zone-b |
| 分片拓扑键 | EndpointSlice 的 addressType 与拓扑标签 | zone-a / zone-b |
| 端点就绪状态 | 端点切片里的 ready 条件 | ready=true |
决策逻辑只有三条规则,优先级从上到下:
- 本地优先:来源 zone 有就绪端点,只在本分片内选——不跨区。
- 回退全局:本地无端点,退到任意非空分片——可用性优先于拓扑。
- 全空则失败:所有分片都空,返回无端点。
lab 里 TopologyRouting.Pick(fromZone) 就是这个逻辑的最小实现:先在 Slices 里找 Key == fromZone 且有端点的分片,找不到再扫第一个非空分片。注意回退是有意为之——宁可跨区,也不因为「想省钱」而让请求失败。
与调度侧拓扑分布约束的配合
拓扑感知路由只解决「转发时就近」,但「每个区有没有可用的 Pod」取决于调度时怎么放。这需要把卷三的 topologySpreadConstraints(调度侧)搬出来和它配对:
| 机制 | 作用阶段 | 回答的问题 | 章节 |
|---|---|---|---|
| topologySpreadConstraints | Pod 调度时 | Pod 要不要分散到多个 zone | 卷三第 6.1 节 |
| 拓扑感知路由 | 请求转发时 | 请求要发给哪个 zone 的端点 | 本节 |
两者的关系是先有鸡蛋还是先有鸡:路由只能在「已经存在的端点」里就近,如果调度把所有 Pod 塞进一个 zone,路由的「就近」就退化成「没得选」。反过来,如果调度把 Pod 均匀铺开,路由就有了真正可选的本地端点。生产上常见的组合是:
- 调度侧用
topologySpreadConstraints把无状态副本均匀分布到各 zone(卷三),保证每个区都有本地端点。 - 数据面开 Service 的
topologyKeys(旧版)或trafficDistribution/服务网格的拓扑路由,让请求就近。 - 两者都失效的 zone(节点故障),路由自动回退全局,可用性兜底。
调度保证「有的选」,路由保证「选得近」——这是拓扑感知在 K8s 里的完整闭环。
API 形态:从 topologyKeys 到 trafficDistribution
拓扑感知路由在 K8s 里有两个阶段的 API,理解差异有助于读懂老文档与新配置:
| 阶段 | API | 行为 |
|---|---|---|
| 旧版 | Service 的 topologyKeys(已弃用) | 按用户写的拓扑键顺序贪心选择 |
| 新版 | trafficDistribution 与服务网格拓扑路由 | 以端点切片拓扑标签为准,支持比例溢出 |
topologyKeys 的问题是键写死在 Service 上、行为太「要么全要要么全无」,社区转向让端点切片的拓扑标签驱动决策,并支持把部分流量溢出到非本地域以缓解热点。演进方向是数据驱动替代配置驱动——拓扑信息来自端点自身携带的标签,而不是 Service 上写死的键列表。新配置落地下优先按新版语义理解:就近是默认行为,溢出是可选增强。
与 Service 其它策略的组合矩阵
拓扑感知路由与本章其它策略不是互斥,而是叠加。一张组合矩阵看清优先级:
| 组合 | 行为 | 适用 |
|---|---|---|
| 拓扑就近 + Cluster 策略 | 就近选择,无本地端点可跨节点 | 无状态、多区、要成本优化 |
| 拓扑就近 + Local 策略 | 就近 + 不 SNAT,范围进一步收窄 | 要源地址又要就近 |
| 拓扑就近 + 粘滞 | 就近选完再粘滞,TTL 内不再重选 | 会话 + 成本都敏感 |
| 粘滞 + 全局均衡 | 粘滞优先,TTL 到期后才均衡 | 会话敏感、成本不敏感 |
优先级的一般规律:粘滞 > 拓扑 > 全局均衡。会话连续性是一票否决(断了就出错),拓扑是成本优化(错了只是贵),全局均衡是兜底(保证可用)。设计路由策略时按这个优先级叠加字段,字段之间不会自相矛盾——这也解释了 3.3 节为什么说粘滞要让拓扑让位。
拓扑感知路由的启用判定清单
要不要给某个 Service 开拓扑感知路由,先回答四个问题:
- 跨区成本可量化吗:延迟/带宽账单是否明确?——成本不明就不值得为优化买单。
- 每个区都有端点吗:调度侧的 spread 约束是否把副本铺开?——没端点只能回退,开了也白开。
- 会话需要连续吗:有状态服务优先粘滞,拓扑让位——粘滞与就近冲突时先保会话。
- 语义要「正确区」吗:数据地域分片的服务不能贪近——就近不等于正确。
四问全过,拓扑感知路由才值得开;任何一个不满足,开了也是名义上的「就近」、实际上的全局回退。判定清单比配置本身更重要——多数拓扑感知「没效果」的案例,根因都是第一问没做(成本不明)或第二问没做(端点没铺开),而不是路由实现有问题。
有状态服务的例外:粘滞与地域分片
拓扑感知路由不是所有服务的正确解。有状态服务对「就近」的态度要谨慎得多:
| 场景 | 拓扑感知是否适用 | 原因 |
|---|---|---|
| 无状态、可任意重试 | 是 | 就近免费,回退无害 |
| 有状态、会话在内存 | 部分 | 会话粘滞(3.3 节)优先,拓扑让位 |
| 数据按地域分片 | 否 | 必须路由到持有数据的 region,而非最近 region |
最后一种最反直觉:数据地域分片(如「欧洲用户的数据在欧洲」)要求的是『正确区』,不是『最近区』。拓扑感知路由按延迟选区会选错——它优化了成本却破坏了数据主权。这类系统需要的是基于请求属性的路由(按用户所在区域查表定位分片),而不是基于来源拓扑域的贪心就近。区分「就近」和「正确」是设计这类路由的第一课。
拓扑键怎么来:三处来源
「拓扑域」本身从哪来?不同层级的拓扑键来源不同:
| 拓扑层级 | 键来源 | 常见值 |
|---|---|---|
| 节点 | topology.kubernetes.io/hostname | ip-10-0-1-12 |
| 可用区 | topology.kubernetes.io/zone | us-east-1a |
| 地域 | topology.kubernetes.io/region | us-east-1 |
EndpointSlice 的每个端点会携带其节点所属的拓扑标签,路由时直接读。拓扑感知的粒度取决于标签的粒度——如果你想按 zone 就近,就保证所有节点都有 zone 标签;标签缺失的节点会被当作「无拓扑信息」处理,通常退回到全局选择。标签治理是拓扑感知路由能生效的前提,这一点容易在生产中被忽视。
拓扑感知路由的代价:均衡性变差
任何「就近」都是对「均衡」的让渡。全局轮询能让每个后端负载均匀;就近选择会让某些 zone 的后端被本地流量打满、另一些空闲:
| 维度 | 全局均衡 | 拓扑就近 |
|---|---|---|
| 端点负载 | 大致均匀 | 本地流量集中,可能倾斜 |
| 流量成本 | 跨区成本高 | 区内成本低 |
| 故障影响 | 均衡分散 | 某区故障影响该区流量 |
| 典型适用 | 低成本机房、单区 | 多区生产、延迟敏感 |
所以拓扑感知路由通常配一个兜底阈值:本地分片端点过少(比如只剩 1 个)时,允许把一部分流量溢出到全局,避免本地热点。lab 的简化模型只实现了「有就回退无」,没有做比例溢出——真实实现里还会考虑端点数量与容量,本卷 lab 把「就近 vs 均衡」的张力量化成最少必要逻辑。
三个常见误解
- 「开了拓扑感知路由,流量就永远不会跨区」——错误。它是「优先」而非「保证」:本地无端点时必然回退全局,可用性优先于拓扑。
- 「只要数据面就近,Pod 放哪个区都行」——错误。就近路由没有本地端点可选时只能回退;必须先靠调度把端点铺到各区,路由才有得选。
- 「就近就是正确,距离最近的一定对」——错误。数据按地域分片的服务必须路由到持有数据的区,延迟最近反而错误;「就近」优化的是成本,「正确」满足的是语义。
拓扑感知路由的运维观测点
路由是否真的「就近」了,用三个指标观测:
| 指标 | 怎么观测 | 正常表现 |
|---|---|---|
| 跨区流量比例 | 网络监控按 zone 维度拆分 | 本地命中率高,跨区占比低 |
| 本地端点就绪率 | 各 zone 的 EndpointSlice 状态 | 各 zone 都有就绪端点 |
| 回退频率 | 路由日志与追踪 | 回退只出现在故障时 |
跨区流量比例是最直接的判据:拓扑感知生效时,来自 zone-a 的请求绝大多数落在 zone-a 端点;比例异常升高说明「本地没端点、大量回退」,该查调度侧的 spread 约束了。运维观测围绕「本地命中率」展开,而不是看配置开关是否打开——开关开了,命中率上不去,等于没开。
一句话总结本节
拓扑感知路由把「请求发给谁」从「全局均衡」升级为「本地优先、全局兜底」:
- 输入:EndpointSlice 按拓扑键分片,端点携带 zone/region 标签;路由读来源拓扑域。
- 决策:来源域有就绪端点就只在本地选,无则回退任意非空分片,全空才失败。
- 闭环:调度侧
topologySpreadConstraints保证各 zone 都有端点(有的选),数据面拓扑路由保证请求就近(选得近),故障时全局回退兜底。
「就近」不是免费午餐,它让渡了均衡性并可能违背地域语义——是否启用、按什么键切分,取决于服务是延迟敏感、成本敏感还是数据语义敏感。下一节讨论流量「粘滞」:当服务状态在内存里,就近与均衡都要给会话连续性让路。
本节 lab
本节用 endpoint 包的 TopologyRouting.Pick 验证两条路由规则:来源域内有端点时就近选择,来源域内无端点时回退全局:
cd private/labs/k8s-net-lab
go test ./endpoint -run TestTopologyPreferLocal -v
go test ./endpoint -run TestTopologyFallback -v
TestTopologyPreferLocal 断言来自 zone-b 的请求选中 zone-b 的端点 10.0.0.2——「本地优先」成立;TestTopologyFallback 断言来自 zone-c(没有对应分片)的请求回退到 zone-a 的端点 10.0.0.1——「全局兜底」成立。两个测试加起来 2 个断言,正好覆盖本节决策逻辑的两条路径,也印证了「就近是优先、不是保证」:没有本地端点时,路由宁可跨区也不失败。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。