《Kubernetes 分布式系统原理深入解析》1.3 从容器网络到节点路由

单节点的 veth 接线只是第一步,跨节点要靠路由表把 Pod IP 送达目的节点。本节讲解每节点子网 + 网关下一跳的转发模型,以及路由查表的三条语义:同网段直达、跨网段走 next hop、未命中不可达。lab 用 TestNodeLookupRemote 验证跨节点经网关到达与未知网段不可达两条语义。

1.3 从容器网络到节点路由

1.2 节把 Pod 接进了节点的网络:一个 veth,一端在 Pod 的 NETNS 里,一端挂在节点的 bridge 上。到此为止,跨节点还走不通——Pod A 的 10.244.1.5 怎么把包送到节点 B 上的 10.244.2.8?答案藏在节点的路由表里。

本节把网络从「单节点」推进到「多节点」:每节点子网怎么变成路由、网关下一跳怎么把流量导向目的节点、查表语义怎么决定「直达、转发还是不可达」。

从单节点到多节点:缺口在「怎么跨节点」

把 1.2 节的成果画出来:节点 n1 上,Pod 10.244.1.5 的包先到达节点上的 bridge,然后……就没有然后了。bridge 只管二层转发,遇到一个目的地址不在自己网段内的包,它必须交给三层的路由表决定下一步。

这就是从容器网络到节点路由的转换点:Pod 的包在节点内是二层的,一出节点就是三层的。而「路由表」正是节点上决定「这个三层目的地址往哪送」的机关。

每节点子网 + 网关下一跳:路由表的最小模型

路由表的基本单元是「目标网段 → 下一跳」。有了 1.1 节的每节点子网,路由可以做得极其规整——每个节点一个子网,每条跨节点路由的目标就是某个节点的子网,下一跳就是那个节点的网关地址。本卷 lab 的 Route{Dest, Via} 就是这个模型的直接映射:

节点拥有的 Pod 子网其他节点看到的路由
n110.244.1.0/2410.244.1.0/24 via <n1 网关>
n210.244.2.0/2410.244.2.0/24 via <n2 网关>

路由表里存的是汇总后的子网路由,而不是每个 Pod 一条——这是「每节点子网」的威力:路由条数 = 节点数,而不是 Pod 数。一个 1000 节点的集群,每个节点维护约 1000 条子网路由,而不是几十万条 Pod 路由。

网关下一跳是谁?在典型 bridge 方案里,每节点子网的网关就是节点本身(节点的内网 IP)。跨节点的包到达目的节点后,由目的节点再按本机路由表二层转发给具体 Pod。lab 里 n1.AddRoute("10.244.2", "10.244.0.2") 表示「去 10.244.2.x 的包,先发给网关 10.244.0.2」。

一张真实节点路由表长什么样

把模型落到真实 ip route 输出,核心路由就是「本机子网 + 每条远端子网」:

default via 172.16.0.1 dev eth0                 # 节点默认出口
10.244.1.0/24 dev cni0 proto kernel scope link  # 本节点 Pod 子网,直接可达
10.244.2.0/24 via 172.16.0.2 dev eth0           # 节点 n2 的 Pod 子网,经 n2 网关
10.244.3.0/24 via 172.16.0.3 dev eth0           # 节点 n3 的 Pod 子网,经 n3 网关

对照三条语义看这张表:

目的地址命中哪条语义
10.244.1.5(本节点 Pod)10.244.1.0/24 dev cni0本机网段,直接进 bridge
10.244.2.8(远端 Pod)10.244.2.0/24 via 172.16.0.2跨节点,交给下一跳
8.8.8.8(外网)default via 172.16.0.1非 Pod 网段,走默认出口

注意 proto kernel scope link:这条路由由内核在接口配好地址时自动生成,不需要手工写——节点上的 bridge(cni0)拿到 10.244.1.1 地址后,10.244.1.0/24 直达路由就出现了。手工要维护的只有「远端子网」那一批。

路由查表语义:直达、下一跳、不可达

路由表怎么处理一个包,归纳成三条语义,也是本卷 lab Lookup 的三条分支:

  1. 同网段直达:目的 IP 落在本节点子网内 → 直接交付(本节点二层可达),不需要路由项。lab 里 hasPrefix(ip, n.CIDR) 命中即返回 ip 本身。
  2. 跨网段走 next hop:目的 IP 落在某条路由的 Dest 里 → 把包交给该路由的 Via。lab 里遍历 Routes 找到前缀匹配返回 r.Via。
  3. 未命中不可达:目的 IP 既不在本网段、也不在任何路由目标内 → 没有出口,返回空。真实内核会走默认路由或直接丢弃,lab 返回 "" 表示「不可达」。

注意第三条的意义:未命中即不可达,是路由表的一种主动保护。如果节点盲目把所有未命中的包都丢给默认路由,Pod 流量可能被发到错误的地方(比如经节点出口 NAT 出去,破坏扁平模型)。K8s 网络方案通过保证「每个节点子网都有明确路由」,让 Pod 网段内的流量永不落入默认路由。

节点内转发路径:从 Pod 到出接口

路由查表只是转发的一个环节。一个包从 Pod 发出到离开节点,走的完整路径是:

  1. Pod 的 eth0 发出,进入 veth 对端的节点侧接口。
  2. 进入节点 bridge(cni0),被二层转发到 bridge 的上联口。
  3. 在节点三层查路由表:本网段直达或交给下一跳。
  4. 按查表结果从对应出接口发出(本网段回 bridge,跨节点走 eth0)。
路径段负责的机制决定什么
Pod eth0 → veth虚拟以太网对把 Pod 的包送进节点网络栈
bridge 二层转发内核 bridge本网段内的包直接转给目标 Pod
路由查表内核 fib决定包出哪个接口、下一跳是谁

对照这四步,1.2 节的 CNI 负责第 1、2 段(建 veth、挂 bridge),本节的路由负责第 3 段(决定去向),第 4 段由内核按查表结果执行。CNI 与路由的分工是清晰的:前者建「路」,后者选「路」。排查跨节点不通时,沿着这条路径逐段验证——接口在不在(ip link)、bridge 通不通(brctl show)、路由对不对(ip route)、包到没到(tcpdump -i eth0),每一段都能定位问题。

对称路由:回包怎么走回来

分布式系统里路由还有一个容易被忽略的问题:回包。Pod A 发往 Pod B 的包走「A 节点 → 网关 → B 节点」,Pod B 的应答包要走「B 节点 → 网关 → A 节点」——这条路径叫反向路由。它必须存在且正确:

方向路径依赖的路由
出站A 节点 → B 节点网关 → B 节点A 节点的 10.244.2.0/24 via B 网关
回包B 节点 → A 节点网关 → A 节点B 节点的 10.244.1.0/24 via A 网关

K8s 网络方案在设计上保证对称:每个节点既有「去其他子网」的出站路由,也有「其他子网回来」的对应路由。路由不对称会带来隐蔽故障——包能出去、应答回不来,表现为「Pod 之间 ping 通但 TCP 建连失败」。排查这类问题时,第一件事是同时看两端节点的路由表是否互为镜像。

验证对称的实操做法:在两端节点分别 ip route 并对照,或直接查「对端子网 → 本节点网关」这条路由是否存在。多数网络方案的对称由「每节点子网全局唯一 + 双向注入」自动保证,但手动加路由、防火墙改写源地址(SNAT)都可能破坏它——凡是绕过标准方案的手工改动,都是对称路由的头号嫌疑人。

故障转移:路由没更新时会怎样

路由表描述的是一幅「节点健康」时的静态地图。节点真出故障时,路由表并不会自己变:

故障场景路由表现流量去向
目标节点宕机路由仍指向它的网关黑洞:包被网关丢弃或转发失败
目标节点网络中断路由仍在出包失败,TCP 重试直到超时
节点重新加入路由重新生效取决于网络层收敛速度

这就是「路由表是最终一致性系统」的体现:它只反映『曾经正确』的拓扑,收敛靠外部机制。K8s 里补救分两层:控制面把 NotReady 节点上的 Pod 摘出端点(第 2.3 节,数据面因此不再把新流量发过去);网络层则靠 BGP 收敛或云 VPC 路由更新来修正「子网在哪个节点」这张地图。两层速度不同,窗口期内总有一批流量会被导到已经死了的节点——应用层的重试与容错就是为这个窗口准备的。

BGP 方案(calico)的收敛速度取决于 BGP 探测间隔(默认秒级到几十秒);云 VPC 路由更新受云 API 调用延迟影响。路由层的收敛速度,决定了『节点故障后流量多久不再撞墙』的下限——比端点摘除慢的那段,就靠数据面摘除先挡住。这也解释了为什么「摘除端点」和「修正路由」是两件必须分开做的事:前者是毫秒到秒级的对象事件,后者是秒到分钟级的网络收敛。

排查顺序:跨节点不通时先看哪

「Pod 之间跨节点 ping 不通」是最常见的网络排障起点,按本节的分层逐段排查:

  1. 本机子网路由在不在:ip route | grep 10.244.1.0/24——不在说明 CNI 或网段配置没建好。
  2. 目标子网路由对不对:ip route | grep 10.244.2.0/24——下一跳是否是目标节点网关。
  3. 远端子网是否可达:ping 目标节点网关 IP——网关不通则问题在物理层。
  4. 两端路由是否对称:对照两端节点的路由表是否互为镜像。
  5. 从节点内抓包:tcpdump -i eth0 host 10.244.2.8——看包是否真的出了节点。

每一步都对应本节的一个概念:第 1 步对应「同网段直达」、第 2 步对应「跨网段 next hop」、第 4 步对应「对称路由」。排障路径就是本节概念的反向走一遍——概念越清楚,排查越不会乱猜。这也是把「路由表」从内核细节提升为可推演模型的价值:知道有哪几条语义,就知道该查哪几个点。

还有一类「能通但慢」的隐蔽问题:当子网路由被意外掩掉(如误删、被云路由覆盖)时,流量会落入默认路由走节点出口,表现为「通,但延迟异常高」。排查慢而不通的情况,要对比 ip route 的实际输出与预期子网路由,而不是只看连通性——延迟异常往往是『路由退化到默认路径』的信号。

路由表从哪里来:静态注入与动态交换

路由表不是凭空出现的。不同方案填路由表的方式完全不同:

方案路由来源规模特征
bridge + 节点路由云环境自动注入(每节点一条 /24 路由)依赖底层网络支持
flannel(VXLAN)节点本地生成,封装进隧道无需云路由参与
calicoBGP 在节点间交换路由大规模时靠 BGP 收敛
云 VPC 路由表云厂商 API 写入 VPC 路由节点增删自动同步,但受配额限制

不管来源是什么,数据的形状都一样:每个节点知道「每个子网在哪个下一跳」。calico 等方案的 BGP 只是「如何高效地把这张表传播到每个节点」的机制,表本身的结构就是「子网 → 下一跳」。

云环境的做法值得单独注意:云厂商(AWS VPC、GCP VPC)支持「每节点一个子网、VPC 路由表自动注入」,这是托管集群默认的 underlay 方案——节点加入时,云 API 自动加一条 10.244.x.0/24 → 节点 IP 的路由,节点移除时自动删。它的边界是路由表配额(VPC 路由条目上限),节点数逼近配额时就要切换 overlay(flannel)或 BGP(calico)。托管集群的路由注入通常不可见也不可手动改,节点数增长时要提前把配额纳入容量模型——配额告警往往就是「该换数据面」的信号。

路由还有一个现实问题:表会「变旧」。节点增删、网段调整后,如果路由没有同步更新,就会出现「表里有路由但下一跳已不存在」的死路由——排障时看到路由项存在但流量不通,先怀疑它是不是过期。

三个常见误解

  • 「每个 Pod 一条路由,Pod 多了路由表就爆炸」——错误。路由按子网汇总,条数 = 节点数,不随 Pod 数增长;这正是每节点子网设计的目的。
  • 「跨节点包要经过多次 NAT 转换才能到达」——错误。跨节点转发是纯路由转发(改下一跳、不改目的地址),源地址保持 Pod IP,对端看到的还是发起的 Pod。
  • 「未命中路由的包会发到默认网关,总是能到」——错误。未命中即不可达是刻意的设计;K8s 网络靠「子网路由全覆盖」让 Pod 流量不落默认路由,乱丢默认网关会破坏扁平模型。

一句话总结本节

从容器网络到节点路由的跨越,靠的是「每节点子网 → 路由表 → 网关下一跳」:包在节点内二层直达,跨节点由路由表按「同网段直达 / 跨网段走 next hop / 未命中不可达」三条语义决定去向。路由按子网汇总使表大小只随节点数增长,查表语义保证了 Pod 流量端到端不被改写,对称路由保证了应答能原路返回。

下一章开始第二层抽象:从「Pod 之间的路由」升级到「一组 Pod 背后的稳定入口」——Service 的虚拟 IP 是怎么被分配、又被数据面变成真实转发规则的。

本节 lab

本节的转发语义由 cni 包的 Node.Lookup 实现,TestNodeLookupRemote 验证跨节点路径:

cd private/labs/k8s-net-lab
go test ./cni -run TestNodeLookupRemote -v

TestNodeLookupRemote 构造节点 n1(子网 10.244.1)与远端节点 n2(子网 10.244.2),给 n1 加一条路由 10.244.2 → 10.244.0.2,然后断言:

  • Lookup("10.244.2.8") 返回 10.244.0.2——跨节点走网关下一跳;
  • Lookup("10.244.9.1") 返回空——未知网段不可达。

两条断言对应本节「跨网段走 next hop」与「未命中不可达」两条查表语义。结合 1.2 节的 TestNodeLookupLocal(本网段直达),三个分支合成一张完整的最小路由表:本机直达、跨节点转发、未知拒绝。跑完见 ok k8s-net-lab/cni。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图