《Kubernetes 分布式系统原理深入解析》2.2 kube-proxy:iptables/IPVS/eBPF

ClusterIP 是虚拟的,数据面要把它变成真实转发:kube-proxy 监听 Service/EndpointSlice,把虚拟 IP 写进转发规则。本节对比 iptables 链式匹配、IPVS 连接表与 eBPF 收包路径内联三种数据面在每包成本、连接跟踪、健康摘除与规则规模上的差异。lab 用 service 包验证轮询、连接跟踪、加权分布与不健康后端摘除。

2.2 kube-proxy:iptables/IPVS/eBPF

2.1 节说 ClusterIP 是「虚拟的」——它没有网卡、不可 ping、只存在于规则里。那么问题来了:谁负责把这些规则装进每台节点,让发往 ClusterIP 的包真的到达某个后端 Pod? 答案是一个运行在每台节点上的守护进程:kube-proxy。

本节拆解 kube-proxy 的核心决策:用哪种数据面把「虚拟 IP → 后端列表」变成真实转发。三种主流数据面——iptables、IPVS、eBPF——在每包成本、连接跟踪、规则规模上的取舍完全不同,理解这个取舍是理解 Service 性能与可观测性的钥匙。

kube-proxy 的输入与输出

kube-proxy 本身不做任何包转发,它是一个规则生成器:

  • 输入:通过 list-watch 从 apiserver 订阅 Service 与 EndpointSlice(第 2.3 节)的增量事件。
  • 输出:在节点网络栈里安装的转发规则(iptables 链 / IPVS 虚拟服务 / eBPF map)。
  • 闭环:规则必须与对象状态一致——Service 增删、端点增减、后端变不健康,规则都要跟着变。

这个「对象状态 → 转发规则」的映射,正是卷二讲的控制回路在数据面上的投影:期望状态(Service 的声明)驱动规则安装,数据面状态(规则是否匹配)由内核保证。kube-proxy 做得对不对,看规则是否始终对应最新的 Service/端点视图。

三种数据面的本质差异

三种数据面的差别在「一个包到达节点、目的地址是 ClusterIP 时,内核拿它怎么办」:

维度iptablesIPVSeBPF(cilium 等)
匹配机制规则链逐个匹配内核哈希表查虚拟服务eBPF map 查表
每包成本O(规则条数),链越长越贵O(1),哈希一次O(1),收包路径内联
连接跟踪无,每包独立选择后端有,连接表固定后端有,连接跟踪可编程
均衡方式随机概率(weight)多种调度算法(rr/lc/wrr)自定义(含加权)
规则规模随 Service×端点线性膨胀哈希表,规模友好哈希表,规模友好
内核依赖任意发行版都有需 IPVS 模块需较新内核与网卡特性

iptables 的每包成本是它的命门:内核按链顺序逐条匹配,一个链上有多少规则就匹配多少次。集群 Service 多、端点多时,匹配链越来越长,每包成本线性上升——这是 iptables 模式在大规模集群里性能恶化的根源。

IPVS 用内核哈希表换掉了线性扫描:查表一次 O(1),同时内核维护连接表,同一连接后续包固定同一后端。代价是要装 IPVS 模块、用 ipvsadm 管理虚拟服务,且部分高级字段(如按比例加权)表达不如 iptables 灵活。

eBPF 把转发逻辑搬进内核收包路径:包在网卡驱动/TC/XDP 处就被 eBPF 程序查表处理,不经过 iptables 链、不经过用户态,延迟最低、可观测性最强(可以按 Pod、Service 打点)。代价是内核版本与网卡驱动要求苛刻,通常由 cilium 这类专门方案提供,kube-proxy 本身不自带。

iptables 模式:规则链解剖

iptables 模式把「虚拟 IP → 后端」拆成两层链,看懂它们就懂了它的性能曲线:

KUBE-SVC-XXX    # 每个 Service 一条:入口链
  ├─ statistic match (概率=1/2) → KUBE-SEP-A  # 按权重跳后端
  └─ statistic match (概率=1/1) → KUBE-SEP-B
KUBE-SEP-A      # 每个后端一条:DNAT 到 Pod IP
  └─ -j DNAT --to-destination 10.244.1.5:8080
  • KUBE-SVC-* 链:一个 Service 一条,里面是「概率跳到哪个 KUBE-SEP」的规则,权重靠 statistic 模块的 --probability 表达(如 1/2 表示两后端均分)。
  • KUBE-SEP-* 链:一个后端一条,做真正的 DNAT --to-destination 改写,把目的地址从 ClusterIP 改成 Pod IP。
  • 所有链以 -m comment --comment "kubernetes service annotations" 标记归属,方便排障。

性能恶化的机理在这张表上很清楚:包进 KUBE-SVC 链后逐条匹配,规则越多匹配越久;端点一多,KUBE-SEP 链也跟着多。一个大 Service 有 100 个后端时,KUBE-SVC 链 100 条概率规则、KUBE-SEP 链 100 条 DNAT——这就是「链式匹配每包成本」的具象。

kube-proxy 的运行闭环:watch → 规则同步

规则不是一次性装好的。kube-proxy 每秒都在把「对象视图」同步成「规则视图」:

  1. watch:informer 缓存 Service、EndpointSlice 的最新状态。
  2. 触发:任一对象变化,或被周期性的全量 resync 兜底(iptables 模式默认同步周期 30 秒)。
  3. 生成:根据视图算出目标规则集合。
  4. 写入:与当前规则 diff,只增删变化的部分(增量),减少表操作。

这个闭环决定了两个可观测事实:规则更新是异步的(对象变了到规则变了有时间差),周期 resync 是纠错机制(即使漏掉了某个事件,下一轮全量对齐也会修回来)。所以「Service 建好了但暂时访问不到」往往不是规则错了,而是同步还没跑完——排障先看 iptables-save | grep <clusterip> 判断规则是否已到位。

连接跟踪:数据面选择的一个分水岭

「同一个连接的后几个包要不要固定到同一个后端?」三种数据面给出三种答案:

  • iptables:默认不跟踪连接,每个包重新独立选择后端。这带来一个可观测的现象:同一 TCP 连接拆成多次短请求时,可能落在不同后端(对无状态应用无感,对有状态会话有影响)。
  • IPVS:内核维护连接表,同一五元组命中同一后端,直到连接结束。这是 IPVS 天然适合有状态流量的原因。
  • eBPF:连接跟踪完全可编程,可以做到比 IPVS 更细的语义(如按目标 Pod 打标签、按 cluster 感知)。

lab 里这个差异被压缩成一行语义:ModeIPTables 每次 Pick 独立轮询,ModeIPVS/ModeEBPF 用 ipToIndex 连接表记住「虚拟 IP → 后端」,同一虚拟 IP 连续请求命中同一后端。这是本卷 lab 的简化模型——真实 iptables 用随机概率而非轮询,真实 IPVS 的跟踪粒度是五元组连接而非虚拟 IP,但「iptables 无跟踪 / IPVS 有跟踪」的分水岭是准确的。

健康后端摘除:规则如何跟随端点状态

无论哪种数据面,kube-proxy 都要保证一件事:不健康的后端不参与转发。机制随数据面而异:

数据面摘除机制
iptables不健康端点不生成 KUBE-SEP-* 链,流量自动落到健康端点
IPVS从虚拟服务的 real server 列表移除,连接表里的既有连接自然结束
eBPF从端点 map 移除,或标记为不可达

摘除的触发来自 EndpointSlice:端点 Ready 条件变假(第 2.3 节未就绪不进分片),kube-proxy 收到事件后重建规则。这里有个时序细节:摘除是异步的——端点失联到规则更新之间有一个窗口,窗口内的流量可能仍打向失联端点。应用层靠重试吸收这个窗口,这正是 Service 只保证「尽力交付到健康端点」而非「严格一次」的原因。

lab 里 TestRemoveUnhealthyBackend 把摘除压成两步:Pick 只从 Healthy=true 的端点里选;RemoveBackend 从列表里物理移除。第二步模拟 EndpointSlice 变化后的规则重建——「先不可选,再不可见」。

规则数量随规模增长的表现

数据面选型本质上是一次「每包成本 vs 维护成本」的规模权衡:

集群规模(Service×端点)iptablesIPVS / eBPF
小(几十 Service)链短,每包成本可忽略,配置简单引入额外模块/内核要求,收益不明显
中(几百 Service、上千端点)链变长,每包匹配开始可感知哈希表 O(1),差距拉开
大(上千 Service、上万端点)规则数膨胀,装表与匹配都变慢规模友好,是社区的主流选择

iptables 的规则数膨胀还带来第二个成本:每次端点变化都要重建规则链。一个 1000 端点的 Service 端点抖动时,iptables 模式要重算上千条规则,这个重算本身成为写放大源。IPVS/eBPF 的哈希表结构让「增删一个端点」变成 O(1) 的 map 更新,天然扛住抖动。

开启 IPVS:实际操作与前提

从 iptables 换到 IPVS 不是改一行配置那么简单,前提是内核要有 IPVS 能力:

前提说明
内核模块ip_vs、ip_vs_rr、ip_vs_wrr、ip_vs_lc 等需加载
kube-proxy 配置--proxy-mode=ipvs,或 kubeadm 的 kube-proxy ConfigMap 里 mode: ipvs
调度算法默认 rr,可配 lc(最少连接)、wrr(加权轮询)等

开启后可以用 ipvsadm -Ln 查看内核里的虚拟服务表——每条输出是一个 Service 的 VIP 与它的 real server 列表,比 iptables 的一堆链直观得多。注意 IPVS 模式仍依赖 kube-proxy 生成规则,它只是把「规则的形式」从 iptables 链换成 IPVS 表,watch → 同步的控制回路完全没变。

切换的收益要实测:小集群差距不明显,且 IPVS 需要额外维护模块与调度器配置。选 IPVS 不是「开个开关」,而是接受一套新的内核数据面——这正是数据面选型要权衡「规模收益 vs 运维前提」的实例。

eBPF 模式的门槛:cilium 的取舍

eBPF 数据面通常由 cilium 提供(kube-proxy 本身不自带),它的门槛与收益都最极端:

维度要求 / 收益
内核版本需要支持 eBPF 特性的较新内核(一般建议 5.x 以上)
网卡驱动充分利用需要支持 XDP 驱动的网卡
收益每包在收包路径内查表,不经 iptables/IPVS,延迟最低、CPU 占用低
可观测性可以按 Pod、Service、DNS 打点,链路信息远多于传统数据面

eBPF 还带来一个架构变化:转发逻辑从「kube-proxy 生成规则」变成「eBPF 程序直接读取对象状态」——cilium 用自己的 agent 维护 eBPF map,不再有 kube-proxy 进程。这与本节「kube-proxy 是规则生成器」的模型不同,但对数据面消费方而言,「虚拟 IP → 后端」的语义仍然一致,只是实现层换了引擎。理解三种数据面,本质是理解同一个语义在不同内核机制上的投影——选型的问题永远是「这套机制在我要的规模与运维条件下,划算吗」。

三个常见误解

  • 「kube-proxy 是一个代理,流量必须经过它的进程」——错误。kube-proxy 只装规则,流量由内核转发、不经过任何用户态进程;它像「交警」而不是「收费站」。
  • 「iptables 模式也有连接跟踪,同一连接固定同一后端」——错误。iptables 默认每包独立选择后端;连接固定是 IPVS 连接表与 eBPF 连接跟踪的特性。
  • 「换 IPVS/eBPF 就能解决一切性能问题,无需注意规则设计」——错误。哈希表省的是查表成本,规则生成与同步成本、端点抖动放大依然存在;大规模集群仍要靠 EndpointSlice 分片(2.3 节)控制变更面。

一句话总结本节

kube-proxy 把虚拟 IP 变成真实转发规则,三种数据面的取舍是「每包匹配成本 × 连接跟踪能力 × 规则规模」的三角:iptables 简单但链式匹配随规模膨胀,IPVS 用哈希表与连接表换 O(1),eBPF 把转发搬进收包路径换取最低延迟与最强可观测性。数据面只决定『怎么转发』,转发目标由 EndpointSlice 分片决定——下一节讲这个「目标」本身怎么被组织。

本节 lab

四种转发语义由 service 包的 Proxy 实现,四个测试逐条验证:

cd private/labs/k8s-net-lab
go test ./service -run TestIPTablesRoundRobin -v
go test ./service -run TestIPVSConnectionTracking -v
go test ./service -run TestWeightedDistribution -v
go test ./service -run TestRemoveUnhealthyBackend -v
  • TestIPTablesRoundRobin:iptables 模式对同一虚拟 IP 连续两次 Pick 返回两个不同后端——对应「无连接跟踪、独立选择」。
  • TestIPVSConnectionTracking:IPVS 模式同一虚拟 IP 两次 Pick 返回同一后端,不同虚拟 IP 不同——对应「连接表固定后端」。
  • TestWeightedDistribution:权重 3:1 的两个后端,4 次 Pick 命中 3:1——对应「加权分布」。
  • TestRemoveUnhealthyBackend:不健康后端不被选中;全部摘除后返回空——对应「健康后端摘除」。

四个测试共 9 条断言,跑完见 ok k8s-net-lab/service。Proxy 是本节数据面语义的最小落地:它不模拟内核网络栈,只模拟「iptables 无跟踪 / IPVS 有跟踪 / 健康过滤 / 加权」四个决策点——这正是数据面选型时真正要权衡的语义。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图