2.2 kube-proxy:iptables/IPVS/eBPF
2.1 节说 ClusterIP 是「虚拟的」——它没有网卡、不可 ping、只存在于规则里。那么问题来了:谁负责把这些规则装进每台节点,让发往 ClusterIP 的包真的到达某个后端 Pod? 答案是一个运行在每台节点上的守护进程:kube-proxy。
本节拆解 kube-proxy 的核心决策:用哪种数据面把「虚拟 IP → 后端列表」变成真实转发。三种主流数据面——iptables、IPVS、eBPF——在每包成本、连接跟踪、规则规模上的取舍完全不同,理解这个取舍是理解 Service 性能与可观测性的钥匙。
kube-proxy 的输入与输出
kube-proxy 本身不做任何包转发,它是一个规则生成器:
- 输入:通过 list-watch 从 apiserver 订阅 Service 与 EndpointSlice(第 2.3 节)的增量事件。
- 输出:在节点网络栈里安装的转发规则(iptables 链 / IPVS 虚拟服务 / eBPF map)。
- 闭环:规则必须与对象状态一致——Service 增删、端点增减、后端变不健康,规则都要跟着变。
这个「对象状态 → 转发规则」的映射,正是卷二讲的控制回路在数据面上的投影:期望状态(Service 的声明)驱动规则安装,数据面状态(规则是否匹配)由内核保证。kube-proxy 做得对不对,看规则是否始终对应最新的 Service/端点视图。
三种数据面的本质差异
三种数据面的差别在「一个包到达节点、目的地址是 ClusterIP 时,内核拿它怎么办」:
| 维度 | iptables | IPVS | eBPF(cilium 等) |
|---|---|---|---|
| 匹配机制 | 规则链逐个匹配 | 内核哈希表查虚拟服务 | eBPF map 查表 |
| 每包成本 | O(规则条数),链越长越贵 | O(1),哈希一次 | O(1),收包路径内联 |
| 连接跟踪 | 无,每包独立选择后端 | 有,连接表固定后端 | 有,连接跟踪可编程 |
| 均衡方式 | 随机概率(weight) | 多种调度算法(rr/lc/wrr) | 自定义(含加权) |
| 规则规模 | 随 Service×端点线性膨胀 | 哈希表,规模友好 | 哈希表,规模友好 |
| 内核依赖 | 任意发行版都有 | 需 IPVS 模块 | 需较新内核与网卡特性 |
iptables 的每包成本是它的命门:内核按链顺序逐条匹配,一个链上有多少规则就匹配多少次。集群 Service 多、端点多时,匹配链越来越长,每包成本线性上升——这是 iptables 模式在大规模集群里性能恶化的根源。
IPVS 用内核哈希表换掉了线性扫描:查表一次 O(1),同时内核维护连接表,同一连接后续包固定同一后端。代价是要装 IPVS 模块、用 ipvsadm 管理虚拟服务,且部分高级字段(如按比例加权)表达不如 iptables 灵活。
eBPF 把转发逻辑搬进内核收包路径:包在网卡驱动/TC/XDP 处就被 eBPF 程序查表处理,不经过 iptables 链、不经过用户态,延迟最低、可观测性最强(可以按 Pod、Service 打点)。代价是内核版本与网卡驱动要求苛刻,通常由 cilium 这类专门方案提供,kube-proxy 本身不自带。
iptables 模式:规则链解剖
iptables 模式把「虚拟 IP → 后端」拆成两层链,看懂它们就懂了它的性能曲线:
KUBE-SVC-XXX # 每个 Service 一条:入口链
├─ statistic match (概率=1/2) → KUBE-SEP-A # 按权重跳后端
└─ statistic match (概率=1/1) → KUBE-SEP-B
KUBE-SEP-A # 每个后端一条:DNAT 到 Pod IP
└─ -j DNAT --to-destination 10.244.1.5:8080
KUBE-SVC-*链:一个 Service 一条,里面是「概率跳到哪个KUBE-SEP」的规则,权重靠 statistic 模块的--probability表达(如1/2表示两后端均分)。KUBE-SEP-*链:一个后端一条,做真正的DNAT --to-destination改写,把目的地址从 ClusterIP 改成 Pod IP。- 所有链以
-m comment --comment "kubernetes service annotations"标记归属,方便排障。
性能恶化的机理在这张表上很清楚:包进 KUBE-SVC 链后逐条匹配,规则越多匹配越久;端点一多,KUBE-SEP 链也跟着多。一个大 Service 有 100 个后端时,KUBE-SVC 链 100 条概率规则、KUBE-SEP 链 100 条 DNAT——这就是「链式匹配每包成本」的具象。
kube-proxy 的运行闭环:watch → 规则同步
规则不是一次性装好的。kube-proxy 每秒都在把「对象视图」同步成「规则视图」:
- watch:informer 缓存 Service、EndpointSlice 的最新状态。
- 触发:任一对象变化,或被周期性的全量 resync 兜底(iptables 模式默认同步周期 30 秒)。
- 生成:根据视图算出目标规则集合。
- 写入:与当前规则 diff,只增删变化的部分(增量),减少表操作。
这个闭环决定了两个可观测事实:规则更新是异步的(对象变了到规则变了有时间差),周期 resync 是纠错机制(即使漏掉了某个事件,下一轮全量对齐也会修回来)。所以「Service 建好了但暂时访问不到」往往不是规则错了,而是同步还没跑完——排障先看 iptables-save | grep <clusterip> 判断规则是否已到位。
连接跟踪:数据面选择的一个分水岭
「同一个连接的后几个包要不要固定到同一个后端?」三种数据面给出三种答案:
- iptables:默认不跟踪连接,每个包重新独立选择后端。这带来一个可观测的现象:同一 TCP 连接拆成多次短请求时,可能落在不同后端(对无状态应用无感,对有状态会话有影响)。
- IPVS:内核维护连接表,同一五元组命中同一后端,直到连接结束。这是 IPVS 天然适合有状态流量的原因。
- eBPF:连接跟踪完全可编程,可以做到比 IPVS 更细的语义(如按目标 Pod 打标签、按 cluster 感知)。
lab 里这个差异被压缩成一行语义:ModeIPTables 每次 Pick 独立轮询,ModeIPVS/ModeEBPF 用 ipToIndex 连接表记住「虚拟 IP → 后端」,同一虚拟 IP 连续请求命中同一后端。这是本卷 lab 的简化模型——真实 iptables 用随机概率而非轮询,真实 IPVS 的跟踪粒度是五元组连接而非虚拟 IP,但「iptables 无跟踪 / IPVS 有跟踪」的分水岭是准确的。
健康后端摘除:规则如何跟随端点状态
无论哪种数据面,kube-proxy 都要保证一件事:不健康的后端不参与转发。机制随数据面而异:
| 数据面 | 摘除机制 |
|---|---|
| iptables | 不健康端点不生成 KUBE-SEP-* 链,流量自动落到健康端点 |
| IPVS | 从虚拟服务的 real server 列表移除,连接表里的既有连接自然结束 |
| eBPF | 从端点 map 移除,或标记为不可达 |
摘除的触发来自 EndpointSlice:端点 Ready 条件变假(第 2.3 节未就绪不进分片),kube-proxy 收到事件后重建规则。这里有个时序细节:摘除是异步的——端点失联到规则更新之间有一个窗口,窗口内的流量可能仍打向失联端点。应用层靠重试吸收这个窗口,这正是 Service 只保证「尽力交付到健康端点」而非「严格一次」的原因。
lab 里 TestRemoveUnhealthyBackend 把摘除压成两步:Pick 只从 Healthy=true 的端点里选;RemoveBackend 从列表里物理移除。第二步模拟 EndpointSlice 变化后的规则重建——「先不可选,再不可见」。
规则数量随规模增长的表现
数据面选型本质上是一次「每包成本 vs 维护成本」的规模权衡:
| 集群规模(Service×端点) | iptables | IPVS / eBPF |
|---|---|---|
| 小(几十 Service) | 链短,每包成本可忽略,配置简单 | 引入额外模块/内核要求,收益不明显 |
| 中(几百 Service、上千端点) | 链变长,每包匹配开始可感知 | 哈希表 O(1),差距拉开 |
| 大(上千 Service、上万端点) | 规则数膨胀,装表与匹配都变慢 | 规模友好,是社区的主流选择 |
iptables 的规则数膨胀还带来第二个成本:每次端点变化都要重建规则链。一个 1000 端点的 Service 端点抖动时,iptables 模式要重算上千条规则,这个重算本身成为写放大源。IPVS/eBPF 的哈希表结构让「增删一个端点」变成 O(1) 的 map 更新,天然扛住抖动。
开启 IPVS:实际操作与前提
从 iptables 换到 IPVS 不是改一行配置那么简单,前提是内核要有 IPVS 能力:
| 前提 | 说明 |
|---|---|
| 内核模块 | ip_vs、ip_vs_rr、ip_vs_wrr、ip_vs_lc 等需加载 |
| kube-proxy 配置 | --proxy-mode=ipvs,或 kubeadm 的 kube-proxy ConfigMap 里 mode: ipvs |
| 调度算法 | 默认 rr,可配 lc(最少连接)、wrr(加权轮询)等 |
开启后可以用 ipvsadm -Ln 查看内核里的虚拟服务表——每条输出是一个 Service 的 VIP 与它的 real server 列表,比 iptables 的一堆链直观得多。注意 IPVS 模式仍依赖 kube-proxy 生成规则,它只是把「规则的形式」从 iptables 链换成 IPVS 表,watch → 同步的控制回路完全没变。
切换的收益要实测:小集群差距不明显,且 IPVS 需要额外维护模块与调度器配置。选 IPVS 不是「开个开关」,而是接受一套新的内核数据面——这正是数据面选型要权衡「规模收益 vs 运维前提」的实例。
eBPF 模式的门槛:cilium 的取舍
eBPF 数据面通常由 cilium 提供(kube-proxy 本身不自带),它的门槛与收益都最极端:
| 维度 | 要求 / 收益 |
|---|---|
| 内核版本 | 需要支持 eBPF 特性的较新内核(一般建议 5.x 以上) |
| 网卡驱动 | 充分利用需要支持 XDP 驱动的网卡 |
| 收益 | 每包在收包路径内查表,不经 iptables/IPVS,延迟最低、CPU 占用低 |
| 可观测性 | 可以按 Pod、Service、DNS 打点,链路信息远多于传统数据面 |
eBPF 还带来一个架构变化:转发逻辑从「kube-proxy 生成规则」变成「eBPF 程序直接读取对象状态」——cilium 用自己的 agent 维护 eBPF map,不再有 kube-proxy 进程。这与本节「kube-proxy 是规则生成器」的模型不同,但对数据面消费方而言,「虚拟 IP → 后端」的语义仍然一致,只是实现层换了引擎。理解三种数据面,本质是理解同一个语义在不同内核机制上的投影——选型的问题永远是「这套机制在我要的规模与运维条件下,划算吗」。
三个常见误解
- 「kube-proxy 是一个代理,流量必须经过它的进程」——错误。kube-proxy 只装规则,流量由内核转发、不经过任何用户态进程;它像「交警」而不是「收费站」。
- 「iptables 模式也有连接跟踪,同一连接固定同一后端」——错误。iptables 默认每包独立选择后端;连接固定是 IPVS 连接表与 eBPF 连接跟踪的特性。
- 「换 IPVS/eBPF 就能解决一切性能问题,无需注意规则设计」——错误。哈希表省的是查表成本,规则生成与同步成本、端点抖动放大依然存在;大规模集群仍要靠 EndpointSlice 分片(2.3 节)控制变更面。
一句话总结本节
kube-proxy 把虚拟 IP 变成真实转发规则,三种数据面的取舍是「每包匹配成本 × 连接跟踪能力 × 规则规模」的三角:iptables 简单但链式匹配随规模膨胀,IPVS 用哈希表与连接表换 O(1),eBPF 把转发搬进收包路径换取最低延迟与最强可观测性。数据面只决定『怎么转发』,转发目标由 EndpointSlice 分片决定——下一节讲这个「目标」本身怎么被组织。
本节 lab
四种转发语义由 service 包的 Proxy 实现,四个测试逐条验证:
cd private/labs/k8s-net-lab
go test ./service -run TestIPTablesRoundRobin -v
go test ./service -run TestIPVSConnectionTracking -v
go test ./service -run TestWeightedDistribution -v
go test ./service -run TestRemoveUnhealthyBackend -v
TestIPTablesRoundRobin:iptables 模式对同一虚拟 IP 连续两次Pick返回两个不同后端——对应「无连接跟踪、独立选择」。TestIPVSConnectionTracking:IPVS 模式同一虚拟 IP 两次Pick返回同一后端,不同虚拟 IP 不同——对应「连接表固定后端」。TestWeightedDistribution:权重 3:1 的两个后端,4 次Pick命中 3:1——对应「加权分布」。TestRemoveUnhealthyBackend:不健康后端不被选中;全部摘除后返回空——对应「健康后端摘除」。
四个测试共 9 条断言,跑完见 ok k8s-net-lab/service。Proxy 是本节数据面语义的最小落地:它不模拟内核网络栈,只模拟「iptables 无跟踪 / IPVS 有跟踪 / 健康过滤 / 加权」四个决策点——这正是数据面选型时真正要权衡的语义。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。