《Kubernetes 分布式系统原理深入解析》2.1 ClusterIP 的分布式虚拟 IP 语义

Pod IP 是活的:Pod 重建就换地址,客户端不该直接依赖它。Service 把一组 Pod 收束到一个稳定入口,ClusterIP 是这个入口的虚拟地址——从服务网段分配、不绑定任何实体、生命周期与 Service 绑定、删除即归还。本节解释它为什么是『虚拟的』(无实体可 ping),lab 用 service 包验证分配互异、删除复用与耗尽报错。

2.1 ClusterIP 的分布式虚拟 IP 语义

第 1 章解决的是「Pod 之间怎么互相到达」。但 Pod 的 IP 是不稳定的:Deployment 滚动更新、故障重启、驱逐重建,都会让 Pod 换一个新的 IP。客户端如果直连 Pod IP,一旦 Pod 没了就连不上了。

Service 就是为这个不稳定而生的抽象:它给一组 Pod 起一个稳定的名字和一个稳定的地址。地址部分叫 ClusterIP,是本节的主题。ClusterIP 的语义非常「反直觉」——它分配在一个网段里,却没有任何实体监听它。这个「虚拟」二字,是整个 Service 数据面的起点。

Service:把「一组会变的 Pod」收束成「一个不变的入口」

Service 是一个 K8s API 对象,它不做任何转发工作本身,只是声明三件事:

声明字段含义例子
spec.selector哪些 Pod 属于这组后端app: nginx
spec.type入口类型ClusterIP(默认)
spec.ports暴露哪些端口80 → 目标 8080

真正的后端集合由控制器维护:EndpointSlice 控制器按 selector 选出匹配的 Pod,生成端点列表(第 2.3 节)。Service 是一个「稳定入口」的声明,ClusterIP 就是这个声明的地址形式——客户端记住它,Pod 怎么换都不影响。

ClusterIP 从哪来:服务网段分配

ClusterIP 与 Pod IP 完全不同源。Pod IP 来自集群网段(cluster CIDR,1.1 节),ClusterIP 来自另一个专用网段——服务网段(service CIDR),由 --service-cluster-ip-range 配置,默认是 10.96.0.0/12。

两个网段必须不重叠,这是硬约束:如果服务网段撞进 Pod 网段,路由表和 kube-proxy 规则会互相打架。apiserver 在创建 Service 时从服务网段里挑一个未占用的地址写入 spec.clusterIP,然后不再参与这件事——ClusterIP 的生命周期就是 Service 的生命周期。

分配策略有两种:

  • 动态分配:不写 spec.clusterIP,apiserver 从网段里自动挑一个未占用的。
  • 静态分配:在 spec.clusterIP 里显式指定(必须落在服务网段内、且未占用),用于需要固定地址的场景。

无论哪种,分配结果都必须满足一条不变量:一个集群里任意时刻,两个存活的 Service 不得共享同一个 ClusterIP。这个不变量由 apiserver 的分配器维护——也是本卷 lab 里 IPRange 直白的「占用位图」所模拟的。

为什么 ClusterIP 是「虚拟的」:无实体可 ping

「虚拟 IP」这个词很容易被误读成「一个 IP 有一些智能」。ClusterIP 的虚拟性恰好相反,它什么都不是:

  • 它不绑定任何网卡。ip addr 在任何节点上都看不到 10.96.x.x 被配置。
  • 它不对应任何进程。没有任何进程监听 ClusterIP 上的端口。
  • 它不可 ping。ICMP 请求发到 ClusterIP,没有任何实体应答——因为应答需要「网卡配置了这个地址」才能走内核回包路径。

那它到底存在在哪?答案在数据面(第 2.2 节):kube-proxy 把「目的地址 = ClusterIP」的包改写成「目的地址 = 某个后端 Pod IP」再转发。ClusterIP 只是规则的目标,规则由数据面安装,地址本身没有任何物理承载。

把「虚拟」与「真实」并排看:

维度Pod IP(真实)ClusterIP(虚拟)
是否有网卡有,Pod 的 eth0无
是否能 ping能不能
是否稳定随 Pod 重建而变随 Service 存活而稳定
谁维护CNI 插件apiserver 分配 + kube-proxy 转发
消失时机Pod 删除Service 删除

这份对比解释了 Service 存在的全部意义:客户端面向稳定地址编程,真实地址的变化被数据面屏蔽。

有个快速验证「虚拟」的方法:kubectl get svc my-svc -o jsonpath='{.spec.clusterIP}' 拿到地址,在任意节点 ping 10.96.x.x 不会有任何响应;而 curl 10.96.x.x:80 却能到达后端。同一个地址『ping 不通、curl 通』,就是虚拟 IP 的最直观证据——ping 走 ICMP 需要实体网卡应答,转发走 TCP 只需要规则存在。

Service 类型全家桶:三种入口的区别

ClusterIP 只是 Service 的一种入口。spec.type 把入口分成四档,ClusterIP 是所有档的「底座」:

类型入口谁能访问与 ClusterIP 的关系
ClusterIP集群内虚拟 IP集群内 Pod / 节点基础形态
NodePort每节点一个端口集群外(经节点 IP:NodePort)在 ClusterIP 上加节点端口
LoadBalancer云厂商 LB 地址公网在 NodePort 之上挂外部负载均衡
ExternalNameDNS CNAME经域名不分配 ClusterIP,纯 DNS 转发

从 ClusterIP 视角看,NodePort 和 LoadBalancer 都是「ClusterIP + 额外的入口」:ClusterIP 永远存在(除 ExternalName),数据面转发始终以它为规则目标。外部流量到达节点端口或 LB 后,同样会改写目的地址到后端 Pod——第 2.2 节讲的数据面处理的是同一条虚拟 IP 规则。

反过来,任何类型入口的排障都可以先回到 ClusterIP 这一步:先把「集群内访问 ClusterIP 是否正常」验通,再往上查 NodePort/LB——底座不通,上面的入口再对也没用。

生命周期与 Service 绑定:创建分配、删除归还

ClusterIP 不单独存在,它的生命周期严格跟随 Service:

  1. 创建:Service 提交到 apiserver,分配器从服务网段挑一个未占用地址,写进 spec.clusterIP;Service 存在期间,这个地址被占用。
  2. 存活:Service 的 spec.clusterIP 是不可修改的字段——改了等于换了 Service。集群内所有依赖它的引用(kube-proxy 规则、DNS 记录)都按这个地址工作。
  3. 删除:Service 删除,ClusterIP 归还服务网段;之后创建的 Service 可能重新拿到这个地址。

「删除归还」有一个值得注意的细节:归还的地址很快会被新 Service 复用。所以依赖 ClusterIP 的客户端(DNS 缓存、外部 LB 白名单)不能假设地址永远不变,唯一稳定的契约是「Service 存活期间地址不变」。这也是「虚拟 IP 的分配语义」与「Pod IP 的分配语义」最大的共同点——都是借来的地址,用毕归还。

DNS:名字到 ClusterIP 的最后一跳

ClusterIP 是「客户端记住的地址」,但客户端真正记住的通常是名字而不是数字。Service 创建时会自动登记一条 DNS 记录,把名字解析到 ClusterIP:

记录名字格式解析到
A 记录<service>.<namespace>.svc.cluster.localClusterIP
SRV 记录_<port>._<proto>.<service>.<namespace>.svc端口 + 域名

集群内 DNS(CoreDNS,第 4 章详述)在 Service 创建时生成这些记录、删除时移除。DNS 记录与 ClusterIP 生命周期一致——Service 存在就有记录,删了就解析不到。这正是「客户端靠名字、数据面靠地址」的分层:名字层由 DNS 维护,地址层由 ClusterIP 分配,转发层由 kube-proxy 维护,三者通过 Service 对象对齐。

对照 Headless 再看一眼:Headless Service 不分配 ClusterIP,DNS 直接返回各后端 Pod IP 列表(而非单一虚拟 IP)——名字层依然存在,地址层被「跳过」。这印证了 ClusterIP 的位置:它站在「名字」和「转发规则」之间,是名字的落点、规则的目标。

Headless Service:显式放弃虚拟 IP 的对照

spec.clusterIP: None 的 Service 叫 Headless Service,它是理解 ClusterIP 价值的最好对照组:

维度普通 ServiceHeadless Service
ClusterIP分配一个虚拟 IP不分配(None)
转发规则kube-proxy 装规则无规则,无转发
DNS 返回虚拟 IP直接返回各后端 Pod IP
适用场景需要稳定入口 / 负载均衡客户端想自己选后端(如主从、StatefulSet 固定身份)

Headless 清楚地划出了「ClusterIP 在解决什么」:它在解决『客户端不想关心后端有多少个、谁活着』这个问题。放弃它,就是把「选哪个后端」的责任交回客户端——这不是更简单,而是语义上的另一种选择。对照之下,ClusterIP 的「虚拟」恰恰是它的价值:一个不需要知道后端细节的稳定地址。

dual-stack:一个 Service 两个虚拟 IP

现代集群可以同时启用 IPv4 与 IPv6:--service-cluster-ip-range=10.96.0.0/12,fd00::/108,逗号分隔两个网段。此时每个 Service 会分配两个 ClusterIP(spec.clusterIPs 数组),数据面分别建 IPv4 与 IPv6 规则:

维度单栈双栈
服务网段一个两个(IPv4 + IPv6 各一)
ClusterIP 字段spec.clusterIPspec.clusterIPs(数组)
数据面规则一套两套,按地址族分发

双栈的语义不变式依然是「分配互异、删除归还」,只是从「一个网段内唯一」变成「两个网段各自唯一」。lab 的 IPRange 只模拟单栈分配语义,双栈只是「两个互不干扰的分配器」的组合——理解单栈语义是理解双栈的前提。这个例子说明一个通用结论:ClusterIP 的『虚拟』语义不依赖地址族,它依赖的是分配器的三条不变式(互异、复用、耗尽),这些不变式才是本节真正要掌握的东西。在动手配双栈前,先确认 IPv4 单栈的分配语义已经清楚——双栈只是把同一套语义跑两遍。

分配器与 IPAM 的异同

ClusterIP 分配器(apiserver 侧)和 Pod IPAM(节点侧,1.1 节)干的是同一件事的不同版本:

维度Pod IPAM(host-local)ClusterIP 分配器
池子每节点子网服务网段(全局)
单写者节点本地apiserver(全局唯一)
持久化本地文件etcd(Service 对象即记录)
冲突处理线性跳过占用位图 + 分配前检查
释放时机CNI DELService 删除

ClusterIP 分配器不需要锁,是因为它是全局唯一的写者:所有 Service 创建都走 apiserver,apiserver 用 etcd 保证「一个地址只分配一次」。这里的分布式一致性交给 etcd(卷一讲的存储层),分配器本身只需在本地维护「哪些地址被占」的视图。

三个常见误解

  • 「ClusterIP 是集群里一台特殊机器上的地址,可以 ping 通」——错误。ClusterIP 不绑定任何网卡,无实体应答 ICMP;它只存在于 kube-proxy 的转发规则里。
  • 「Service 删了,ClusterIP 会永远保留」——错误。删除即归还服务网段,新 Service 可能复用同一地址;客户端不应假设地址永久不变。
  • 「ClusterIP 和 Pod IP 来自同一个网段」——错误。Pod IP 来自集群网段、按节点切子网;ClusterIP 来自独立服务网段,两段必须不重叠。

一句话总结本节

Service 用一个稳定入口收束一组会变的 Pod,ClusterIP 是这个入口的虚拟地址:从服务网段分配、不绑定任何实体、生命周期与 Service 严格绑定、删除即归还。它的『虚拟』意味着没有物理承载、不可 ping,存在的唯一形式是数据面规则的目标——下一节就讲数据面怎么把这些规则变成真实转发。

本节 lab

ClusterIP 的三条核心语义由 service 包的 IPRange 实现,TestClusterIP* 三个测试逐条验证:

cd private/labs/k8s-net-lab
go test ./service -run TestClusterIPAllocateDistinct -v
go test ./service -run TestClusterIPReuseAfterDelete -v
go test ./service -run TestClusterIPExhausted -v
  • TestClusterIPAllocateDistinct:从范围 1–10 依次分配两个 Service,断言地址互异且从起始开始(10.96.0.1、10.96.0.2)——对应「分配互异、从池起点顺序取」。
  • TestClusterIPReuseAfterDelete:分配 svc-a、svc-b 后释放其中一个,新 Service 复用到 10.96.0.1——对应「删除归还、空位复用」。
  • TestClusterIPExhausted:范围只放一个地址,第二个分配返回错误——对应「耗尽报错」。

三个测试共 6 条断言,跑完见 ok k8s-net-lab/service。IPRange 用位图 + next 指针模拟 apiserver 分配器:它不模拟 etcd,只模拟「分配语义」本身——互异、复用、耗尽,这正是本节形式化的最小落地。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图