2.1 ClusterIP 的分布式虚拟 IP 语义
第 1 章解决的是「Pod 之间怎么互相到达」。但 Pod 的 IP 是不稳定的:Deployment 滚动更新、故障重启、驱逐重建,都会让 Pod 换一个新的 IP。客户端如果直连 Pod IP,一旦 Pod 没了就连不上了。
Service 就是为这个不稳定而生的抽象:它给一组 Pod 起一个稳定的名字和一个稳定的地址。地址部分叫 ClusterIP,是本节的主题。ClusterIP 的语义非常「反直觉」——它分配在一个网段里,却没有任何实体监听它。这个「虚拟」二字,是整个 Service 数据面的起点。
Service:把「一组会变的 Pod」收束成「一个不变的入口」
Service 是一个 K8s API 对象,它不做任何转发工作本身,只是声明三件事:
| 声明字段 | 含义 | 例子 |
|---|---|---|
spec.selector | 哪些 Pod 属于这组后端 | app: nginx |
spec.type | 入口类型 | ClusterIP(默认) |
spec.ports | 暴露哪些端口 | 80 → 目标 8080 |
真正的后端集合由控制器维护:EndpointSlice 控制器按 selector 选出匹配的 Pod,生成端点列表(第 2.3 节)。Service 是一个「稳定入口」的声明,ClusterIP 就是这个声明的地址形式——客户端记住它,Pod 怎么换都不影响。
ClusterIP 从哪来:服务网段分配
ClusterIP 与 Pod IP 完全不同源。Pod IP 来自集群网段(cluster CIDR,1.1 节),ClusterIP 来自另一个专用网段——服务网段(service CIDR),由 --service-cluster-ip-range 配置,默认是 10.96.0.0/12。
两个网段必须不重叠,这是硬约束:如果服务网段撞进 Pod 网段,路由表和 kube-proxy 规则会互相打架。apiserver 在创建 Service 时从服务网段里挑一个未占用的地址写入 spec.clusterIP,然后不再参与这件事——ClusterIP 的生命周期就是 Service 的生命周期。
分配策略有两种:
- 动态分配:不写
spec.clusterIP,apiserver 从网段里自动挑一个未占用的。 - 静态分配:在
spec.clusterIP里显式指定(必须落在服务网段内、且未占用),用于需要固定地址的场景。
无论哪种,分配结果都必须满足一条不变量:一个集群里任意时刻,两个存活的 Service 不得共享同一个 ClusterIP。这个不变量由 apiserver 的分配器维护——也是本卷 lab 里 IPRange 直白的「占用位图」所模拟的。
为什么 ClusterIP 是「虚拟的」:无实体可 ping
「虚拟 IP」这个词很容易被误读成「一个 IP 有一些智能」。ClusterIP 的虚拟性恰好相反,它什么都不是:
- 它不绑定任何网卡。
ip addr在任何节点上都看不到10.96.x.x被配置。 - 它不对应任何进程。没有任何进程监听 ClusterIP 上的端口。
- 它不可 ping。ICMP 请求发到 ClusterIP,没有任何实体应答——因为应答需要「网卡配置了这个地址」才能走内核回包路径。
那它到底存在在哪?答案在数据面(第 2.2 节):kube-proxy 把「目的地址 = ClusterIP」的包改写成「目的地址 = 某个后端 Pod IP」再转发。ClusterIP 只是规则的目标,规则由数据面安装,地址本身没有任何物理承载。
把「虚拟」与「真实」并排看:
| 维度 | Pod IP(真实) | ClusterIP(虚拟) |
|---|---|---|
| 是否有网卡 | 有,Pod 的 eth0 | 无 |
| 是否能 ping | 能 | 不能 |
| 是否稳定 | 随 Pod 重建而变 | 随 Service 存活而稳定 |
| 谁维护 | CNI 插件 | apiserver 分配 + kube-proxy 转发 |
| 消失时机 | Pod 删除 | Service 删除 |
这份对比解释了 Service 存在的全部意义:客户端面向稳定地址编程,真实地址的变化被数据面屏蔽。
有个快速验证「虚拟」的方法:kubectl get svc my-svc -o jsonpath='{.spec.clusterIP}' 拿到地址,在任意节点 ping 10.96.x.x 不会有任何响应;而 curl 10.96.x.x:80 却能到达后端。同一个地址『ping 不通、curl 通』,就是虚拟 IP 的最直观证据——ping 走 ICMP 需要实体网卡应答,转发走 TCP 只需要规则存在。
Service 类型全家桶:三种入口的区别
ClusterIP 只是 Service 的一种入口。spec.type 把入口分成四档,ClusterIP 是所有档的「底座」:
| 类型 | 入口 | 谁能访问 | 与 ClusterIP 的关系 |
|---|---|---|---|
| ClusterIP | 集群内虚拟 IP | 集群内 Pod / 节点 | 基础形态 |
| NodePort | 每节点一个端口 | 集群外(经节点 IP:NodePort) | 在 ClusterIP 上加节点端口 |
| LoadBalancer | 云厂商 LB 地址 | 公网 | 在 NodePort 之上挂外部负载均衡 |
| ExternalName | DNS CNAME | 经域名 | 不分配 ClusterIP,纯 DNS 转发 |
从 ClusterIP 视角看,NodePort 和 LoadBalancer 都是「ClusterIP + 额外的入口」:ClusterIP 永远存在(除 ExternalName),数据面转发始终以它为规则目标。外部流量到达节点端口或 LB 后,同样会改写目的地址到后端 Pod——第 2.2 节讲的数据面处理的是同一条虚拟 IP 规则。
反过来,任何类型入口的排障都可以先回到 ClusterIP 这一步:先把「集群内访问 ClusterIP 是否正常」验通,再往上查 NodePort/LB——底座不通,上面的入口再对也没用。
生命周期与 Service 绑定:创建分配、删除归还
ClusterIP 不单独存在,它的生命周期严格跟随 Service:
- 创建:Service 提交到 apiserver,分配器从服务网段挑一个未占用地址,写进
spec.clusterIP;Service 存在期间,这个地址被占用。 - 存活:Service 的
spec.clusterIP是不可修改的字段——改了等于换了 Service。集群内所有依赖它的引用(kube-proxy 规则、DNS 记录)都按这个地址工作。 - 删除:Service 删除,ClusterIP 归还服务网段;之后创建的 Service 可能重新拿到这个地址。
「删除归还」有一个值得注意的细节:归还的地址很快会被新 Service 复用。所以依赖 ClusterIP 的客户端(DNS 缓存、外部 LB 白名单)不能假设地址永远不变,唯一稳定的契约是「Service 存活期间地址不变」。这也是「虚拟 IP 的分配语义」与「Pod IP 的分配语义」最大的共同点——都是借来的地址,用毕归还。
DNS:名字到 ClusterIP 的最后一跳
ClusterIP 是「客户端记住的地址」,但客户端真正记住的通常是名字而不是数字。Service 创建时会自动登记一条 DNS 记录,把名字解析到 ClusterIP:
| 记录 | 名字格式 | 解析到 |
|---|---|---|
| A 记录 | <service>.<namespace>.svc.cluster.local | ClusterIP |
| SRV 记录 | _<port>._<proto>.<service>.<namespace>.svc | 端口 + 域名 |
集群内 DNS(CoreDNS,第 4 章详述)在 Service 创建时生成这些记录、删除时移除。DNS 记录与 ClusterIP 生命周期一致——Service 存在就有记录,删了就解析不到。这正是「客户端靠名字、数据面靠地址」的分层:名字层由 DNS 维护,地址层由 ClusterIP 分配,转发层由 kube-proxy 维护,三者通过 Service 对象对齐。
对照 Headless 再看一眼:Headless Service 不分配 ClusterIP,DNS 直接返回各后端 Pod IP 列表(而非单一虚拟 IP)——名字层依然存在,地址层被「跳过」。这印证了 ClusterIP 的位置:它站在「名字」和「转发规则」之间,是名字的落点、规则的目标。
Headless Service:显式放弃虚拟 IP 的对照
spec.clusterIP: None 的 Service 叫 Headless Service,它是理解 ClusterIP 价值的最好对照组:
| 维度 | 普通 Service | Headless Service |
|---|---|---|
| ClusterIP | 分配一个虚拟 IP | 不分配(None) |
| 转发规则 | kube-proxy 装规则 | 无规则,无转发 |
| DNS 返回 | 虚拟 IP | 直接返回各后端 Pod IP |
| 适用场景 | 需要稳定入口 / 负载均衡 | 客户端想自己选后端(如主从、StatefulSet 固定身份) |
Headless 清楚地划出了「ClusterIP 在解决什么」:它在解决『客户端不想关心后端有多少个、谁活着』这个问题。放弃它,就是把「选哪个后端」的责任交回客户端——这不是更简单,而是语义上的另一种选择。对照之下,ClusterIP 的「虚拟」恰恰是它的价值:一个不需要知道后端细节的稳定地址。
dual-stack:一个 Service 两个虚拟 IP
现代集群可以同时启用 IPv4 与 IPv6:--service-cluster-ip-range=10.96.0.0/12,fd00::/108,逗号分隔两个网段。此时每个 Service 会分配两个 ClusterIP(spec.clusterIPs 数组),数据面分别建 IPv4 与 IPv6 规则:
| 维度 | 单栈 | 双栈 |
|---|---|---|
| 服务网段 | 一个 | 两个(IPv4 + IPv6 各一) |
| ClusterIP 字段 | spec.clusterIP | spec.clusterIPs(数组) |
| 数据面规则 | 一套 | 两套,按地址族分发 |
双栈的语义不变式依然是「分配互异、删除归还」,只是从「一个网段内唯一」变成「两个网段各自唯一」。lab 的 IPRange 只模拟单栈分配语义,双栈只是「两个互不干扰的分配器」的组合——理解单栈语义是理解双栈的前提。这个例子说明一个通用结论:ClusterIP 的『虚拟』语义不依赖地址族,它依赖的是分配器的三条不变式(互异、复用、耗尽),这些不变式才是本节真正要掌握的东西。在动手配双栈前,先确认 IPv4 单栈的分配语义已经清楚——双栈只是把同一套语义跑两遍。
分配器与 IPAM 的异同
ClusterIP 分配器(apiserver 侧)和 Pod IPAM(节点侧,1.1 节)干的是同一件事的不同版本:
| 维度 | Pod IPAM(host-local) | ClusterIP 分配器 |
|---|---|---|
| 池子 | 每节点子网 | 服务网段(全局) |
| 单写者 | 节点本地 | apiserver(全局唯一) |
| 持久化 | 本地文件 | etcd(Service 对象即记录) |
| 冲突处理 | 线性跳过 | 占用位图 + 分配前检查 |
| 释放时机 | CNI DEL | Service 删除 |
ClusterIP 分配器不需要锁,是因为它是全局唯一的写者:所有 Service 创建都走 apiserver,apiserver 用 etcd 保证「一个地址只分配一次」。这里的分布式一致性交给 etcd(卷一讲的存储层),分配器本身只需在本地维护「哪些地址被占」的视图。
三个常见误解
- 「ClusterIP 是集群里一台特殊机器上的地址,可以 ping 通」——错误。ClusterIP 不绑定任何网卡,无实体应答 ICMP;它只存在于 kube-proxy 的转发规则里。
- 「Service 删了,ClusterIP 会永远保留」——错误。删除即归还服务网段,新 Service 可能复用同一地址;客户端不应假设地址永久不变。
- 「ClusterIP 和 Pod IP 来自同一个网段」——错误。Pod IP 来自集群网段、按节点切子网;ClusterIP 来自独立服务网段,两段必须不重叠。
一句话总结本节
Service 用一个稳定入口收束一组会变的 Pod,ClusterIP 是这个入口的虚拟地址:从服务网段分配、不绑定任何实体、生命周期与 Service 严格绑定、删除即归还。它的『虚拟』意味着没有物理承载、不可 ping,存在的唯一形式是数据面规则的目标——下一节就讲数据面怎么把这些规则变成真实转发。
本节 lab
ClusterIP 的三条核心语义由 service 包的 IPRange 实现,TestClusterIP* 三个测试逐条验证:
cd private/labs/k8s-net-lab
go test ./service -run TestClusterIPAllocateDistinct -v
go test ./service -run TestClusterIPReuseAfterDelete -v
go test ./service -run TestClusterIPExhausted -v
TestClusterIPAllocateDistinct:从范围 1–10 依次分配两个 Service,断言地址互异且从起始开始(10.96.0.1、10.96.0.2)——对应「分配互异、从池起点顺序取」。TestClusterIPReuseAfterDelete:分配 svc-a、svc-b 后释放其中一个,新 Service 复用到10.96.0.1——对应「删除归还、空位复用」。TestClusterIPExhausted:范围只放一个地址,第二个分配返回错误——对应「耗尽报错」。
三个测试共 6 条断言,跑完见 ok k8s-net-lab/service。IPRange 用位图 + next 指针模拟 apiserver 分配器:它不模拟 etcd,只模拟「分配语义」本身——互异、复用、耗尽,这正是本节形式化的最小落地。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。