1.2 CNI 抽象与插件生命周期
1.1 节讲了「地址从哪来」。但地址不会自己长到 Pod 上——总得有人把虚拟网卡插进 Pod、把 IP 配上、把网关指好。这个「接线的人」在 K8s 里不是 kubelet 写死的逻辑,而是一个可以插拔的插件,接口协议叫 CNI(Container Network Interface)。
本节回答三个问题:CNI 协议里谁调谁、用什么格式;一个插件的生命周期有哪些动作;真实集群里常见的插件各自管哪一段。理解了 CNI 抽象,就理解了「K8s 只规定网络模型、不规定网络实现」这句话。
CNI 的角色划分:运行时调插件,K8s 定协议
CNI 把参与方分成两半:
- 容器运行时(kubelet 侧):负责把 Pod 塞进网络命名空间、决定「什么时候需要网络」,但它不懂具体怎么接线。
- CNI 插件:负责把 Pod 接进集群网络,但它不关心容器里跑的是什么进程。
两者之间是协议。协议规定:运行时以标准输入传 JSON 配置 + 环境变量传参数,插件以标准输出返回结果,二者都在进程里完成,不经过 K8s 的 apiserver——CNI 是节点本地的节点间协议,与卷二讲的「控制面对象协议」完全不在一个平面上。
关键参数通过环境变量传给插件:
| 环境变量 | 含义 |
|---|---|
CNI_COMMAND | 要执行的动作:ADD / DEL / CHECK / VERSION |
CNI_CONTAINERID | 容器(sandbox)ID |
CNI_NETNS | 目标网络命名空间的路径,如 /var/run/netns/cni-xxxx |
CNI_IFNAME | Pod 侧接口名,通常是 eth0 |
CNI_ARGS | 附加键值参数,如 IgnoreUnknown=1;K8S_POD_NAMESPACE=... |
CNI_PATH | 插件二进制搜索路径,默认 /opt/cni/bin |
运行时从 /etc/cni/net.d/ 读网络配置文件,把里面的插件逐个执行。配置文件是声明式的:它声明「这个节点上的 Pod 应该接成什么样」,插件负责把声明变成现实。
CNI 配置文件:conf 与 conflist
运行时怎么知道要调哪些插件?答案在配置文件。/etc/cni/net.d/ 下有两种形态:
| 形态 | 扩展名 | 内容 | 典型文件 |
|---|---|---|---|
| conf | .conf | 单个插件的 JSON 配置 | 10-mynet.conf |
| conflist | .conflist | 插件链(plugins 数组)配置 | 10-bridge.conflist |
conflist 是链式配置的标准形态,结构是 plugins 数组:
{
"cniVersion": "1.0.0",
"name": "mynet",
"plugins": [
{ "type": "bridge", "bridge": "cni0",
"ipam": { "type": "host-local", "subnet": "10.244.1.0/24" } },
{ "type": "portmap", "capabilities": { "portMappings": true } }
]
}
运行时按文件名字典序扫描目录,取第一个可用配置执行。name 字段是关键标识:host-local 的地址账本目录按网络名区分,改名等于换账本,name 不变则重启后地址记录还能对上。
生命周期:ADD 接线、DEL 拆除、CHECK 复核
CNI 规范定义了四个命令,Pod 一生中用到的核心是 ADD 与 DEL:
| 命令 | 触发时机 | 插件的职责 |
|---|---|---|
ADD | kubelet 创建 Pod sandbox 时 | 分配 IP、建 veth、配路由,把 Pod 接进网络 |
DEL | Pod 删除、sandbox 清理时 | 拆接口、释放 IP(调用 IPAM 的 Release) |
CHECK | kubelet 周期性校验 | 复核「网络配置是否仍然有效」,无效则报告错误 |
VERSION | 运行时探测 | 返回插件支持的 CNI 版本 |
生命周期与 Pod 生命周期严格对应:ADD 在 sandbox 创建时执行,DEL 在 sandbox 销毁时执行,所以哪怕容器主进程崩溃重启,网络不重配——网络挂在 sandbox 上,不挂在容器进程上。
DEL 的语义比看起来重要:K8s 可能在任何时刻删 Pod(节点故障、驱逐、缩容),DEL 必须幂等——对同一个容器重复执行 DEL 要安全返回成功。真实集群里 DEL 失败的常见后果是 IP 泄漏:kubelet 重试 DEL,插件侧才把文件账本删掉。
版本协商:VERSION 与 CNI 版本演进
CNI 协议本身有版本号,插件与运行时必须对齐。运行时用 CNI_COMMAND=VERSION 探测插件支持的版本,双方取共同支持的最高版本执行:
| 版本 | 关键变化 |
|---|---|
| 0.1.0 | 最初规范,只有 ADD / DEL 两命令 |
| 0.3.0 | 引入 CHECK 命令,Result 结构统一 |
| 0.4.0 | 明确 CHECK 语义,新增缓存目录规范 |
| 1.0.0 | 稳定版,废弃若干旧字段 |
这个协商机制让「新运行时 + 旧插件」也能工作——运行时发现插件只支持 0.3.0,就按 0.3.0 的语义调用,而不是强推 1.0.0 导致失败。版本协商是 CNI 插件生态能长期共存、随 K8s 一起升级的基础。
NETNS:网络命名空间是 CNI 的操作对象
CNI 的一切操作都围绕一个对象:网络命名空间(network namespace,NETNS)。内核里它是「网络状态的隔离盒」——网卡、路由表、iptables 规则、socket 全装在里面。每个 Pod 有一个独立 NETNS,这就是「Pod 之间网络隔离、Pod 内部共享」的实现基础:
| 层级 | 网络归属 | 谁操作 |
|---|---|---|
| 节点 NETNS | 节点的物理网卡、默认路由 | 系统管理员 / 节点网络栈 |
| Pod NETNS | Pod 的 eth0、路由表、IP | CNI 插件(运行时把路径传给插件) |
| 容器内进程 | 共享 Pod NETNS | 无感知,以为自己在用「自己的网」 |
CNI_NETNS 给插件的是一个路径(如 /var/run/netns/cni-12ab)。插件打开这个路径得到命名空间的文件描述符,调用 setns() 进入该命名空间完成接线,再退出。接口的存活不依赖插件进程:配置完离开后,接口由内核持有的命名空间引用保留——插件进程退出、kubelet 重启都不影响已经接好的网络。
同一个 Pod 里的多个容器共享同一个 NETNS——所以 CNI 只被调用一次(sandbox 级别),而不是每个容器一次。这是 K8s「网络挂在 Pod 上、不挂在容器上」的最终落点。
插件链:多个插件按序执行
一个网络配置往往是多个插件的链(chain)。10-bridge.conflist 的典型结构是:主插件(bridge)在前,辅助插件(portmap、bandwidth、tuning)在后。执行规则:
- ADD 按数组顺序:先主插件建接口、配 IP,再把结果(
prevResult)交给下一个插件继续加工。 - DEL 按逆序:先拆最后一个插件加的东西,最后拆主插件——保证拆除顺序与搭建顺序对称。
- 任一环节失败,整个 ADD 视为失败,运行时触发 DEL 回滚已建立的资源。
这个「链」的设计把职责拆成可组合的小插件:主插件只回答「怎么接进网络」,辅助插件回答「要不要端口映射、限带宽、调 sysctl」。生产环境里这种组合随处可见,例如 bridge + portmap(让 Pod 的容器端口能被外部访问)就是最常用的链。
失败语义:ADD 回滚与 DEL 重试
CNI 协议对「失败」有明确约定,这也是它可靠性的来源:
| 阶段 | 失败后的行为 |
|---|---|
| ADD 中某个插件失败 | 运行时对整个链触发 DEL 回滚,已建立的接口与地址全部拆除 |
| DEL 重复执行 | 必须幂等:接口已不存在时静默返回成功,不报错 |
| CHECK 发现配置失效 | 返回错误,运行时据此重建网络或重启 sandbox |
「ADD 失败要回滚」很容易理解:接线接了一半,必须把接好的拆掉,否则留下半成品。真实场景里回滚的典型触发是 IP 分配失败——host-local 子网耗尽时主插件报错,运行时 DEL 掉 veth、再把这个 Pod 留在 Pending。kubelet 会在事件里记下 Failed to create pod sandbox 类原因,排障时看 Events 比看插件日志更快。
「DEL 幂等」则与 K8s 的删除风暴有关:节点故障、驱逐、缩容可能让同一个 sandbox 被重复触发清理,DEL 必须能安全重复执行——接口早没了就当作已成功,而不是报错让清理卡住。CNI 规范把这条写进协议,就是为了防止「重复 DEL 变成新故障」。
这两条失败语义合起来回答了「CNI 网络为什么很少泄漏」:ADD 回滚兜住「配不完整」,DEL 幂等兜住「重复清理」,再加上第 1.1 节 IPAM 的释放语义,接口与地址的生命周期才真正闭环。排查网络泄漏时,第一反应应是「哪个环节断了:ADD 没回滚、DEL 没执行、还是 IPAM 没释放」——三个环节各管一段。
四种常见插件:分工与取舍
「怎么接进网络」在不同网络方案里答案完全不同。对比 K8s 生态最常见的四种:
| 插件 | 数据面机制 | Pod 到 Pod 路径 | 典型规模取向 | IPAM |
|---|---|---|---|---|
| bridge(官方) | 节点内 Linux bridge | 节点内二层直连,跨节点靠路由 | 单机/小型集群 | host-local |
| flannel | VXLAN overlay | 封装进 UDP,经节点间隧道 | 中小集群、快速起步 | host-local |
| calico | BGP 路由,可选 IPIP/VXLAN | 纯三层路由或轻封装 | 大规模、混合云 | 自研 IPAM |
| cilium | eBPF | 内核 eBPF map 直接转发 | 高性能、可观测性敏感 | 自研 IPAM |
注意这四种的共性:它们都满足 CNI 的扁平网络模型——每个 Pod 一个唯一 IP、可直接互访。差异在「跨节点时怎么把包送到目的地」:bridge 靠节点路由表(第 1.3 节就是它),flannel 用隧道封装,calico 用 BGP 交换路由,cilium 用 eBPF 在收包路径内直接查表。
K8s 对网络方案的中立正是 CNI 抽象的价值:kubelet 永远只按同一套协议调用插件,网络方案可以随集群规模、云环境、性能要求更换,上层工作负载无感知。
三个常见误解
- 「kubelet 自己负责给 Pod 配 IP 和路由」——错误。kubelet 只按 CNI 协议调用插件;接线、配 IP、建路由全是插件的工作,kubelet 不内置任何网络实现。
- 「每个容器执行一次 ADD,网络挂在容器进程上」——错误。网络挂在 Pod 的 sandbox(NETNS)上,每个 Pod 只执行一次 ADD;容器进程重启不触发网络重建。
- 「插件越多越安全,配置里全装一遍」——错误。插件链按序执行,每加一个插件都增加一次系统调用与失败面;只装当前网络方案需要的插件才符合链的设计意图。
一句话总结本节
CNI 把「Pod 怎么接进网络」从 kubelet 里抽出来,做成运行时以 JSON+环境变量调用插件、插件以 ADD/DEL/CHECK 在 NETNS 上完成生命周期动作的节点本地协议。插件链把接线拆成可组合的主插件与辅助插件,K8s 因此保持对网络方案的完全中立。
下一节把 bridge 的答案讲到底:插件在节点本地建好接口之后,跨节点的包是怎么靠路由表送到目的 Pod 的。
本节 lab
CNI 生命周期在本卷 lab 里没有完整复刻(真实 CNI 需要 NETNS 与内核接口,本卷 lab 是简化模型),但 ADD 之后的核心产物——「Pod IP 挂在节点上、同节点可直接到达」——正是 cni 包的 Node 与 Lookup:
cd private/labs/k8s-net-lab
go test ./cni -run TestNodeLookupLocal -v
TestNodeLookupLocal 构造节点 n1(子网 10.244.1),挂上 Pod p1(IP 10.244.1.5),断言 Lookup("10.244.1.5") 返回它自身——即本机网段内的 Pod 直接到达,无需下一跳。
这对应 ADD 完成后的状态:Node.AddPod 模拟「CNI 把 veth 接入节点」,Lookup 的同网段直达分支模拟「同节点二层可达」。lab 用节点对象代替真实 NETNS,把「插件接线成功后的网络面貌」压缩成一行断言——它验证的不是 CNI 协议本身,而是协议要保证的扁平可达性语义。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。