《Kubernetes 分布式系统原理深入解析》7.1 CSI 规范:Controller/Node 插件与 gRPC
第 6 章的 StorageClass 只是入口,真正造卷的是 CSI 规范。本节拆解 CSI 的 Controller 与 Node 两个插件角色、gRPC 接口契约,以及外部 provisioner/attach-detacher 如何把 K8s 对象翻译成 CSI 调用。lab 用 csi 包验证 CreateVolume/DeleteVolume 的完整卷生命周期。
category
第 6 章的 StorageClass 只是入口,真正造卷的是 CSI 规范。本节拆解 CSI 的 Controller 与 Node 两个插件角色、gRPC 接口契约,以及外部 provisioner/attach-detacher 如何把 K8s 对象翻译成 CSI 调用。lab 用 csi 包验证 CreateVolume/DeleteVolume 的完整卷生命周期。
选存储本质是选一致性假设:云盘承诺单写者与立即可见,分布式文件系统允许多写者但可见性依赖提交,对象存储则是弱可见。本节对比三者的单写者/多写者、可见性模型与数据面在拓扑上的位置,说明为什么控制面与数据面必须分离。lab 用 storage 包验证 block/file/object 三种一致性画像。
有状态应用的卷不是绑一次就完事:PVC 从 Pending 到 Bound,PVC 删除触发解绑与回收,Delete/Retain 决定底层数据去留。本节还拆解扩缩容与节点迁移时的卷漂移——块卷为何不能跨可用区跟 Pod 走。lab 用 storage 包验证已绑定 PV 不重复绑定,以及 Delete 与 Retain 两条回收策略。
有状态应用要存储,但「存储是谁的」需要三个对象分工回答:PV 是已被提供的资源、PVC 是消费请求、StorageClass 定义如何供应。本节剖析 binder 在容量、访问模式、存储类与未绑定四条约束下的匹配逻辑,以及 Static 预置与 Dynamic 按需两条供给路径。lab 用 storage 包的 Binder 验证容量跳过、存储类匹配、已绑定排除与访问模式四条绑定语义。
单集群的入口只在集群内部选后端,多集群入口要把流量跨集群分发:地域就近、容量、健康探测、故障转移四个输入共同决定目标集群。本节给出多集群分发的决策语义,说明服务网格在七层流量里的角色(边车、mTLS、流量分割),并揭示入口跨集群时的一致性边界——DNS/路由表滞后、健康状态陈旧。lab 用 gateway.go 验证地域就近与故障转移。
Gateway API 是 Ingress 的进化:把入口抽象成 GatewayClass、Gateway、HTTPRoute 三层资源,按角色分离(基础设施提供者/集群运维/应用开发者)并支持跨 namespace 引用与后端权重分发。本节对比 Ingress 的局限与 Gateway API 的动机,拆解匹配条件(Exact/PathPrefix/host)与加权后端语义,并说明它为什么是『声明式基础设施层』而不是又一个控制器。lab 用 gateway.go 验证 HTTPRoute 匹配与权重分发。
Ingress 是把外部流量声明成 host+path 路由规则的七层入口资源,Ingress 控制器则是把声明翻译成数据面路由规则的分布式组件:watch Ingress/Service、按 host 精确 + path 最长前缀匹配、把规则下发到 nginx/HAProxy 等数据面。本节给出匹配语义与路径边界规则(/api 不匹配 /apix),并拆解控制器 watch→构建→下发的链路。lab 用 gateway.go 验证 host+path 匹配与最长前缀优先。
服务发现链路从 apiserver 到 CoreDNS 到 kubelet 注入再到应用缓存,每一跳都可能滞后:缓存 TTL 让应用读到旧 IP,watch 事件可提前失效缓存,旧 IP 导致的连接失败靠客户端重试吸收。本节论证为何服务发现是最终一致而非强一致,lab 用 Cache 验证 TTL 陈旧、过期回源与 watch 失效。
Pod 的 resolv.conf 里 `ndots` 与 search 域决定一次解析要试多少次:名字里点的个数决定先查绝对名还是先拼 search 域,候选顺序直接影响解析延迟,外部域名常因此慢好几拍。本节给出 ndots 规则、候选序列与调优手段,lab 用 SearchConfig.Query 验证高 ndots 先绝对名、低点名字只走 search。
集群内服务发现的首选是 DNS:Service 拥有 `<name>.<namespace>.svc.cluster.local` 的稳定域名,CoreDNS 从 apiserver 监听 Service 与端点并把它们变成 DNS 记录。本节讲记录形态、CoreDNS 的生成路径、Headless Service 的 A 记录差异,lab 用 dns.go 的 FQDN 与 Resolver 验证记录拼接与精确解析。
当服务把状态放在内存或本地缓存里,同一客户端必须反复命中同一后端,sessionAffinity 用 clientIP 哈希加 TTL 实现会话粘滞。本节讲粘滞解决的问题、与负载均衡的张力、后端摘除后失效的机制,lab 用 Affinity.Pick 验证 TTL 内粘滞、过期重分配与后端不存在时失效。
把流量尽量留在同一拓扑域(zone/节点)能显著降低跨区成本与延迟,拓扑感知路由靠端点分片的拓扑键就近选后端,本地无端点时回退全局。本节讲拓扑键如何来自端点切片、与调度侧 topologySpreadConstraints 如何一个管放置一个管转发,lab 用 TopologyRouting.Pick 验证就近选择与回退。
外部流量进入集群要穿过 NodePort 与 kube-proxy,externalTrafficPolicy 决定这条路径上源地址是否被 SNAT 改写:Cluster 策略换可达性、Local 策略换源地址保留,代价是无本地端点时不可达。本节给出两种策略的取舍与健康检查端口的配合,lab 用 endpoint.go 的 ExternalTraffic 函数验证『Local+本地端点保留源地址、Cluster 改写源地址』。
Service 的后端列表从单一大对象 Endpoints 演进为分片的 EndpointSlice,动机是对象大小与变更放大:一个巨对象任何端点变化都触发整对象更新。本节讲解按拓扑键分组、分片上限与未就绪端点不进分片三个分片语义,以及数据面如何消费分片保持转发一致。lab 用 endpoint 包验证按 zone 分组、超限切子片与跳过未就绪端点。
ClusterIP 是虚拟的,数据面要把它变成真实转发:kube-proxy 监听 Service/EndpointSlice,把虚拟 IP 写进转发规则。本节对比 iptables 链式匹配、IPVS 连接表与 eBPF 收包路径内联三种数据面在每包成本、连接跟踪、健康摘除与规则规模上的差异。lab 用 service 包验证轮询、连接跟踪、加权分布与不健康后端摘除。
Pod IP 是活的:Pod 重建就换地址,客户端不该直接依赖它。Service 把一组 Pod 收束到一个稳定入口,ClusterIP 是这个入口的虚拟地址——从服务网段分配、不绑定任何实体、生命周期与 Service 绑定、删除即归还。本节解释它为什么是『虚拟的』(无实体可 ping),lab 用 service 包验证分配互异、删除复用与耗尽报错。
单节点的 veth 接线只是第一步,跨节点要靠路由表把 Pod IP 送达目的节点。本节讲解每节点子网 + 网关下一跳的转发模型,以及路由查表的三条语义:同网段直达、跨网段走 next hop、未命中不可达。lab 用 TestNodeLookupRemote 验证跨节点经网关到达与未知网段不可达两条语义。
CNI 是容器运行时与网络插件之间的接口协议:kubelet 以 stdin JSON + 环境变量调用插件,插件以 ADD/DEL/CHECK 命令完成 Pod 网络命名空间的接线与拆除。本节拆解插件链按序执行与 NETNS 的对应关系,并对比 bridge/calico/flannel/cilium 四种插件的分工。lab 用 TestNodeLookupLocal 验证 ADD 之后扁平网络的本机可达性语义。
Pod 网络模型承诺每个 Pod 一个集群内唯一、可直接互访、不经 NAT 的 IP;地址来自集群网段切出的每节点子网。本节剖析 IPAM 分配器的顺序分配、冲突跳过、释放复用与耗尽报错四个语义,并用 host-local 的本地持久化说明它为什么适合单节点单写者。lab 用 cni 包的 IPAM 验证顺序分配、耗尽报错与释放复用三条语义。
《Kubernetes 分布式系统原理深入解析·调度与资源》的目录与学习路径:45 篇逐节索引、三条阅读路线、十五章依赖关系,以及本卷与卷一/卷二、《游戏服务端架构》的分工边界;每节配一个可运行的 Go 最小验证,正文以 K8s 调度器、资源模型与弹性伸缩为对象讲解「分布式决策与控制」的机制。