《Kubernetes 分布式系统原理深入解析》4.3 服务发现的最终一致性

服务发现链路从 apiserver 到 CoreDNS 到 kubelet 注入再到应用缓存,每一跳都可能滞后:缓存 TTL 让应用读到旧 IP,watch 事件可提前失效缓存,旧 IP 导致的连接失败靠客户端重试吸收。本节论证为何服务发现是最终一致而非强一致,lab 用 Cache 验证 TTL 陈旧、过期回源与 watch 失效。

4.3 服务发现的最终一致性

第二章到本章,服务发现链路已经完整出现了:apiserver 保存 Service 与端点,CoreDNS 用 watch 维护 DNS 记录,kubelet 把 nameserver 与 search 域注入 Pod,应用再拿着解析出的 IP 去连接。这条链路的每一跳都有自己的缓存与更新时机,没有任何一环保证「端点刚变,下一秒所有客户端就都看到新值」。

这不是疏漏,而是分布式系统的常态。本节回答两个问题:为什么服务发现只能是最终一致,以及当应用读到旧 IP 时,系统靠什么自愈。

链路图:每一跳都可能滞后

先画出完整的服务发现链路,把「滞后点」标出来:

环节数据源更新机制潜在滞后
apiserveretcdwatch 推送事件传播本身需要时间
CoreDNSapiserver本地记录表 + watch端点变更到 DNS 记录更新的间隔
kubelet 注入静态(创建时)只在 Pod 创建/重建时运行期不刷新
应用缓存DNS 应答TTL 控制TTL 内看不到新值

从端点变化到所有客户端用上新 IP,时间 = apiserver 广播 + CoreDNS 更新 + DNS TTL + 应用自身缓存。任何一段都会让「旧 IP 仍然被使用」的时间窗延长。尤其最后两段——DNS TTL(默认 30-60 秒)与应用层缓存——常常比控制面本身的传播还慢。

缓存 TTL:旧 IP 的合法存在期

DNS 的 TTL 是「旧值合法存在」的明确定价。Cache.Resolve 的实现就是这条语义:

  • 命中且未过期:直接返回缓存 IP(可能是旧值)。
  • 过期:回源 Resolver,取新值并刷新缓存。

lab 的 TestCacheTTLStaleness 把这段语义拆得很清楚:记录从 10.96.0.1 更新成 10.96.0.99 之后,TTL=2 的缓存在前两轮仍返回 10.96.0.1(TTL 内旧值合法),第三轮过期才回源拿到 10.96.0.99。TTL 不是缺陷,是设计——它把「更新成本」与「新鲜度」之间划了一条明确的线:TTL 内不再问上游,过期才付一次回源成本。

watch 事件:提前失效的主动通道

TTL 是「被动等待过期」,watch 是「主动提前失效」。CoreDNS 从 apiserver 收到端点变更事件后,可以立刻让对应记录失效,而不用等 TTL 自然过期:

// lab 的 Cache.Invalidate:删除缓存条目,下次查询直接回源
func (c *Cache) Invalidate(name string) {
	delete(c.ips, name)
	delete(c.ttlOf, name)
}

lab 的 TestCacheInvalidateByWatch 验证:TTL=5 的缓存刚拿到旧值,watch 事件一到、Invalidate 一调,下一次查询立刻返回新 IP 10.96.0.7——失效优先于过期。这正是卷二第 3 章 watch 原语的又一次复用:控制面组件不只是「轮询看变化」,而是订阅事件、按事件驱动更新自己的缓存。有 watch 的组件(CoreDNS、kube-proxy、调度器)永远比「只靠 TTL 过期」的组件更快收敛。

旧 IP 导致连接失败:重试如何吸收

即使有 watch,客户端仍会拿到旧 IP——应用层缓存、DNS TTL、连接复用都会让旧 IP 被继续使用。旧 IP 上的 Pod 可能已经没了,连接失败在所难免。分布式系统处理这类「过期的定位信息」的通用答案是重试:

失败形态现象被什么吸收
连接被拒(RST)旧 IP 无进程监听客户端重试 + DNS 重查
连接超时旧 IP 丢包重试 + 更长超时控制
连接成功但 5xxPod 已不再提供服务应用层重试 + 指数退避
连接被摘除健康检查已剔除kube-proxy 转发重选端点

重试不是掩盖错误,而是「旧信息终将过期」的乐观假设:旧 IP 不可达,是因为链路还没收敛到新端点;重试期间链路收敛,下一次解析/转发就用上新 IP。卷三讲过的退避重试(Backoff)在这里以客户端侧的形式再次出现——服务发现对旧 IP 的宽容,正是靠「连接失败 → 重查 → 重试」这个循环兜底。

为什么最终一致而非强一致

设计者完全可以选择「端点变化必须同步到所有客户端」的强一致方案,代价是什么?

维度强一致最终一致(现状)
收敛时间端点变化后尽快同步TTL/watch 驱动,容忍滞后窗口
查询成本每次解析都要查权威源缓存命中免回源,成本低
可用性权威源故障即解析失败缓存兜底,权威源故障仍可解析
实现复杂度需要分布式事务/共识单向广播 + 过期,简单
适合场景极小集群、极严格语义大规模集群、常规服务发现

服务发现的读路径是极高频率、低一致性要求的典型:每个连接都要解析,但解析结果的短暂陈旧几乎总是被重试吸收。用强一致换「端点变化即刻全局可见」,等于给每次 DNS 查询都加上跨组件的同步成本——对收益几乎为零。最终一致在这里不是妥协,而是成本结构决定的正确选择:滞后窗口内旧 IP 的失败由重试兜底,而缓存带来的吞吐收益是全体客户端长期享受的。

观察滞后窗口的手段

「端点变了多久客户端才看到」可以用可控实验测出来,这是运维最常忽略的观测项:

# 1. 记录当前端点
kubectl get endpointslices <name> -o wide
# 2. 触发一次端点变化(滚动发布/缩容)
kubectl rollout restart deployment/<name>
# 3. 反复解析,记录「何时首次看到新 IP」
while true; do nslookup <name>.ns.svc.cluster.local | tail -1; sleep 1; done

滞后窗口 = 触发变化的时间点 → 解析结果首次变化的时间点。实测下来通常跨秒级到分钟级:CoreDNS 更新快(秒级),DNS TTL 与应用缓存决定尾部(几十秒到分钟)。把滞后窗口量化出来,才知道重试配置该设多大——窗口 10 秒,重试间隔就该小于它,否则重试永远撞上旧 IP。

与缓存一致性理论的对照:TTL 就是 lease

分布式系统缓存一致性理论里的收敛工具,与 lab 里的机制一一对应:

理论工具含义lab/集群中的对应
TTL / lease授权缓存一段有效期DNS TTL、Cache.TTL
失效通知主动告知缓存已过期watch 事件 → Cache.Invalidate
版本号判断缓存是否最新端点 resourceVersion / generation
主动回源过期后重新读取Cache.Resolve 回源 Resolver

TTL 本质是租约:上游把旧值授权给缓存使用到某时刻,到期后缓存必须重新确认。watch 失效则是「租约提前撤销」。这两种机制的组合,就是分布式系统处理「读多写少、允许短暂陈旧」的经典配方。K8s 没有为服务发现发明新理论,只是把教科书里的 TTL + 失效通知用在了 DNS 这条具体的链路上。

端点变化时的收敛时序:一个完整例子

把整条链路的滞后串成一个时间线。假设端点从 10.0.0.1 换成 10.0.0.2:

时刻发生什么谁还看得到旧值
T+0Pod 下线,端点切片更新CoreDNS 记录尚未更新
T+0.1sCoreDNS watch 收到事件DNS TTL 内的客户端缓存仍指向旧 IP
T+0.1sCoreDNS 记录更新应用层缓存(若有)继续用旧值
T+30sDNS TTL 过期,应用重查部分应用已换新,部分未到期
T+60s最慢的缓存也过期全部收敛到新 IP

收敛时间 = 各段滞后之和,通常落在秒级到分钟级。期间旧 IP 的失败由重试吸收——重试第一次撞旧 IP(RST),链路此时已更新,重查命中新 IP,第二次连接成功。整个时间线里没有任何一环出错,只有一个允许存在的滞后窗口。

应用侧如何配合最终一致

最终一致不是「应用什么都不用管」,而是「应用要按最终一致的方式写」。三条配合原则:

原则做法为什么
解析不过度缓存尊重 DNS TTL,不自己再叠加长缓存叠加只会拉长滞后窗口
连接要可重试失败后重新解析再连旧 IP 失败靠重查吸收
不依赖单次结果多 IP 结果里任选,失败换下一个端点列表变化时总有可用项

尤其第三条:Headless Service 返回多 IP 时,客户端应把「一个不可达」当作「换下一个」的信号,而不是整体失败。这正是最终一致系统里客户端应有的姿态:短暂陈旧是常态,重试与多样性是常态的配套。把应用从「假设强一致」改造成「接受最终一致」,滞后就不再是事故,而是被吸收的噪声。

三个常见误解

  • 「服务发现是强一致的,端点变了马上全局可见」——错误。apiserver、CoreDNS、TTL、应用缓存每一跳都引入滞后,服务发现是典型的最终一致。
  • 「缓存只会拖慢更新,应该尽量关掉 TTL」——错误。TTL 是「更新成本 vs 新鲜度」的定价;缓存命中的低延迟与高吞吐正是服务发现能撑住高频解析的原因,关掉 TTL 会让每个连接都回源。
  • 「旧 IP 导致的连接失败是故障,要消灭」——错误。在最终一致的系统里,短暂使用旧 IP 是预期行为;正确做法是用重试吸收滞后窗口,而不是追求消除所有旧 IP 使用。

服务发现一致性的设计判断清单

  1. 读路径的查询频率有多高?——高则必须缓存,接受最终一致。
  2. 陈旧窗口内的失败可重试吗?——可重试则最终一致成立。
  3. 有强一致需求吗(选主、配置)?——那是 etcd 的活,不走 DNS。
  4. 客户端会自己缓存吗?——会则 TTL 设计要穿透到它那一层。

四问答完,最终一致是否是正确选择就清楚了:高频读 + 可重试 + 无强一致需求,最终一致不仅是可接受的,还是更经济的。强一致在这里不是「更正确」,而是「更贵且无收益」——把第 3 问里真正需要强一致的语义留给 etcd 和共识协议,让服务发现保持它应有的轻盈。

一句话总结本节

服务发现是一条从 apiserver 到应用缓存的链路,最终一致是它的默认属性:

  • 滞后来源:watch 传播、CoreDNS 记录更新、DNS TTL、应用缓存,每一跳都在延长「旧 IP 合法存在」的时间窗。
  • 两种收敛:TTL 被动过期让缓存最终回源,watch 事件主动失效提前收敛;两者叠加是 K8s 服务发现收敛的主力。
  • 兜底:旧 IP 导致的连接失败由重试吸收,重试期间链路收敛、下一次解析用上新 IP;强一致方案的高成本在这里不划算。

回到本章的主线:DNS 提供稳定的名字,kube-proxy 提供实时的转发,缓存与重试吸收两者之间的滞后——服务的「名字」与「端点」在时间上永远不同步,但系统设计成让这个不同步无害。这就是分布式系统中「最终一致」的正确打开方式。

本节 lab

本节用 dns 包的 Cache 验证最终一致的两种收敛路径——TTL 过期回源与 watch 主动失效:

cd private/labs/k8s-net-lab
go test ./dns -run TestCacheTTLStaleness -v
go test ./dns -run TestCacheInvalidateByWatch -v

TestCacheTTLStaleness 断言记录从 10.96.0.1 更新为 10.96.0.99 后,TTL=2 的缓存前两轮仍返回旧值、第三轮过期才回源取新值——「TTL 内旧值合法,过期才收敛」成立。TestCacheInvalidateByWatch 断言 TTL=5 的缓存收到 Invalidate 后立刻返回新 IP——「watch 事件提前失效」成立。两个测试合计 4 个断言,覆盖最终一致的两条收敛路径:被动等 TTL 过期,或主动被 watch 失效——前者是缓存的本分,后者是控制面 watch 原语给数据面带来的提速。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图