4.3 服务发现的最终一致性
第二章到本章,服务发现链路已经完整出现了:apiserver 保存 Service 与端点,CoreDNS 用 watch 维护 DNS 记录,kubelet 把 nameserver 与 search 域注入 Pod,应用再拿着解析出的 IP 去连接。这条链路的每一跳都有自己的缓存与更新时机,没有任何一环保证「端点刚变,下一秒所有客户端就都看到新值」。
这不是疏漏,而是分布式系统的常态。本节回答两个问题:为什么服务发现只能是最终一致,以及当应用读到旧 IP 时,系统靠什么自愈。
链路图:每一跳都可能滞后
先画出完整的服务发现链路,把「滞后点」标出来:
| 环节 | 数据源 | 更新机制 | 潜在滞后 |
|---|---|---|---|
| apiserver | etcd | watch 推送 | 事件传播本身需要时间 |
| CoreDNS | apiserver | 本地记录表 + watch | 端点变更到 DNS 记录更新的间隔 |
| kubelet 注入 | 静态(创建时) | 只在 Pod 创建/重建时 | 运行期不刷新 |
| 应用缓存 | DNS 应答 | TTL 控制 | TTL 内看不到新值 |
从端点变化到所有客户端用上新 IP,时间 = apiserver 广播 + CoreDNS 更新 + DNS TTL + 应用自身缓存。任何一段都会让「旧 IP 仍然被使用」的时间窗延长。尤其最后两段——DNS TTL(默认 30-60 秒)与应用层缓存——常常比控制面本身的传播还慢。
缓存 TTL:旧 IP 的合法存在期
DNS 的 TTL 是「旧值合法存在」的明确定价。Cache.Resolve 的实现就是这条语义:
- 命中且未过期:直接返回缓存 IP(可能是旧值)。
- 过期:回源 Resolver,取新值并刷新缓存。
lab 的 TestCacheTTLStaleness 把这段语义拆得很清楚:记录从 10.96.0.1 更新成 10.96.0.99 之后,TTL=2 的缓存在前两轮仍返回 10.96.0.1(TTL 内旧值合法),第三轮过期才回源拿到 10.96.0.99。TTL 不是缺陷,是设计——它把「更新成本」与「新鲜度」之间划了一条明确的线:TTL 内不再问上游,过期才付一次回源成本。
watch 事件:提前失效的主动通道
TTL 是「被动等待过期」,watch 是「主动提前失效」。CoreDNS 从 apiserver 收到端点变更事件后,可以立刻让对应记录失效,而不用等 TTL 自然过期:
// lab 的 Cache.Invalidate:删除缓存条目,下次查询直接回源
func (c *Cache) Invalidate(name string) {
delete(c.ips, name)
delete(c.ttlOf, name)
}
lab 的 TestCacheInvalidateByWatch 验证:TTL=5 的缓存刚拿到旧值,watch 事件一到、Invalidate 一调,下一次查询立刻返回新 IP 10.96.0.7——失效优先于过期。这正是卷二第 3 章 watch 原语的又一次复用:控制面组件不只是「轮询看变化」,而是订阅事件、按事件驱动更新自己的缓存。有 watch 的组件(CoreDNS、kube-proxy、调度器)永远比「只靠 TTL 过期」的组件更快收敛。
旧 IP 导致连接失败:重试如何吸收
即使有 watch,客户端仍会拿到旧 IP——应用层缓存、DNS TTL、连接复用都会让旧 IP 被继续使用。旧 IP 上的 Pod 可能已经没了,连接失败在所难免。分布式系统处理这类「过期的定位信息」的通用答案是重试:
| 失败形态 | 现象 | 被什么吸收 |
|---|---|---|
| 连接被拒(RST) | 旧 IP 无进程监听 | 客户端重试 + DNS 重查 |
| 连接超时 | 旧 IP 丢包 | 重试 + 更长超时控制 |
| 连接成功但 5xx | Pod 已不再提供服务 | 应用层重试 + 指数退避 |
| 连接被摘除 | 健康检查已剔除 | kube-proxy 转发重选端点 |
重试不是掩盖错误,而是「旧信息终将过期」的乐观假设:旧 IP 不可达,是因为链路还没收敛到新端点;重试期间链路收敛,下一次解析/转发就用上新 IP。卷三讲过的退避重试(Backoff)在这里以客户端侧的形式再次出现——服务发现对旧 IP 的宽容,正是靠「连接失败 → 重查 → 重试」这个循环兜底。
为什么最终一致而非强一致
设计者完全可以选择「端点变化必须同步到所有客户端」的强一致方案,代价是什么?
| 维度 | 强一致 | 最终一致(现状) |
|---|---|---|
| 收敛时间 | 端点变化后尽快同步 | TTL/watch 驱动,容忍滞后窗口 |
| 查询成本 | 每次解析都要查权威源 | 缓存命中免回源,成本低 |
| 可用性 | 权威源故障即解析失败 | 缓存兜底,权威源故障仍可解析 |
| 实现复杂度 | 需要分布式事务/共识 | 单向广播 + 过期,简单 |
| 适合场景 | 极小集群、极严格语义 | 大规模集群、常规服务发现 |
服务发现的读路径是极高频率、低一致性要求的典型:每个连接都要解析,但解析结果的短暂陈旧几乎总是被重试吸收。用强一致换「端点变化即刻全局可见」,等于给每次 DNS 查询都加上跨组件的同步成本——对收益几乎为零。最终一致在这里不是妥协,而是成本结构决定的正确选择:滞后窗口内旧 IP 的失败由重试兜底,而缓存带来的吞吐收益是全体客户端长期享受的。
观察滞后窗口的手段
「端点变了多久客户端才看到」可以用可控实验测出来,这是运维最常忽略的观测项:
# 1. 记录当前端点
kubectl get endpointslices <name> -o wide
# 2. 触发一次端点变化(滚动发布/缩容)
kubectl rollout restart deployment/<name>
# 3. 反复解析,记录「何时首次看到新 IP」
while true; do nslookup <name>.ns.svc.cluster.local | tail -1; sleep 1; done
滞后窗口 = 触发变化的时间点 → 解析结果首次变化的时间点。实测下来通常跨秒级到分钟级:CoreDNS 更新快(秒级),DNS TTL 与应用缓存决定尾部(几十秒到分钟)。把滞后窗口量化出来,才知道重试配置该设多大——窗口 10 秒,重试间隔就该小于它,否则重试永远撞上旧 IP。
与缓存一致性理论的对照:TTL 就是 lease
分布式系统缓存一致性理论里的收敛工具,与 lab 里的机制一一对应:
| 理论工具 | 含义 | lab/集群中的对应 |
|---|---|---|
| TTL / lease | 授权缓存一段有效期 | DNS TTL、Cache.TTL |
| 失效通知 | 主动告知缓存已过期 | watch 事件 → Cache.Invalidate |
| 版本号 | 判断缓存是否最新 | 端点 resourceVersion / generation |
| 主动回源 | 过期后重新读取 | Cache.Resolve 回源 Resolver |
TTL 本质是租约:上游把旧值授权给缓存使用到某时刻,到期后缓存必须重新确认。watch 失效则是「租约提前撤销」。这两种机制的组合,就是分布式系统处理「读多写少、允许短暂陈旧」的经典配方。K8s 没有为服务发现发明新理论,只是把教科书里的 TTL + 失效通知用在了 DNS 这条具体的链路上。
端点变化时的收敛时序:一个完整例子
把整条链路的滞后串成一个时间线。假设端点从 10.0.0.1 换成 10.0.0.2:
| 时刻 | 发生什么 | 谁还看得到旧值 |
|---|---|---|
| T+0 | Pod 下线,端点切片更新 | CoreDNS 记录尚未更新 |
| T+0.1s | CoreDNS watch 收到事件 | DNS TTL 内的客户端缓存仍指向旧 IP |
| T+0.1s | CoreDNS 记录更新 | 应用层缓存(若有)继续用旧值 |
| T+30s | DNS TTL 过期,应用重查 | 部分应用已换新,部分未到期 |
| T+60s | 最慢的缓存也过期 | 全部收敛到新 IP |
收敛时间 = 各段滞后之和,通常落在秒级到分钟级。期间旧 IP 的失败由重试吸收——重试第一次撞旧 IP(RST),链路此时已更新,重查命中新 IP,第二次连接成功。整个时间线里没有任何一环出错,只有一个允许存在的滞后窗口。
应用侧如何配合最终一致
最终一致不是「应用什么都不用管」,而是「应用要按最终一致的方式写」。三条配合原则:
| 原则 | 做法 | 为什么 |
|---|---|---|
| 解析不过度缓存 | 尊重 DNS TTL,不自己再叠加长缓存 | 叠加只会拉长滞后窗口 |
| 连接要可重试 | 失败后重新解析再连 | 旧 IP 失败靠重查吸收 |
| 不依赖单次结果 | 多 IP 结果里任选,失败换下一个 | 端点列表变化时总有可用项 |
尤其第三条:Headless Service 返回多 IP 时,客户端应把「一个不可达」当作「换下一个」的信号,而不是整体失败。这正是最终一致系统里客户端应有的姿态:短暂陈旧是常态,重试与多样性是常态的配套。把应用从「假设强一致」改造成「接受最终一致」,滞后就不再是事故,而是被吸收的噪声。
三个常见误解
- 「服务发现是强一致的,端点变了马上全局可见」——错误。apiserver、CoreDNS、TTL、应用缓存每一跳都引入滞后,服务发现是典型的最终一致。
- 「缓存只会拖慢更新,应该尽量关掉 TTL」——错误。TTL 是「更新成本 vs 新鲜度」的定价;缓存命中的低延迟与高吞吐正是服务发现能撑住高频解析的原因,关掉 TTL 会让每个连接都回源。
- 「旧 IP 导致的连接失败是故障,要消灭」——错误。在最终一致的系统里,短暂使用旧 IP 是预期行为;正确做法是用重试吸收滞后窗口,而不是追求消除所有旧 IP 使用。
服务发现一致性的设计判断清单
- 读路径的查询频率有多高?——高则必须缓存,接受最终一致。
- 陈旧窗口内的失败可重试吗?——可重试则最终一致成立。
- 有强一致需求吗(选主、配置)?——那是 etcd 的活,不走 DNS。
- 客户端会自己缓存吗?——会则 TTL 设计要穿透到它那一层。
四问答完,最终一致是否是正确选择就清楚了:高频读 + 可重试 + 无强一致需求,最终一致不仅是可接受的,还是更经济的。强一致在这里不是「更正确」,而是「更贵且无收益」——把第 3 问里真正需要强一致的语义留给 etcd 和共识协议,让服务发现保持它应有的轻盈。
一句话总结本节
服务发现是一条从 apiserver 到应用缓存的链路,最终一致是它的默认属性:
- 滞后来源:watch 传播、CoreDNS 记录更新、DNS TTL、应用缓存,每一跳都在延长「旧 IP 合法存在」的时间窗。
- 两种收敛:TTL 被动过期让缓存最终回源,watch 事件主动失效提前收敛;两者叠加是 K8s 服务发现收敛的主力。
- 兜底:旧 IP 导致的连接失败由重试吸收,重试期间链路收敛、下一次解析用上新 IP;强一致方案的高成本在这里不划算。
回到本章的主线:DNS 提供稳定的名字,kube-proxy 提供实时的转发,缓存与重试吸收两者之间的滞后——服务的「名字」与「端点」在时间上永远不同步,但系统设计成让这个不同步无害。这就是分布式系统中「最终一致」的正确打开方式。
本节 lab
本节用 dns 包的 Cache 验证最终一致的两种收敛路径——TTL 过期回源与 watch 主动失效:
cd private/labs/k8s-net-lab
go test ./dns -run TestCacheTTLStaleness -v
go test ./dns -run TestCacheInvalidateByWatch -v
TestCacheTTLStaleness 断言记录从 10.96.0.1 更新为 10.96.0.99 后,TTL=2 的缓存前两轮仍返回旧值、第三轮过期才回源取新值——「TTL 内旧值合法,过期才收敛」成立。TestCacheInvalidateByWatch 断言 TTL=5 的缓存收到 Invalidate 后立刻返回新 IP——「watch 事件提前失效」成立。两个测试合计 4 个断言,覆盖最终一致的两条收敛路径:被动等 TTL 过期,或主动被 watch 失效——前者是缓存的本分,后者是控制面 watch 原语给数据面带来的提速。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。