《Kubernetes 分布式系统原理深入解析》10.2 ReadIndex 与 Lease Read

ReadIndex 用四步把线性一致读变成「commitIndex 边界 + 一次多数派确认」,不写日志;Lease Read 再用时钟租约省掉那次确认,但引入时钟漂移风险。本节对比二者与完整共识读的代价,说明 etcd 默认 Range 走线性一致读、串行化读是显式选项。lab 用 TestLinearizableReadIndex 验证 sim.go 以 commitIndex 作为读边界返回。

10.2 ReadIndex 与 Lease Read

10.1 节我们确认了「读也要线性一致」,并列出了三个档位的方案:完整共识读、ReadIndex、Lease Read。完整共识读因为写放大和日志爆炸被否决,剩下两个——ReadIndex 用一次多数派确认换掉「每条读都写日志」,Lease Read 再用时钟租约换掉那一次确认。本节展开两者的算法、原理与风险,并落到 etcd 的实际读路径上。

ReadIndex 要回答的两个问题

线性一致读本质上要回答两个问题:

  1. 边界是什么:读到多新的状态才算「线性一致」?答案锚定在 commitIndex 上——凡是已经提交的写,读必须能看到;凡是未提交的,读可以看不到。
  2. 读的人是谁:只有当前任期的 Leader 才能回答「什么已提交」。如果响应读请求的节点已经失位,它的 commitIndex 就是过期的,第一个问题就答错了。

完整共识读把两个问题一起解决:读日志被提交的瞬间,边界和 Leader 身份同时得到确认。ReadIndex 则把两个问题拆开:边界直接取当前 commitIndex,Leader 身份靠多数派确认。

ReadIndex 算法四步

ReadIndex 的流程(对应 Raft 论文 6.4 节与 etcd 的实现)分四步:

  1. 确认自己是 Leader。Leader 检查自己是否仍是当前任期的 Leader。如果任期内已经收到过更新的 AppendEntries 或选举信息,说明已被替换,拒绝本次读,并把请求转发给新 Leader(或返回错误让客户端重试)。
  2. 记录 readIndex = 当前 commitIndex。Leader 把此刻的 commitIndex 记为本次读的边界。commitIndex 是「多数派已确认的日志位置」,它是单调的:后续提交只会让边界前进,不会回退。
  3. 向多数派确认 Leader 未过期。Leader 向多数派发一次心跳(或专门的 ReadIndex 请求),等待多数派在同一个任期内响应。多数派确认意味着:没有任何其他节点在该任期或更新的任期提交过读者不知道的写——因为新 Leader 的选举本身就要求多数派,而多数派同时只认一个 Leader。
  4. 以 readIndex 为边界读状态机。Leader 等待自己的 applyIndex 追上 readIndex(已提交日志全部 apply 完),然后从本地状态机读取并返回。这个返回保证包含 readIndex 之前的全部提交。

第 1 步和第 3 步是「Leader 有效性」,第 2 步和第 4 步是「边界」。有效性不成立,边界就没有意义——这正是 10.1 节旧 Leader 场景的病根。

一个 ReadIndex 请求的时间线

把四步放到一个具体的 3 节点集群里看:

序号动作耗时量级
1客户端向 Leader 发读请求网络 RTT
2Leader 记录 readIndex = commitIndex微秒级
3Leader 广播心跳,多数派响应确认任期一个 RTT(毫秒级)
4applyIndex 追上 readIndex 后读状态机微秒级
5返回给客户端网络 RTT

总延迟约等于「客户端 ↔ Leader 一个 RTT + Leader ↔ 多数派一个 RTT」。第 3 步是关键:它把「我是 Leader」从旧 Leader 的单方面声明,变成多数派的共同见证——这正是 10.1 节旧 Leader 场景缺的那层保护。分区里的旧 Leader 收不到多数派响应,第 3 步永远完成不了,读自然失败,而不是返回过期数据。

还有一个隐藏的细节:如果 Leader 刚当选、还没在当前任期提交过任何日志,Raft 要求它先提交一条空 no-op 条目,再服务线性一致读。原因是读边界必须落在「当前任期已提交」的位置,否则无法证明自己的 commitIndex 就是多数派的最新提交点。etcd 的 Leader 在当选后也会先提交一条 no-op 条目,这条日志在所有节点 apply 前,Leader 不会处理新的写和线性一致读。

为什么多数派确认一次就够

最直觉的疑问:读也会随时间推进,为什么不每条读都重新确认一次?

关键在于:多数派确认不是验证「此刻」的某个值,而是验证「从此以后」的身份。一旦多数派在某任期确认了 Leader,它的 commitIndex 就永远包含此前全部已提交日志——提交本身就要求多数派,而多数派在这个任期只认这一个 Leader。此后的提交都经由同一条 commit 机制推进,Leader 的 commitIndex 单调包含它们。

所以一个确认可以覆盖一个时间窗口内的大量读:Leader 只需周期性刷新「有效性确认」,两次刷新之间发起的读共享同一个已确认的边界。Raft 论文称这种批处理为一次 read index 刷新服务多笔读;etcd 内部也是维护一个线性一致读的循环,一次 ReadIndex 通知让等待中的多个读请求一起放行。

用一个类比:多数派确认不是「每次读都验一次身份证」,而是「验一次身份后,系统承诺在这个任期内不会换人」。之后每次读只需要确认「我还是这个任期的人」——而任期是单调递增的,Leader 只要没有被更新的任期消息打断,这个判断就是本地的。确认频率只取决于心跳周期,不取决于读 QPS。

对比完整共识读,这个差异是数量级的:完整共识读每读一条日志、每读一轮复制;ReadIndex 每 N 笔读才一次确认,而且确认走的是心跳路径,不产生日志。

与完整共识读的对比

维度完整共识读ReadIndex
日志条目每条读一条零条
写放大严重无
额外往返完整复制 + 多数派确认一次心跳往返
吞吐上限写路径(fsync、quorum)读路径
边界来源读日志的提交点Leader 的 commitIndex

这里要澄清一个常见的误解:ReadIndex 的「确认」用的是现有心跳机制,不是每笔读都发一轮全新的 AppendEntries。Leader 本来就在周期性地给 follower 发心跳维持权威;ReadIndex 只是把这些心跳的响应「顺便」当作读的多数派确认。所以读路径的增量成本接近零,而不是每次都多一轮完整复制——这也是它能在高 QPS 下保持线性一致的原因。

ReadIndex 把一个「读=写」的问题降级为「读=读 + 一次轻量确认」,是线性一致读成为生产可用方案的关键。etcd 的线性一致读正是基于它。

Lease Read:用时钟换掉一次往返

ReadIndex 每读(或每批读)还要一次多数派确认。Lease Read 连这次确认都想省掉,思路是:确认一次,然后在一段时间内都信任这个确认。

新 Leader 当选后(或拿到一次多数派确认后),它广播心跳并收到多数派响应。多数派响应等于「在这个任期承认你是 Leader」。如果 Leader 给这个任期设置一个基于时钟的租约(lease),租约时长通常取「心跳间隔 × 若干倍」,那么:

  • 在租约期内,Leader 认为自己不会被多数派替换,直接本地读,跳过所有确认;
  • 多数派承诺在租约期内不发起新的选举(因为它们不断收到该 Leader 的心跳,选举超时被重置)。

于是每笔读的额外往返从「一次心跳确认」降到零。代价是引入了时钟:Leader 的读是否有效,取决于它自己的时钟判断和多数派节点的时钟判断是否一致。

Lease Read 的风险:时钟漂移

Lease Read 的正确性建立在时钟同步之上,而分布式系统里时钟漂移是常态:

  • Leader 时钟比多数派慢:Leader 以为租约还剩很久,但多数派节点已经按它们更快的时钟判定租约到期,开始发起新选举。Leader 继续用过期身份读——读到 stale。
  • Leader 时钟比多数派快:Leader 提前放弃租约、停止服务读,损失的是可用性而非正确性,但同样不是预期行为。

更微妙的是分区场景:旧 Leader 被分区后收不到多数派心跳,它的租约按自己的时钟会很快到期——只要时钟漂移有界且租约足够长,它就会在租约到期后停止读,把读让给新 Leader。但如果时钟漂移超过假设,分区旧 Leader 就可能在租约「看起来还有效」的窗口里继续响应 stale read。

所以 Lease Read 的工程条件非常具体:所有节点时钟漂移有上界(例如依赖 NTP 将漂移控制在几十毫秒),租约时长显著大于漂移上界与心跳间隔之和。不满足这个条件,就不能用 Lease Read。这也是为什么多数生产系统把 Lease Read 当作可选的性能优化,而不是默认路径。

注意 Lease Read 与 3.1 节的物理时钟不是一回事:Lease Read 并不要求「时钟值准确」,只要求「节点间时钟漂移有界」。但即便只要求漂移有界,也是一个需要运维假设来背书的约束——云环境里 CPU 抢占导致的时钟跳变、容器时间隔离的误差,都可能超出假设。正确性经不起这种概率性违约,所以 etcd 选择不赌。

ReadIndex 与 Lease Read 怎么选

两个方案不是对立的,而是同一思路的两种实现程度:

维度ReadIndexLease Read
每读额外往返一次心跳确认(可批处理)零
是否依赖时钟否是(租约判定)
正确性条件多数派确认时钟漂移有界 + 租约足够长
典型使用etcd 线性一致读论文/部分数据库的可选优化

工程上的选择原则:默认用 ReadIndex——它不引入时钟假设,正确性只依赖消息传递;只有当读延迟极度敏感、且能严格保证时钟同步时,才在 ReadIndex 之外叠加 Lease Read 的租约跳过。etcd 的默认线性一致读就是纯 ReadIndex,不依赖时钟。

etcd 内部怎么实现 ReadIndex

etcd 把 ReadIndex 封装在 linearizableReadNotify 里,流程是:

  1. 服务端收到 Range 请求,发现 serializable=false;
  2. 调用 linearizableReadNotify:向 raft 层发起 ReadIndex 请求,raft 层把这次请求变成一个「读索引广播」;
  3. raft 层广播心跳给多数派,多数派在同一任期确认后,raft 返回一个已确认的 commit 位置;
  4. linearizableReadNotify 等到这个位置,把它作为本次读的边界;
  5. 服务端再调用 applyV3Base.Range 从 mvcc 读取,返回。

关键点是第 3 步的「确认」和第 4 步的「边界」都由 raft 层提供——etcd 的读路径因此与写路径共享同一套「任期 + 多数派」保证,却不共享日志。这也是「线性一致读不写日志」最直接的证据:走完整个读路径,没有一条新日志被追加。

etcd 的默认读路径

etcd 的线性一致读走的是 ReadIndex,不是 Lease Read:

  • 默认(线性一致):RangeRequest.serializable=false。服务端在 etcdserver/v3_server.go 的 Range 处理里,先调用 linearizableReadNotify 走一轮内部 ReadIndex——向 raft 发读索引请求、广播心跳给多数派、等到已确认的 rev 返回——确认边界后才从本地 mvcc 状态机读取。
  • 串行化(本机读):RangeRequest.serializable=true。跳过 ReadIndex 通知,直接读本机 mvcc,延迟最低但可能 stale。
  • etcdctl:etcdctl get --consistency=l(默认,linearizable)或 --consistency=s(serializable)。对应客户端 API 是默认线性一致、clientv3.WithSerializable() 显式开启串行化。

注意一个重要细节:etcd 的线性一致读不写日志,它靠的是 ReadIndex 的多数派确认。这一点和 10.1 节「完整共识读」有本质区别——etcd 把读从写路径上彻底解放了出来。

K8s 场景:apiserver 如何读 etcd

Kubernetes 里等价的「读模式选择」发生在两层:

  • apiserver 直连 etcd:store.Get 直接调用 clientv3.KV.Get,没有传 WithSerializable(),走的就是 etcd 默认的线性一致读。单对象 Get 和无续页的显式 resourceVersion 读都是如此。这意味着 apiserver 自己读到的就是「多数派已确认的最新状态」。
  • apiserver 的 watch cache:apiserver 在 etcd 之上还叠了一层 watch cache(Cacher)。不带 resourceVersion 的 List 默认由 cache 快照服务,快照来自 watch 事件流,属于弱一致读;指定 resourceVersion 或需要强一致时回落 etcd 线性一致读。这是「apiserver 读到旧值」最常见的来源,不是 etcd 的 serializable Range。

理解这条分界,才能准确回答「kubectl 拿到的是多新的数据」:直连 etcd 的读是线性一致,缓存快照读是弱一致,informer/kubelet 的本地缓存读是最终一致。下一节会把这些档位整理成完整的决策框架。

一个容易混淆的点:apiserver 读 etcd 用的是 etcd 客户端默认的线性一致,但 apiserver 对外暴露的读新鲜度却由 watch cache 决定。也就是说,etcd 层是线性一致的,apiserver 层却可能对外返回一个旧快照。两层的一致性承诺不同,排障时要先分清「是 etcd 返回旧了,还是 apiserver 缓存旧了」——前者是存储的问题,后者是缓存设计的一部分。

本节小结

ReadIndex 与 Lease Read 是同一思路的两档实现:

  • ReadIndex:不写日志,只靠「commitIndex 边界 + 一次多数派确认」实现线性一致读,正确性不依赖时钟,是 etcd 的默认读路径;
  • Lease Read:用时钟租约把确认次数压到零,正确性依赖「时钟漂移有界」这个运维假设,etcd 不用它做默认;
  • K8s 里三档并存:apiserver 直连 etcd 读线性一致,watch cache 快照读弱一致,informer/kubelet 本地缓存读最终一致——这是设计而非缺陷。

读的线性一致承诺因此不是「整个系统处处最新」,而是「每一层各自承诺到哪一档」。下一节把这几档整理成 etcd 读模式的工程取舍框架。

本节 lab

raft/sim.go 的 MsgReadIndex 处理模拟了 ReadIndex 的边界语义:Leader 收到 ReadIndex 请求后,把当前 CommitIndex 放进响应的 LeaderCommit 字段返回;非 Leader 收到则不响应。raft/node.go 的 maybeCommit 保证 commitIndex 只推进到「当前任期 + 多数派确认」的位置。

测试 TestLinearizableReadIndex(private/labs/k8s-etcd-lab/raft/replication_test.go):

cd private/labs/k8s-etcd-lab
go test ./raft -run TestLinearizableReadIndex -v

预期断言:

  • 3 节点集群先提交 set:a=1(commitIndex=0);
  • 向 Leader 发 MsgReadIndex,运行一步后,Leader 返回响应;
  • 响应的 LeaderCommit 等于 0,即当前 commitIndex 就是读边界;
  • 模拟器里 ReadIndex 响应只返回 commitIndex,不产生任何日志条目——正好体现 ReadIndex「确认边界但不写日志」的性质。

与 10.1 节 lab 相同,本测试同时支撑第 10.1 与 10.2 两节:它验证的「Leader 用 commitIndex 回答读边界」正是 ReadIndex 四步算法里第 2 步和第 4 步的落点。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图