《大规模分布式计算深入解析》9.3 复制与共识:op 日志、回放与多数派

Raft线性一致读需要确认有效领导权并等待应用到读屏障;Bounded的时间滞后不能用日志条数直接代替。

通用复制协议与Milvus的一致性分开

本节先讲复制状态机的强读条件,再与上一节的查询消费屏障对照。不能因为Milvus有多个查询副本,就假定它们之间按本节的Raft日志复制;Milvus查询副本、持久存储副本和元数据共识属于不同对象。

提交、应用、读取的顺序

n个投票成员的多数派是floor(n/2)+1。三副本写入可以在协议条件满足、两份相应日志持久确认后推进提交;第三副本可能仍落后。提交位置、每个副本的已应用位置和设备持久位置应分别记录。

线性一致读不只检查“本地应用到100”。旧主可能被网络隔离,新多数派已经选主并提交101,旧主仍以为自己是leader。若它直接返回100,就可能违反强读。Raft论文要求额外确认:领导者知道本任期的提交信息,并验证自己未失去领导权;ReadIndex类路径通过多数派确认得到安全读屏障,再等本地应用到该屏障。租约读依赖另外的时钟与租约假设。

旧主拒读的最小模型

模型输入为currentTerm=8、readTerm=7、quorumConfirmed=false、applied=100、readIndex=100。即使应用进度“追上”这个旧数字,仍必须拒绝。只有当前任期的有效领导权确认成立,且applied≥readIndex,才可在该受控模型中放行。

它是验证读前置条件的布尔/数值模型,不实现选举、网络消息或持久化,因此不能算一次真实Raft脑裂实验。

有界滞后必须有时间单位

日志落后3条,在每秒10000条的突发写下可能很短,在每小时1条的负载下可能代表数小时。Bounded时间窗口如5秒不能写成“允许3条”。若应用选择按版本差定义另一个滞后合同,应明确那不是相同的时间保证。

副本越多不自动保证任意故障下强读可用:多数派不可达时,协议通常以拒绝或等待换安全。允许单份旧副本读是另一种读合同,不能沿用线性一致标签。

架构与流程

flowchart TD
 R["强读请求"] --> T{"当前任期且领导权经协议确认?"}
 T -->|否| FAIL["拒绝或等待;不可伪成功"]
 T -->|是| INDEX["取得安全readIndex"]
 INDEX --> A{"本地applied达到readIndex?"}
 A -->|否| WAIT["等待应用;超时失败"]
 A -->|是| READ["在该屏障后读取状态"]
 N["旧主隔离,其他多数派可能前进"] -.-> T

实现与验证边界

模型覆盖旧任期、未确认多数派、应用落后与满足屏障四类边界。Milvus standalone原生读实验不测试Raft选主、成员变更、网络分区或跨节点故障。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 segment.VisibilitySuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路