通用复制协议与Milvus的一致性分开
本节先讲复制状态机的强读条件,再与上一节的查询消费屏障对照。不能因为Milvus有多个查询副本,就假定它们之间按本节的Raft日志复制;Milvus查询副本、持久存储副本和元数据共识属于不同对象。
提交、应用、读取的顺序
n个投票成员的多数派是floor(n/2)+1。三副本写入可以在协议条件满足、两份相应日志持久确认后推进提交;第三副本可能仍落后。提交位置、每个副本的已应用位置和设备持久位置应分别记录。
线性一致读不只检查“本地应用到100”。旧主可能被网络隔离,新多数派已经选主并提交101,旧主仍以为自己是leader。若它直接返回100,就可能违反强读。Raft论文要求额外确认:领导者知道本任期的提交信息,并验证自己未失去领导权;ReadIndex类路径通过多数派确认得到安全读屏障,再等本地应用到该屏障。租约读依赖另外的时钟与租约假设。
旧主拒读的最小模型
模型输入为currentTerm=8、readTerm=7、quorumConfirmed=false、applied=100、readIndex=100。即使应用进度“追上”这个旧数字,仍必须拒绝。只有当前任期的有效领导权确认成立,且applied≥readIndex,才可在该受控模型中放行。
它是验证读前置条件的布尔/数值模型,不实现选举、网络消息或持久化,因此不能算一次真实Raft脑裂实验。
有界滞后必须有时间单位
日志落后3条,在每秒10000条的突发写下可能很短,在每小时1条的负载下可能代表数小时。Bounded时间窗口如5秒不能写成“允许3条”。若应用选择按版本差定义另一个滞后合同,应明确那不是相同的时间保证。
副本越多不自动保证任意故障下强读可用:多数派不可达时,协议通常以拒绝或等待换安全。允许单份旧副本读是另一种读合同,不能沿用线性一致标签。
架构与流程
flowchart TD
R["强读请求"] --> T{"当前任期且领导权经协议确认?"}
T -->|否| FAIL["拒绝或等待;不可伪成功"]
T -->|是| INDEX["取得安全readIndex"]
INDEX --> A{"本地applied达到readIndex?"}
A -->|否| WAIT["等待应用;超时失败"]
A -->|是| READ["在该屏障后读取状态"]
N["旧主隔离,其他多数派可能前进"] -.-> T
实现与验证边界
模型覆盖旧任期、未确认多数派、应用落后与满足屏障四类边界。Milvus standalone原生读实验不测试Raft选主、成员变更、网络分区或跨节点故障。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 segment.VisibilitySuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。