《大规模分布式计算深入解析》8.2 副本与读平衡:写放大、扇出与故障转移

副本数、查询扇出、持久副本和多数派可用性分别定义;900QPS在4片3副本下点路由为75、全扇出为300每副本。

先问复制的是什么

R份数据副本可增加读服务选项,但“查询副本R”不一定等于“日志或对象存储持久副本R”。例如共享持久层上运行多个查询副本时,不能直接把查询副本数乘成持久写放大。容量和复制流量应按实际对象分别计。

本节的简单写放大R只针对“同一有效载荷写R份”的假设,不含日志、索引重建、缓存和元数据放大。

两种900QPS账本

4分片、每片3份可服务读副本,总12个副本单元。

查询模式总分片请求率每副本平均请求率
点路由,每次只选1片900900/4/3=75
全扇出,每次访问4片3600900/3=300

“每副本300QPS”需要全扇出前提,不是12个单元直接平均900的结果。一片少一副本时,只在该片内重分其流量;其他片不会必然都变成450QPS。热点与节点共置还会破坏平均模型。

存活一份不等于强读/写可用

允许读任意旧副本、路由和元数据也可用时,R−1故障后仍可能有读;线性一致读、共识写通常有额外多数派/领导权/应用屏障要求。三投票成员多数派2,四成员多数派3。

网络分区1/2时,三副本不能在单份隔离侧继续假装强读成功。租约类读又依赖明确时间假设,不能由“有一个活副本”自动获得。

原生验收边界

Milvus standalone的Strong/Session调用验证自身API的时间屏障行为,不是多副本切换。要证明高可用,需部署真实复制/路由拓扑、注入故障、核对返回版本和拒绝行为,并分别观察查询层、日志层和元数据层。

架构与流程

flowchart TD
 Q["900次应用查询每秒"] --> MODE{"路由范围"}
 MODE -->|点路由| P["总900分片请求;每副本75"]
 MODE -->|4片全扇出| F["总3600分片请求;每副本300"]
 P --> C["副本内负载与故障域"]
 F --> C
 C --> READ{"当前读合同需要多数派/屏障?"}
 READ -->|需要但未满足| NO["等待或拒绝"]
 READ -->|满足| YES["按版本合同返回"]

实现与验证边界

模型计算两种明确扇出账本、整数多数派和强读前置条件。没有真实多副本宕机实验,不声明R−1故障下强读一定可用。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 routing.RoutingSuite / segment.VisibilitySuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路