《大规模分布式计算深入解析》15.2 十三卷主线:检索、存储、执行与一致性如何衔接

十三卷通过状态所有权、数据时间边界、候选执行与持久化合同衔接;教学模块串联不等于跨产品统一集群。

跨卷复用的不是产品名字

卷一讨论文件与任务输出,卷二/三讨论执行和恢复,卷五/六讨论算子与分布式归并,卷七到九讨论复制、存储和事件日志,卷十到十三讨论倒排、图、列存与向量访问。共同问题是:谁拥有状态,何时确认,读到哪个版本,失败后从哪里继续。

把一条向量写入串起来

接收带身份与时间的写入,按分片/分区规则路由;日志、查询增量视图和持久段各有进度;索引构建改变访问路径,查询按屏障与快照读取;候选执行后再跨片归并。这里每条箭头都有协议,不是把13个独立Lab按名字连接就成为一套可运行服务。

Milvus Growing可在显式flush前检索;Bounded、Session、Strong的时间条件分开。不能把“Bounded读,flush后可见”当作跨卷通用一致性合同。通用Raft强读也不能自动贴到所有查询副本上。

同一参数账本

100万条128维float32原向量是512000000字节。索引邻接按层、边槽数和ID宽度计算;复制按实际复制对象计数;迁移与重建还要加新旧共存峰值。若改变ID宽度或缓存策略,必须重新列参数,不能一处576MB、一处640MB却都称同一实现固定内存。

查询的K、粗排候选C、距离次数、分片RPC与IO次数各自记录。K=10不表示只算10次距离;两个ANN结果一致不等于精确召回率1。全局归并需要携带ID与分数,不能只拼主键后截断。

用失败边界验证衔接

写入确认后进度未到的读、删除后的旧引用、重建输出未就绪、别名切换后的新增写、旧主隔离、分片候选不足,是跨章节应共同讨论的反例。每个实验说明自己的执行层级:手算、Java模型、发布库核心、单机产品、真实集群,不能互相替代。

本卷交付可独立编译的教学机制模块与隔离Milvus探针;它们帮助复核合同和反例,不是跨产品集群,也没有实现商业服务需要的完整调度、日志耐久性和运维面。

架构与流程

flowchart LR
 W["写入身份与时间"] --> LOG["日志确认与消费进度"]
 LOG --> S["持久段与索引"]
 LOG --> G["Growing查询视图"]
 S --> B["读屏障与候选执行"]
 G --> B
 B --> MERGE["带分数全局归并"]
 MERGE --> R["结果与独立质量/资源指标"]
 FAIL["故障与恢复合同"] -.-> LOG
 FAIL -.-> S
 FAIL -.-> B

实现与验证边界

本轮各模块与原生场景分别列验收结果,不以13卷runner总数证明跨模块或跨产品端到端。45篇仍保留原URL,具体模块与缺失范围按README核对。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 lab.RunAll。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路