跨卷复用的不是产品名字
卷一讨论文件与任务输出,卷二/三讨论执行和恢复,卷五/六讨论算子与分布式归并,卷七到九讨论复制、存储和事件日志,卷十到十三讨论倒排、图、列存与向量访问。共同问题是:谁拥有状态,何时确认,读到哪个版本,失败后从哪里继续。
把一条向量写入串起来
接收带身份与时间的写入,按分片/分区规则路由;日志、查询增量视图和持久段各有进度;索引构建改变访问路径,查询按屏障与快照读取;候选执行后再跨片归并。这里每条箭头都有协议,不是把13个独立Lab按名字连接就成为一套可运行服务。
Milvus Growing可在显式flush前检索;Bounded、Session、Strong的时间条件分开。不能把“Bounded读,flush后可见”当作跨卷通用一致性合同。通用Raft强读也不能自动贴到所有查询副本上。
同一参数账本
100万条128维float32原向量是512000000字节。索引邻接按层、边槽数和ID宽度计算;复制按实际复制对象计数;迁移与重建还要加新旧共存峰值。若改变ID宽度或缓存策略,必须重新列参数,不能一处576MB、一处640MB却都称同一实现固定内存。
查询的K、粗排候选C、距离次数、分片RPC与IO次数各自记录。K=10不表示只算10次距离;两个ANN结果一致不等于精确召回率1。全局归并需要携带ID与分数,不能只拼主键后截断。
用失败边界验证衔接
写入确认后进度未到的读、删除后的旧引用、重建输出未就绪、别名切换后的新增写、旧主隔离、分片候选不足,是跨章节应共同讨论的反例。每个实验说明自己的执行层级:手算、Java模型、发布库核心、单机产品、真实集群,不能互相替代。
本卷交付可独立编译的教学机制模块与隔离Milvus探针;它们帮助复核合同和反例,不是跨产品集群,也没有实现商业服务需要的完整调度、日志耐久性和运维面。
架构与流程
flowchart LR
W["写入身份与时间"] --> LOG["日志确认与消费进度"]
LOG --> S["持久段与索引"]
LOG --> G["Growing查询视图"]
S --> B["读屏障与候选执行"]
G --> B
B --> MERGE["带分数全局归并"]
MERGE --> R["结果与独立质量/资源指标"]
FAIL["故障与恢复合同"] -.-> LOG
FAIL -.-> S
FAIL -.-> B
实现与验证边界
本轮各模块与原生场景分别列验收结果,不以13卷runner总数证明跨模块或跨产品端到端。45篇仍保留原URL,具体模块与缺失范围按README核对。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 lab.RunAll。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。