本卷阅读合同
本卷15章45篇,区分结果契约、实际算法、资源预算与原生观测。Java8实验包含11类机制及跨模块查询夹具,当前205条断言通过。HNSW/IVFFlat/PQ有实际小模型;不把OPQ学习、完整SPTAG/DiskANN或商业服务当已实现。
固定Milvus2.5.4与pymilvus2.5.4,在自身隔离集合核对8组API场景:显式flush前Strong/Session、精确GT的多query召回、过滤/投影/分页、逻辑删除、三度量FLAT、手工分区、自动partition key、人工稀疏+密集RRFRanker。两个ANN一致率不替代精确召回;未测BM25分析器、量化产品索引、真实compaction/断电/多节点共识与迁移。
机制路线
flowchart LR
C["结果与数据时间合同"] --> A["图/桶/编码的实际算法"]
A --> Q["过滤/候选/分片分数归并"]
Q --> S["写入屏障、段发布与安全回收"]
S --> E["精确真值与资源/性能分别验收"]
每篇有正文机制图,复杂主题另提供组件、双队列、写入时序、SSD分层、过滤归并、段合并、别名迁移与评估图。图中模型与产品责任分开,不以图数代替实现覆盖。
章节导航
| 小节 | 本节问题 |
|---|---|
| 1.1 最近邻问题域:kNN、范围查询与近邻语义 | 精确kNN是结果契约,不等同全量扫描;对照8次Flat算距与一维有序索引的2次精确算距,返回数、评估数和召回分别记录。 |
| 1.2 相似度度量:内积、余弦、L2 与归一化 | 非零向量下cos=0与dot=0等价;平方L2、内积和余弦的排序方向、归一化及零向量定义域分别处理。 |
| 1.3 精确搜索与近似搜索:暴力、排序与误差预算 | 候选数不能推导固定召回;用相同C=4构造全命中和全漏,对单查询K=3的离散召回与多查询平均分别计算。 |
| 2.1 图索引基础:近邻图、导航结构与贪婪搜索 | 图搜索须区分前移、展开、边检查和首次算距;链上停点2是精确并列最近,另用局部陷阱解释贪婪搜索漏召回。 |
| 2.2 HNSW 多层图:层分配、入口点与搜索 | HNSW用指数层分配和逐层导航;层零前沿C与有界结果W分开,ef不是访问或算距硬上限,结果不足K返回实际条数。 |
| 2.3 HNSW 插入与删除:候选选择、pruning 与占位 | 插入从新节点所属层向层零连接,几何剪枝保留方向多样性;底层与高层容量分开,懒删除排除结果但可保留导航。 |
| 3.1 IVF:聚类、倒排桶与 nprobe 路由 | IVFFlat的粗中心路由与桶内扫描分开记账;N8000/nlist64/nprobe8的总算距为1064,不把固定中心分配称为完整训练。 |
| 3.2 PQ 乘积量化:子空间码本与非对称距离 | PQ用显式子空间码本编码,ADC把查询到码字的表项按库编码求和;压缩载荷、共享码本、ID和原向量精排存储分别计账。 |
| 3.3 SQ/OPQ 与量化误差:标量量化、旋转优化与查表 | SQ的半步长误差界限于区间内舍入;固定正交旋转只证明L2不变,不能冒充学习OPQ矩阵或验证量化收益。 |
| 4.1 磁盘向量索引:块布局、mmap 与预取 | 逻辑块、映射页、minor/major fault与设备IO不等价;本卷实际写读小型映射文件,不把字节公式称为页缓存或预取实测。 |
| 4.2 SPTAG:kNN 图、BKT 与边界点 | SPTAG-BKT是平衡k-means树并结合相对邻域图;树供种子、图供导航,教学平衡树不再冒名坐标中位切分。 |
| 4.3 Vamana/DiskANN:磁盘图遍历、图剪枝与鲁棒性 | Vamana RobustPrune按几何与α剪枝;DiskANN查询用内存压缩表示和SSD节点读取,候选宽度、IO并行度与缓存分开。 |
| 5.1 批量导入:建库、分段与 flush 边界 | 批量导入、分段、索引构建与查询发布分别有合同;8192条按1024切8段是行数模型,不推出构图恰为N×M次距离。 |
| 5.2 增量写入:缓冲、索引增量维护与可见性 | 增量写入的日志确认、Growing可检索、段封存、flush与索引handoff是不同边界;10000条按1024切为9满段和784条尾段。 |
| 5.3 段合并与删除:墓碑、合并策略与图重建 | 段合并产生新段而非原段变身;删除的查询过滤、物理回收与旧读者引用分开,重建边槽预算不等于算距成本。 |
| 6.1 查询执行:粗排候选集、精排与 Top-K 语义 | 图近似可以使用精确点距离;粗排候选ID限定精排资格,精排修正候选分数却不能恢复未召回对象。 |
| 6.2 束搜索与多线程:efSearch、并发调度与结果一致 | ef是图内搜索预算,线程数是执行调度;分片候选数不是归并比较次数,结果确定性还需同分规则和固定查询版本。 |
| 6.3 参数化查询:schema、limit/offset、超参与查询接口 | offset与limit决定内部结果预算而不决定算距次数;schema、度量、过滤、投影与深分页限制需按运行时API校验。 |
| 7.1 过滤语义:预过滤、后过滤与候选膨胀 | 标准过滤、迭代过滤和显式后过滤是不同策略;图导航可穿过非匹配节点,选择率不能保证固定倍数一定凑满K。 |
| 7.2 标量过滤与索引联合:倒排+向量混合索引 | 倒排/位图提供匹配ID集合,向量路径与过滤规划联合选择;哈希交集成本应包含构建,图路径不保证只访问匹配节点。 |
| 7.3 混合检索:BM25 融合、稀疏与密集、RRF | RRF按文档累计各路一基排名,不把全部文档加成一个分数;标量过滤单向量查询不是BM25与密集向量双路融合。 |
| 8.1 分片路由:哈希、range 与一致性散列 | 一致性哈希在固定空间按顺时针token归属;增节点只接管其区间,不能用变更后的节点数取模冒充环。 |
| 8.2 副本与读平衡:写放大、扇出与故障转移 | 副本数、查询扇出、持久副本和多数派可用性分别定义;900QPS在4片3副本下点路由为75、全扇出为300每副本。 |
| 8.3 全局与本地索引:两阶段召回与 routing | 全局TopK需要每片实际有序ID与分数,多路归并不能截掉后片;局部预算、去重和路由遗漏分别影响召回。 |
| 9.1 写入可见性:flush、持久化与异步确认 | Milvus Growing数据可在显式flush前被查询;写入确认、消费进度、查询时间屏障与持久段形成分别验收。 |
| 9.2 快照与读取隔离:时间戳、searchable/loaded 状态 | 查询快照的数据时间边界与服务进度屏障分开;Strong覆盖所需已完成写入,不承诺读取快照之后所有未来数据。 |
| 9.3 复制与共识:op 日志、回放与多数派 | Raft线性一致读需要确认有效领导权并等待应用到读屏障;Bounded的时间滞后不能用日志条数直接代替。 |
| 10.1 容量规划:内存/磁盘/索引大小与增长 | 容量按显式层边槽、ID宽度、节点元数据和原向量分项;MB/MiB、峰值重建与复制对象不能混为一个固定HNSW内存值。 |
| 10.2 弹性扩缩容:节点增减、重分布与迁移 | 归属变化不等于迁移完成;固定空间计算接管量,拷贝、增量追平、写屏障、路由版本与旧写者失效共同保证切换。 |
| 10.3 段管理与压缩:segment 生命周期与 compaction | 合并是输入段到新输出段的DAG;发布、读者排空、保留期和GC分别验收,IO按输入与有效输出字节计算。 |
| 11.1 集合与分区:命名空间、partition key 与分片 | 手工分区与partition key自动分区不同;分区、vchannel分片和QueryNode放置分别建模,过滤可触发分区裁剪。 |
| 11.2 Schema:字段类型、维度/度量与动态字段 | Schema变更成本按产品版本和物理策略定义;动态字段可能建索引,新增字段不必全行回填,metric通常属于索引/查询配置。 |
| 11.3 别名与索引管理:alias 切换、reindex 与版本 | alias原子更新只改变后续解析,不能代替增量追平、在途请求处理或无损回滚;模型验证停写屏障和真实行版本。 |
| 12.1 内存索引与缓存:全内存索引、图缓存与热点 | LRU命中率由访问顺序决定,不等于容量除热点唯一项;相同3键300次访问、容量2可得0%或99%。 |
| 12.2 磁盘 IO 与 mmap:页缓存、随机读与预取策略 | mmap复用系统页缓存;逻辑读、缓存未命中、minor/major fault与设备请求分开,重启进程不构成冷缓存实验。 |
| 12.3 压缩与编码:向量压缩、存储格式与读写开销 | PQ编码载荷与完整索引存储分开;ADC每个候选查m次而非整查询仅m次,原向量精排与CPU/IO收益需实测。 |
| 13.1 评估指标:召回@K、延迟、吞吐与分位数 | Recall@K必须对精确GT计算,重复ID和空GT有明确政策;P99按升序nearest-rank取值,客户端计时不冒充引擎容量。 |
| 13.2 参数调优:M/efConstruction/nlist/nprobe 权衡 | M、efConstruction、efSearch与nlist/nprobe控制不同资源;删除ef/N伪召回和N×M×ef固定成本公式,以真值与计数器验收。 |
| 13.3 基准方法论:ann-benchmarks、数据规模、公平对照 | 公平基准固定数据、过滤和质量目标,分别报告构建/加载/冷热/并发;不要求不同算法超参数值相等,也不把两次小库计时外推大库。 |
| 14.1 Milvus:组件架构、段管理与检索链路 | Milvus 2.5区分Proxy查询数据面、QueryCoord控制面、DataNode持久化和IndexNode建索引;Growing与历史段共同服务查询。 |
| 14.2 Qdrant与Weaviate:存储放置、过滤与混合检索 | Qdrant可分别配置向量与HNSW图的内存/磁盘放置;Weaviate用对象、倒排及向量索引服务过滤和混合检索,比较需固定版本。 |
| 14.3 pgvector 与嵌入式:Postgres 扩展、HNSW/IVF 与边界 | pgvector复用Postgres事务、WAL与索引框架;嵌入式库表示部署边界,不能统一概括为全内存或容量受RAM硬限制。 |
| 15.1 AI 数据基础设施:向量与多模态工作负载设计空间 | RAG检索是带权限、版本与时间边界的数据流程;多模态共享空间需要兼容训练,近邻召回与生成正确性分别验证。 |
| 15.2 十三卷主线:检索、存储、执行与一致性如何衔接 | 十三卷通过状态所有权、数据时间边界、候选执行与持久化合同衔接;教学模块串联不等于跨产品统一集群。 |
| 15.3 自研向量引擎:可执行骨架与工程缺口 | 本卷提供实际教学机制与有限跨模块查询夹具;按ID、删除/过滤、图搜索、分数归并和精确GT串联,不把runner全绿当商业引擎。 |
实验入口与验收
下载源码
,运行python3 run_models.py独立编译。当前205条Java断言只证明已实现的模型合同;C++核心探针按固定SHA下载hnswlib0.8.0,Milvus脚本逐场景检查并在失败时退出非零。完整依赖、逐模块能力及未测范围见包内README,观测JSON保留每query真值与样本。