《大规模分布式计算深入解析》7.2 标量过滤与索引联合:倒排+向量混合索引

倒排/位图提供匹配ID集合,向量路径与过滤规划联合选择;哈希交集成本应包含构建,图路径不保证只访问匹配节点。

两类索引共享的是身份

标量倒排或位图能表示满足条件的行ID集合;向量索引按同一ID关联向量。联合执行首先要保证这些身份和删除/版本语义相容,而不是把两份计数相乘便称联合索引。

标量优先可以获得匹配集合,再做精确子集扫描;也可以把匹配集合传给带过滤的图搜索;若已有向量候选,则与匹配ID求交并精排。这几条路径有不同的算距、谓词和内存成本。

一百万行、匹配两万行

若选择精确子集扫描,向量算距为20000,而不是全库1000000;取得这20000个ID的倒排/位图成本另计。若选择图检索,结果资格受这20000个ID约束,但导航可能检查额外非匹配点,不能仍固定写20000次向量扫描。

若向量候选100个,与匹配集做哈希membership探测,已有集合时约100次探测;如果需要临时把20000个ID建立哈希集,构建与内存也要计入。位图AND或有序列表求交又不是同一种复杂度。

选择率与路径退化

匹配集很小时,精确子集可能更省;匹配接近全库时,标量优先额外工作可能无收益。但“收益减少”不意味着引擎必定退化为某个后过滤路径,实际优化器/索引能力决定计划。

过滤后的真值应在同一匹配集合和快照内计算,不要先取全库TopK再删结果当“过滤精确GT”。否则即使向量引擎完全正确,也可能被错误基线判为漏召回。

本卷实现层级

Java提供可枚举的精确过滤与带过滤图模型,不实现倒排文件、压缩位图或产品代价优化器。原稿把一个返回数组中计数的函数叫“联合索引实现”,本轮移除该函数与承诺。

架构与流程

flowchart TD
 P["谓词与同一ID/版本"] --> IDS["倒排/位图/扫描取得匹配集合"]
 IDS --> PLAN{"选择执行路径"}
 PLAN --> EXACT["精确子集扫描"]
 PLAN --> GRAPH["带过滤图:结果资格与导航分开"]
 PLAN --> INTER["与已有候选求交再精排"]
 EXACT --> R["同过滤真值对照"]
 GRAPH --> R
 INTER --> R

实现与验证边界

对小集合实际执行过滤与距离计算。Milvus标量过滤、partition key裁剪等各自有原生API场景;结果验证不代签倒排内部布局。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 filter.FilterSuite / hnsw.HnswSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路