两类索引共享的是身份
标量倒排或位图能表示满足条件的行ID集合;向量索引按同一ID关联向量。联合执行首先要保证这些身份和删除/版本语义相容,而不是把两份计数相乘便称联合索引。
标量优先可以获得匹配集合,再做精确子集扫描;也可以把匹配集合传给带过滤的图搜索;若已有向量候选,则与匹配ID求交并精排。这几条路径有不同的算距、谓词和内存成本。
一百万行、匹配两万行
若选择精确子集扫描,向量算距为20000,而不是全库1000000;取得这20000个ID的倒排/位图成本另计。若选择图检索,结果资格受这20000个ID约束,但导航可能检查额外非匹配点,不能仍固定写20000次向量扫描。
若向量候选100个,与匹配集做哈希membership探测,已有集合时约100次探测;如果需要临时把20000个ID建立哈希集,构建与内存也要计入。位图AND或有序列表求交又不是同一种复杂度。
选择率与路径退化
匹配集很小时,精确子集可能更省;匹配接近全库时,标量优先额外工作可能无收益。但“收益减少”不意味着引擎必定退化为某个后过滤路径,实际优化器/索引能力决定计划。
过滤后的真值应在同一匹配集合和快照内计算,不要先取全库TopK再删结果当“过滤精确GT”。否则即使向量引擎完全正确,也可能被错误基线判为漏召回。
本卷实现层级
Java提供可枚举的精确过滤与带过滤图模型,不实现倒排文件、压缩位图或产品代价优化器。原稿把一个返回数组中计数的函数叫“联合索引实现”,本轮移除该函数与承诺。
架构与流程
flowchart TD
P["谓词与同一ID/版本"] --> IDS["倒排/位图/扫描取得匹配集合"]
IDS --> PLAN{"选择执行路径"}
PLAN --> EXACT["精确子集扫描"]
PLAN --> GRAPH["带过滤图:结果资格与导航分开"]
PLAN --> INTER["与已有候选求交再精排"]
EXACT --> R["同过滤真值对照"]
GRAPH --> R
INTER --> R
实现与验证边界
对小集合实际执行过滤与距离计算。Milvus标量过滤、partition key裁剪等各自有原生API场景;结果验证不代签倒排内部布局。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 filter.FilterSuite / hnsw.HnswSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。