《大规模分布式计算深入解析》6.1 查询执行:粗排候选集、精排与 Top-K 语义

图近似可以使用精确点距离;粗排候选ID限定精排资格,精排修正候选分数却不能恢复未召回对象。

近似发生在哪个环节

HNSW可以对实际访问到的原向量计算精确距离,近似来自没有访问全库;PQ/ADC则还可能用量化距离。不能把所有粗排都叫“近似距离”。在图检索中,即使每次算距都精确,最终TopK仍可能漏真近邻。

候选资格必须传下去

粗排输出实际ID集合C,精排读取这些ID对应原向量或指定高精度表示,重新计算并排序。它不能顺便全库扫fineScores;否则结果虽可能更准,却已经不是对粗排结果的精排。

测试例:粗排分数[3,2,1],只留前2个ID0/1;精排分数[0,1,100]。合法精排返回1/0,不能返回被粗排排除的ID2。把粗排改成[1,2,3]后,候选变成2/1,最终结果才能含2。这一反例能检出旧函数完全忽略coarseScores的问题。

哪些成本可以比较

N10000、K10、C40时,候选/结果比4;精排40个原向量的数量是全库10000的0.4%。但总工作还包含粗排导航、量化评分、候选去重、原向量随机读取、分片RPC和归并。不能把0.4%写成总CPU或延迟降到0.4%。

如果具体IVFPQ扫描10000个压缩码再精排40个,则两类算距要分开计;若HNSW只导航部分点,也不能沿用全10000次ADC这个账本。

质量和返回条数

候选遗漏真近邻时,精排结果对候选是正确排序,对全库则可能召回不足;过滤后有效候选少于K时返回实际条数,不能填零ID。原向量已被删或版本改变时,还要按查询快照重新确认资格,不能把不同版本分数直接合并。

实现接口应携带候选ID、分数类型、数据版本和统计;是否保留原向量、如何批量取回,属于存储和执行共同的合同。

架构与流程

flowchart TD
 Q["查询与度量"] --> COARSE["图导航或量化粗排"]
 COARSE --> IDS["固定候选ID集合C"]
 IDS --> LOAD["按ID取原向量与版本"]
 LOAD --> FINE["只重算C中的分数"]
 FINE --> K["候选内TopK"]
 MISS["GT不在C中"] -.-> LOST["精排不能补回"]

实现与验证边界

真实候选截断与精排已实现;旧忽略coarseScores的接口已移除。本卷不是完整查询服务,未实现远程原向量取回和多版本并发。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 beam.BeamSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路