近似发生在哪个环节
HNSW可以对实际访问到的原向量计算精确距离,近似来自没有访问全库;PQ/ADC则还可能用量化距离。不能把所有粗排都叫“近似距离”。在图检索中,即使每次算距都精确,最终TopK仍可能漏真近邻。
候选资格必须传下去
粗排输出实际ID集合C,精排读取这些ID对应原向量或指定高精度表示,重新计算并排序。它不能顺便全库扫fineScores;否则结果虽可能更准,却已经不是对粗排结果的精排。
测试例:粗排分数[3,2,1],只留前2个ID0/1;精排分数[0,1,100]。合法精排返回1/0,不能返回被粗排排除的ID2。把粗排改成[1,2,3]后,候选变成2/1,最终结果才能含2。这一反例能检出旧函数完全忽略coarseScores的问题。
哪些成本可以比较
N10000、K10、C40时,候选/结果比4;精排40个原向量的数量是全库10000的0.4%。但总工作还包含粗排导航、量化评分、候选去重、原向量随机读取、分片RPC和归并。不能把0.4%写成总CPU或延迟降到0.4%。
如果具体IVFPQ扫描10000个压缩码再精排40个,则两类算距要分开计;若HNSW只导航部分点,也不能沿用全10000次ADC这个账本。
质量和返回条数
候选遗漏真近邻时,精排结果对候选是正确排序,对全库则可能召回不足;过滤后有效候选少于K时返回实际条数,不能填零ID。原向量已被删或版本改变时,还要按查询快照重新确认资格,不能把不同版本分数直接合并。
实现接口应携带候选ID、分数类型、数据版本和统计;是否保留原向量、如何批量取回,属于存储和执行共同的合同。
架构与流程
flowchart TD
Q["查询与度量"] --> COARSE["图导航或量化粗排"]
COARSE --> IDS["固定候选ID集合C"]
IDS --> LOAD["按ID取原向量与版本"]
LOAD --> FINE["只重算C中的分数"]
FINE --> K["候选内TopK"]
MISS["GT不在C中"] -.-> LOST["精排不能补回"]
实现与验证边界
真实候选截断与精排已实现;旧忽略coarseScores的接口已移除。本卷不是完整查询服务,未实现远程原向量取回和多版本并发。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 beam.BeamSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。