《大规模分布式计算深入解析》7.3 混合检索:BM25 融合、稀疏与密集、RRF

RRF按文档累计各路一基排名,不把全部文档加成一个分数;标量过滤单向量查询不是BM25与密集向量双路融合。

双路召回与融合

稀疏词项/BM25路和密集向量路分别生成有序文档ID列表,再按指定窗口融合。RRF对文档d计score(d)=Σ1/(c+rank_r(d)),rank从1开始,某路未出现则该路贡献0。常用c60,不能与最终返回K混用。

同一路重复ID应按契约去重或拒绝。本模型选择拒绝;不同路出现同一文档则累加。最终同分按小ID稳定排序。对整条排名数组求和只能得到所有文档总贡献,不能用来排列文档。

可复算的A/B例子

路一列表[10,A],路二[B,11,12,13,A]。A在2/5位,得1/62+1/65≈0.03151;B只在第二路第1,得1/61≈0.01639。A排在B前。测试逐文档分数和最终ID顺序,并交换两路输入顺序核对结果不变。

原版用例只把多文档排名累成一个数,还在注释中把ID和rank配错。实现必须使用ID到分数的聚合,不能继续沿用旧“5文档最终排序已验证”声明。

归一化加权的另一个合同

若采用λ·s1+(1−λ)·s2,要定义每路分数方向、归一化范围、缺失值、常量范围与λ。范围不必是算法先验上界,也可以来自所选窗口的明确定义;不能说所有方法都必须事先知道全局分数范围。

本模型对常量区间贡献定义为0,非法范围/权重拒绝。RRF避免直接比较不同分数量纲,却仍受各路召回窗口、质量和相关性影响,不保证“双路总比单路好”。

原生能力如何命名

单密集向量加score≥90标量条件是过滤查询,不是双路hybrid_search,更不是BM25/RRF。原生测试必须创建两类向量/索引,分别查询取回两路列表,再调用融合并核对其语义。若稀疏向量为人工给定,则不能称BM25文本分析器链路已测。

架构与流程

flowchart TD
 Q["查询"] --> S["稀疏路:唯一ID一基排名"]
 Q --> D["密集路:唯一ID一基排名"]
 S --> MAP["按docID累计1/(c+rank)"]
 D --> MAP
 MAP --> ORDER["文档分数排序;同分小ID优先"]
 ORDER --> K["融合TopK"]
 F["单路向量+标量条件"] -.-> SEP["这是过滤,不是双路融合"]

实现与验证边界

Java实现逐文档RRF及明确权重归一化。原生稀疏+密集/RRFRanker另列场景,BM25分词、索引统计、模型重排质量未实测。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 filter.FilterSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路