双路召回与融合
稀疏词项/BM25路和密集向量路分别生成有序文档ID列表,再按指定窗口融合。RRF对文档d计score(d)=Σ1/(c+rank_r(d)),rank从1开始,某路未出现则该路贡献0。常用c60,不能与最终返回K混用。
同一路重复ID应按契约去重或拒绝。本模型选择拒绝;不同路出现同一文档则累加。最终同分按小ID稳定排序。对整条排名数组求和只能得到所有文档总贡献,不能用来排列文档。
可复算的A/B例子
路一列表[10,A],路二[B,11,12,13,A]。A在2/5位,得1/62+1/65≈0.03151;B只在第二路第1,得1/61≈0.01639。A排在B前。测试逐文档分数和最终ID顺序,并交换两路输入顺序核对结果不变。
原版用例只把多文档排名累成一个数,还在注释中把ID和rank配错。实现必须使用ID到分数的聚合,不能继续沿用旧“5文档最终排序已验证”声明。
归一化加权的另一个合同
若采用λ·s1+(1−λ)·s2,要定义每路分数方向、归一化范围、缺失值、常量范围与λ。范围不必是算法先验上界,也可以来自所选窗口的明确定义;不能说所有方法都必须事先知道全局分数范围。
本模型对常量区间贡献定义为0,非法范围/权重拒绝。RRF避免直接比较不同分数量纲,却仍受各路召回窗口、质量和相关性影响,不保证“双路总比单路好”。
原生能力如何命名
单密集向量加score≥90标量条件是过滤查询,不是双路hybrid_search,更不是BM25/RRF。原生测试必须创建两类向量/索引,分别查询取回两路列表,再调用融合并核对其语义。若稀疏向量为人工给定,则不能称BM25文本分析器链路已测。
架构与流程
flowchart TD
Q["查询"] --> S["稀疏路:唯一ID一基排名"]
Q --> D["密集路:唯一ID一基排名"]
S --> MAP["按docID累计1/(c+rank)"]
D --> MAP
MAP --> ORDER["文档分数排序;同分小ID优先"]
ORDER --> K["融合TopK"]
F["单路向量+标量条件"] -.-> SEP["这是过滤,不是双路融合"]
实现与验证边界
Java实现逐文档RRF及明确权重归一化。原生稀疏+密集/RRFRanker另列场景,BM25分词、索引统计、模型重排质量未实测。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 filter.FilterSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。