用词频饱和、文档频率和字段长度解释相关性。
实现机制
TF-IDF 家族增长方式不同。BM25 用 k1 控制词频饱和,b 控制长度归一化,IDF 根据统计范围估计词的稀有程度。
用指定 Lucene 版本和 explain 对照教材公式。查询类型、词分析和 norm 编码也会影响输出。
从 TF-IDF 到 BM25的执行路径
flowchart TD
N0["计算查询词及字段"]
N1["读词频、文档频率和字段长度"]
N0 --> N1
N2["使用分片或 DFS 统计计算 BM25"]
N1 --> N2
N3["按查询类型组合字段分值"]
N2 --> N3
N4["归并跨片候选"]
N3 --> N4
N2 -- "分片词分布偏斜" --> F0["对照 DFS、查询成本与排序评价"]
验证
查询同一词的频率 1、2、4 的三个文档,比较增量是否递减。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。