《大规模分布式计算深入解析》8.2 长度归一化和跨片统计

在同一命中集合中观察分片 IDF 对评分的影响。

在同一命中集合中观察分片 IDF 对评分的影响。

实现机制

当 k1、b 和文档长度相同,词项在字段统计中的稀有程度会改变评分。词在某分片 5/5、另一分片 1/5 出现时,本地统计差异很大。

OpenSearch 2.19.7 实测局部评分分别约 0.0870 与 1.3863,DFS 都约 0.5261。DFS 需要额外统计阶段。

本章流程图见 8.1 从 TF-IDF 到 BM25 。

验证

运行 opensearch-semantics.py 对比两组分数和命中集合。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图