《大规模分布式计算深入解析》13.3 基准方法论:ann-benchmarks、数据规模、公平对照

公平基准固定数据、过滤和质量目标,分别报告构建/加载/冷热/并发;不要求不同算法超参数值相等,也不把两次小库计时外推大库。

比较什么才公平

固定数据、训练集、查询集、距离、K、过滤、快照与硬件;每种索引扫描自己的合理参数范围,得到召回—延迟—吞吐关系。HNSW ef和IVF nprobe单位不同,不应要求它们数值相等。

比较应在相同质量目标下看资源与速度,同时保存构建时长、峰值内存、索引字节、加载耗时和更新成本。某算法更好也可能是训练集泄漏、不同过滤真值或不同硬件造成,必须记录配置与版本。

质量不是参数公式

扩大库规模后,同ef下召回可能变化,但不是对所有分布都必然单调下降。增加预算的收益也会饱和或受过滤/布局影响。删除“同ef下召回必随N下降”的图中定律,改为在相应数据集上实际测量。

本卷GT由同一float32数据计算,不使用高ef的ANN充当精确基线;过滤查询的GT也在相同过滤集合中取TopK。

冷热加载与缓存条件

进程冷启动、索引未load、应用缓存冷、OS文件页缓存冷和设备缓存状态不同。warmup能减少部分首次调用效应,但不能保证全部工作集已热,更不能凭一个未测的缓存状态判断性能。

本卷不清系统全局缓存;原生脚本明确记录warmup和客户端顺序计时,只作为API夹具观测。真实SSD冷读和大库质量需另建专门环境。

并发、样本与误差

固定并发和到达方式,区分排队时间与服务时间,保留每query样本。报告P50/P95/P99、样本数和多轮波动,必要时给置信区间;不要用单次平均值掩盖某些查询的系统性漏召回。

八查询、三轮的夹具可检查代码口径,却不是SIFT/GIST或真实业务的代表性基准。本卷没有运行标准ANN大数据集、GPU、跨节点带宽或SSD吞吐对照。

架构与流程

flowchart TD
 FIX["固定数据/查询/度量/过滤/硬件"] --> GT["精确GT与有效K"]
 FIX --> PARAM["各算法扫自己的参数范围"]
 PARAM --> BUILD["构建/加载/索引字节/RSS"]
 PARAM --> RUN["标明冷热与并发;保存逐query样本"]
 GT --> COMP["相同召回目标比较"]
 BUILD --> COMP
 RUN --> COMP
 COMP --> REPORT["报告曲线、样本、误差与未测范围"]

实现与验证边界

分位数/分母是模型验证;Milvus脚本记录小夹具的真实GT与客户端样本。没有把它命名为标准ANN基准结果,不外推百万级或生产P99。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 eval.EvalSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路