比较什么才公平
固定数据、训练集、查询集、距离、K、过滤、快照与硬件;每种索引扫描自己的合理参数范围,得到召回—延迟—吞吐关系。HNSW ef和IVF nprobe单位不同,不应要求它们数值相等。
比较应在相同质量目标下看资源与速度,同时保存构建时长、峰值内存、索引字节、加载耗时和更新成本。某算法更好也可能是训练集泄漏、不同过滤真值或不同硬件造成,必须记录配置与版本。
质量不是参数公式
扩大库规模后,同ef下召回可能变化,但不是对所有分布都必然单调下降。增加预算的收益也会饱和或受过滤/布局影响。删除“同ef下召回必随N下降”的图中定律,改为在相应数据集上实际测量。
本卷GT由同一float32数据计算,不使用高ef的ANN充当精确基线;过滤查询的GT也在相同过滤集合中取TopK。
冷热加载与缓存条件
进程冷启动、索引未load、应用缓存冷、OS文件页缓存冷和设备缓存状态不同。warmup能减少部分首次调用效应,但不能保证全部工作集已热,更不能凭一个未测的缓存状态判断性能。
本卷不清系统全局缓存;原生脚本明确记录warmup和客户端顺序计时,只作为API夹具观测。真实SSD冷读和大库质量需另建专门环境。
并发、样本与误差
固定并发和到达方式,区分排队时间与服务时间,保留每query样本。报告P50/P95/P99、样本数和多轮波动,必要时给置信区间;不要用单次平均值掩盖某些查询的系统性漏召回。
八查询、三轮的夹具可检查代码口径,却不是SIFT/GIST或真实业务的代表性基准。本卷没有运行标准ANN大数据集、GPU、跨节点带宽或SSD吞吐对照。
架构与流程
flowchart TD
FIX["固定数据/查询/度量/过滤/硬件"] --> GT["精确GT与有效K"]
FIX --> PARAM["各算法扫自己的参数范围"]
PARAM --> BUILD["构建/加载/索引字节/RSS"]
PARAM --> RUN["标明冷热与并发;保存逐query样本"]
GT --> COMP["相同召回目标比较"]
BUILD --> COMP
RUN --> COMP
COMP --> REPORT["报告曲线、样本、误差与未测范围"]
实现与验证边界
分位数/分母是模型验证;Milvus脚本记录小夹具的真实GT与客户端样本。没有把它命名为标准ANN基准结果,不外推百万级或生产P99。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 eval.EvalSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。