先把真值定义正确
对固定库版本、查询、度量与过滤,精确基线给出有效前K个唯一ID。Recall@K=|ANN∩GT|/|GT|;若匹配对象不足K,需明确有效分母和返回合同。GT为空的查询本模型拒绝计算召回,单独记录或排除,不能用NaN或任意1混入平均。
ANN结果也必须唯一。重复ID不能多次计命中;本模型对重复/非法ID拒绝。候选数超过K时使用另一个candidateRecall接口,不能把粗排候选召回与最终Recall@K混报。
两个ANN相同不等于真实召回1
GT={1,2,3},两个ANN都返回{1,4,5}。两结果重合率是1,真实Recall@3却是1/3。旧Milvus记录recall_ef16_vs_ef256只能表示前一种一致率,不能被重命名为精确召回。
新原生探针先对相同float32库向量手工计算精确Top10,再为8个查询、3轮、2种ef逐次保存结果与真实召回,并核对返回分数。质量目标是这个小夹具的验收门槛,不是所有数据的产品保证。
P99的顺序统计量
本卷使用nearest-rank:N个延迟升序排序,取ceil(0.99N)−1下标。1..100的P99是99,即第二大,不是第99大。统计方法可能有插值变种,报告应注明,不能混用。
空样本、负数或NaN延迟拒绝;QPS窗口必须正且有限。样本少时尾分位数估计非常粗,24次样本的P99接近该批最大值,不等于稳定生产尾延迟。
时间范围与并发范围
单客户端RPC耗时包括网络、序列化和服务排队;顺序客户端QPS的观察窗口还可能包含本地结果校验。它不是引擎最大并发吞吐,也不等于服务器计算时间。
质量、延迟、吞吐、索引大小和RSS分别报告。只跑两条查询得5ms/4ms不能推导ef越大必更快或更慢;要通过多query、多轮及受控并发估计曲线。
架构与流程
flowchart TD
DATA["固定库数据、query集、度量、过滤与快照"] --> GT["精确基线:唯一ID、同一距离与并列规则"]
DATA --> ANN["固定索引构建参数;记录版本与硬件"]
ANN --> WARM["单独安排冷/热条件与warmup"]
WARM --> RUN["多query、多轮与指定并发度运行"]
RUN --> IDS["保存每query实际返回ID与耗时"]
GT --> JOIN["按query对齐GT与ANN结果"]
IDS --> JOIN
JOIN --> RECALL["去重集合交集 / 明确分母;空GT政策"]
IDS --> LAT["延迟分布:P50/P95/P99及样本数"]
RUN --> QPS["完成请求数 / 观测窗口;含排队范围明确"]
RECALL --> REPORT["分别报告质量、延迟、吞吐和内存/IO"]
LAT --> REPORT
QPS --> REPORT
SAME["ANN ef16与ef256结果重合"] -.-> ONLY["只能得到结果一致率,不能替代GT召回"]
实现与验证边界
模型验证唯一ID、候选与最终召回分开、空GT/非法窗口、1..100的P99。原生以真实精确GT和每次客户端样本输出,不把小夹具计时当基准发布。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 eval.EvalSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。