《大规模分布式计算深入解析》13.1 评估指标:召回@K、延迟、吞吐与分位数

Recall@K必须对精确GT计算,重复ID和空GT有明确政策;P99按升序nearest-rank取值,客户端计时不冒充引擎容量。

先把真值定义正确

对固定库版本、查询、度量与过滤,精确基线给出有效前K个唯一ID。Recall@K=|ANN∩GT|/|GT|;若匹配对象不足K,需明确有效分母和返回合同。GT为空的查询本模型拒绝计算召回,单独记录或排除,不能用NaN或任意1混入平均。

ANN结果也必须唯一。重复ID不能多次计命中;本模型对重复/非法ID拒绝。候选数超过K时使用另一个candidateRecall接口,不能把粗排候选召回与最终Recall@K混报。

两个ANN相同不等于真实召回1

GT={1,2,3},两个ANN都返回{1,4,5}。两结果重合率是1,真实Recall@3却是1/3。旧Milvus记录recall_ef16_vs_ef256只能表示前一种一致率,不能被重命名为精确召回。

新原生探针先对相同float32库向量手工计算精确Top10,再为8个查询、3轮、2种ef逐次保存结果与真实召回,并核对返回分数。质量目标是这个小夹具的验收门槛,不是所有数据的产品保证。

P99的顺序统计量

本卷使用nearest-rank:N个延迟升序排序,取ceil(0.99N)−1下标。1..100的P99是99,即第二大,不是第99大。统计方法可能有插值变种,报告应注明,不能混用。

空样本、负数或NaN延迟拒绝;QPS窗口必须正且有限。样本少时尾分位数估计非常粗,24次样本的P99接近该批最大值,不等于稳定生产尾延迟。

时间范围与并发范围

单客户端RPC耗时包括网络、序列化和服务排队;顺序客户端QPS的观察窗口还可能包含本地结果校验。它不是引擎最大并发吞吐,也不等于服务器计算时间。

质量、延迟、吞吐、索引大小和RSS分别报告。只跑两条查询得5ms/4ms不能推导ef越大必更快或更慢;要通过多query、多轮及受控并发估计曲线。

架构与流程

flowchart TD
    DATA["固定库数据、query集、度量、过滤与快照"] --> GT["精确基线:唯一ID、同一距离与并列规则"]
    DATA --> ANN["固定索引构建参数;记录版本与硬件"]
    ANN --> WARM["单独安排冷/热条件与warmup"]
    WARM --> RUN["多query、多轮与指定并发度运行"]
    RUN --> IDS["保存每query实际返回ID与耗时"]
    GT --> JOIN["按query对齐GT与ANN结果"]
    IDS --> JOIN
    JOIN --> RECALL["去重集合交集 / 明确分母;空GT政策"]
    IDS --> LAT["延迟分布:P50/P95/P99及样本数"]
    RUN --> QPS["完成请求数 / 观测窗口;含排队范围明确"]
    RECALL --> REPORT["分别报告质量、延迟、吞吐和内存/IO"]
    LAT --> REPORT
    QPS --> REPORT
    SAME["ANN ef16与ef256结果重合"] -.-> ONLY["只能得到结果一致率,不能替代GT召回"]

实现与验证边界

模型验证唯一ID、候选与最终召回分开、空GT/非法窗口、1..100的P99。原生以真实精确GT和每次客户端样本输出,不把小夹具计时当基准发布。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 eval.EvalSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路