参数的作用点
| 参数 | 阶段 | 主要影响 |
|---|---|---|
| HNSW M及层容量 | 构建/存储 | 连接数、导航能力与邻接槽 |
| efConstruction | 插入候选搜索 | 构建工作与邻居质量 |
| efSearch | 查询候选 | 访问工作与召回权衡 |
| IVF nlist | 训练/构建 | 粗中心数、桶分布与赋桶 |
| IVF nprobe | 查询 | 选定列表及成员扫描 |
这些不是相同单位的“扫描比例”。M通常不等于所有层最大度;efSearch不等于访问或算距硬上限;nprobe/nlist只有桶均匀时才近似等于数据扫描占比。
删除两条伪公式
recall=min(1,ef/N)不是HNSW召回曲线;N×M×efConstruction也不是构图距离次数的算法定律。把这些公式写成教学模型仍会误导参数因果,应改为实际候选/算距计数和精确真值。
更大的构建或查询预算通常提供改善质量的机会,但具体是否改善、增加多少工作由数据、图、过滤和实现决定。不能断言efConstruction翻倍就恰好多一倍距离,也不能从两个ANN列表相同得出精确recall1。
IVF可复算的有限情形
64桶各125条,nprobe8/16对应1000/2000条成员;穷举粗中心另算64。桶偏斜、IVFPQ压缩或近似粗量化器都改变这个简单口径。
如何调优
固定训练数据、查询集、度量、过滤和快照;先得到精确GT,再扫每组参数。分别记录构建时长/峰值内存/图边、查询质量、P50/P99、吞吐、算距与IO。在同质量目标下比较资源和速度,不能强求HNSW ef64与IVF nprobe64代表相同预算。
本卷提供实际小图和IVFFlat模型。其固定seed的小样本测试用于复核机制,不拟合百万级曲线;生产曲线需专门基准集和并发环境。
架构与流程
flowchart TD
DATA["固定数据/查询/过滤/度量"] --> PARAM["分别扫构建与查询参数"]
PARAM --> BUILD["记录实际构建工作和容量"]
PARAM --> RUN["执行真实查询"]
RUN --> GT["对精确GT算召回"]
RUN --> COST["实际延迟/算距/IO/吞吐"]
GT --> COMP["同质量目标比较"]
COST --> COMP
BUILD --> COMP
实现与验证边界
旧线性recallByEf和buildDistanceCount接口已从模型移除;正文不再引用它们。原生探针的每query精确GT与指标清单在13.1/13.3定义,不由参数数值直接推算质量。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 hnsw.HnswSuite / ivf.IvfSuite / eval.EvalSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。