《大规模分布式计算深入解析》10.1 容量规划:内存/磁盘/索引大小与增长

容量按显式层边槽、ID宽度、节点元数据和原向量分项;MB/MiB、峰值重建与复制对象不能混为一个固定HNSW内存值。

参数表比一个总数重要

原向量字节V=N×d×4。图邻接至少区分层零分配槽S0、高层分配槽S1、每ID字节b、节点元数据a。一个结构预算为V+(S0+S1)×b+N×a;实际RSS还包含分配器、对象、线程栈、缓存和构建临时数据。

hnswlib0.8.0典型层零maxM0=2M,高层maxM=M。M不能直接被写成所有层总平均度,分配槽也不等于实际已用边项。产品ID可能用4B或8B,应固定参数后比较。

一组明确的预算

N100万、d128,原向量512000000B;假设S0=32000000槽、S1=1000000槽、ID4B、节点元数据16B,则邻接132000000B、元数据16000000B,总660000000B=660MB,约629.43MiB。

这是一组显式容量假设,不是承诺某产品RSS正好如此。更改高层数量、ID宽度或元数据要重算,不能在同一实现中交替引用576MB/640MB而不说明差别。

量化与磁盘预算

PQ d128/m8/k256编码载荷8B,另有128KiB共享码本、ID和索引。若为了精排保留原向量,磁盘并不会只剩编码字节。副本数应作用于具体持久对象或查询驻留结构,不能随意把所有层统一乘R。

合并/重建可能同时持有旧索引、新索引、原文件和工作区;稳态数据量不是峰值磁盘需求。迁移双放置、日志保留和失败半成品也要计入。

单位与输入边界

MB=1000000B,MiB=1048576B。512MiB/512B=1048576行,512MB/512B=1000000行。字段与结构开销会进一步降低有效行数。模型使用带溢出检测的long计算,非法规模和溢出拒绝,不让负数预算通过。

验收实际容量时应同时报告文件字节、进程RSS、缓存与峰值时间点;不能用Java数组元素载荷代替JVM对象总内存。

架构与流程

flowchart TD
 V["原向量N×d×4"] --> B["显式结构预算"]
 E["层零/高层槽数×ID宽度"] --> B
 M["N×节点元数据"] --> B
 B --> S["稳态结构;非RSS保证"]
 S --> PEAK["加入缓存、构建、新旧共存与日志"]
 PEAK --> ACT["实测RSS/文件与峰值;单位统一"]

实现与验证边界

实现参数化结构字节和溢出检查;没有在Milvus/Qdrant/Weaviate上测RSS上界。PQ压缩只比较明确载荷,不宣称整个系统同比压缩。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 io.IoSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路