压缩载荷是什么
d128的float32原向量512B,m8/k256的PQ编码8B,载荷比64。10万条原向量51200000B、码800000B;另有131072B共享码本、ID、列表/图、文件头和对齐。若保留原向量供精排,必须另计那部分存储。
SQ8逐维编码约为原float32载荷的1/4,范围参数、异常值和索引结构仍需计入;压缩后的总引擎大小不必等于载荷比例。
ADC工作按查询和候选分开
一次查询先建立m×k距离表;然后每个候选编码做m次查表求和。C个候选就是C×m项,而不是“整个查询只查m次”。以m8/C1000为例,候选累计8000项查表,建表距离另计。
教学Codec实际编码byte[]、解码和用double表计算ADC;理论8192B表按float32载荷,Java double表载荷16384B且还有数组结构开销。码字位宽和物理容器不能混写。
CPU与IO不存在固定胜负
查表可能比高维原向量算距更便宜,也可能受数据布局、缓存、SIMD或解码影响。不能无条件写成“压缩一定多付CPU”,更不能由64倍载荷比推导64倍吞吐。若读原向量精排,随机IO可能成为新的瓶颈。
编码版本和更新
码本与编码必须匹配同一版本。重新训练、残差编码或OPQ前处理改变解释方法,旧码不能直接套新码本。迁移时需构建新编码并受控切换,保持在途查询所用版本一致。
本卷给出显式码本PQ及有限Lloyd训练,不提供生产格式兼容、OPQ学习或GPU量化实现;验证边界与3.2一致。
架构与流程
flowchart TD
V["原向量载荷"] --> ENC["按版本码本编码"]
ENC --> CODE["PQ码 + ID/索引结构"]
Q["查询"] --> T["一次建m×k距离表"]
CODE --> ADC["每候选m次查表;C候选共C×m"]
T --> ADC
ADC --> FINE["可选原向量精排;存储与IO另计"]
FINE --> METRIC["实际质量/CPU/IO对照"]
实现与验证边界
实际编码、ADC与重建距离对照通过;压缩比/码本/表字节是指定布局预算。Milvus原生量化索引未实测,不用HNSW或FLAT替代。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 pq.PqSuite / io.IoSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。