从向量到压缩码
维度d拆为m个子空间,每个子空间有k个码字。编码选择各子空间最近码字;当k≤256并采用一字节槽,每向量的编码载荷是m字节。本模型要求d能被m整除,并拒绝空码本、非有限分量和非法码索引。
d128/m8/k256时,原float32载荷512B,码8B,载荷比64倍;共享码本d×k×4=131072B=128KiB。数据库还需ID、列表/图、元数据与可能保留的原向量,不能声称整个引擎内存自动下降64倍。
实际ADC计算
查询保持全精度,先对每个子空间和每个码字计算距离表T[s][c],一个库编码的ADC距离为ΣT[s][code[s]]。预算上表有m×k项,float32表占8192B;Java演示使用double表以便核对数值,其物理载荷是另一数值,不把float32预算当JVM数组总内存。
明确小例子:二维分两段,第一段码字0/2,第二段0/4。库向量(1.9,3.9)编码(1,1),重建(2,4)。查询(1,1)的ADC=1²+3²=10,与查询到重建向量的平方距相同,但不同于到原向量的平方距。这才验证编码、查表和量化误差,而不是只断言“查8次”。
训练与码本作用域
本卷可用有限Lloyd训练各子空间码本,也允许显式传入码本复核手算。码本通常共享,但IVFPQ残差编码、训练采样与每列表预计算有更细的实现选择,需另列版本。不能假定所有PQ都直接对原向量按同一全库码本编码。
近似精度与精排
ADC误差来自库向量量化。候选原向量精排能消除这些候选的量化分数误差,却不能救回未召回项。若不保留原向量,应说明精排使用哪种精度。码本更新还需要版本化,不能让旧编码突然使用新码本解释。
架构与流程
flowchart TD
DATA["训练样本"] --> BOOK["各子空间码本;有版本"]
V["库向量"] --> ENC["最近码字编码"]
BOOK --> ENC
Q["全精度查询"] --> T["计算m×k距离表"]
BOOK --> T
ENC --> CODE["m个一字节码索引"]
CODE --> ADC["按code逐段查表求和"]
T --> ADC
ADC --> R["候选与可选原向量精排"]
实现与验证边界
实际编码/解码/ADC、有限码本训练及重建距离对照均在模型里;不实现OPQ学习、IVFPQ残差管线或生产级压缩文件。Milvus量化产品索引未实测,不能用HNSW或FLAT场景替代。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 pq.PqSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。