《大规模分布式计算深入解析》3.2 PQ 乘积量化:子空间码本与非对称距离

PQ用显式子空间码本编码,ADC把查询到码字的表项按库编码求和;压缩载荷、共享码本、ID和原向量精排存储分别计账。

从向量到压缩码

维度d拆为m个子空间,每个子空间有k个码字。编码选择各子空间最近码字;当k≤256并采用一字节槽,每向量的编码载荷是m字节。本模型要求d能被m整除,并拒绝空码本、非有限分量和非法码索引。

d128/m8/k256时,原float32载荷512B,码8B,载荷比64倍;共享码本d×k×4=131072B=128KiB。数据库还需ID、列表/图、元数据与可能保留的原向量,不能声称整个引擎内存自动下降64倍。

实际ADC计算

查询保持全精度,先对每个子空间和每个码字计算距离表T[s][c],一个库编码的ADC距离为ΣT[s][code[s]]。预算上表有m×k项,float32表占8192B;Java演示使用double表以便核对数值,其物理载荷是另一数值,不把float32预算当JVM数组总内存。

明确小例子:二维分两段,第一段码字0/2,第二段0/4。库向量(1.9,3.9)编码(1,1),重建(2,4)。查询(1,1)的ADC=1²+3²=10,与查询到重建向量的平方距相同,但不同于到原向量的平方距。这才验证编码、查表和量化误差,而不是只断言“查8次”。

训练与码本作用域

本卷可用有限Lloyd训练各子空间码本,也允许显式传入码本复核手算。码本通常共享,但IVFPQ残差编码、训练采样与每列表预计算有更细的实现选择,需另列版本。不能假定所有PQ都直接对原向量按同一全库码本编码。

近似精度与精排

ADC误差来自库向量量化。候选原向量精排能消除这些候选的量化分数误差,却不能救回未召回项。若不保留原向量,应说明精排使用哪种精度。码本更新还需要版本化,不能让旧编码突然使用新码本解释。

架构与流程

flowchart TD
 DATA["训练样本"] --> BOOK["各子空间码本;有版本"]
 V["库向量"] --> ENC["最近码字编码"]
 BOOK --> ENC
 Q["全精度查询"] --> T["计算m×k距离表"]
 BOOK --> T
 ENC --> CODE["m个一字节码索引"]
 CODE --> ADC["按code逐段查表求和"]
 T --> ADC
 ADC --> R["候选与可选原向量精排"]

实现与验证边界

实际编码/解码/ADC、有限码本训练及重建距离对照均在模型里;不实现OPQ学习、IVFPQ残差管线或生产级压缩文件。Milvus量化产品索引未实测,不能用HNSW或FLAT场景替代。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 pq.PqSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路