《大规模分布式计算深入解析》3.3 SQ/OPQ 与量化误差:标量量化、旋转优化与查表

SQ的半步长误差界限于区间内舍入;固定正交旋转只证明L2不变,不能冒充学习OPQ矩阵或验证量化收益。

SQ编码与误差界

对已确定的[min,max],步长Δ=(max−min)/255。区间内x四舍五入到整数码,再解码为min+code·Δ,单维绝对误差≤Δ/2。若超范围而裁剪到端点,半步长界不再成立;范围估计、异常值和分布漂移因此直接影响质量。

取[-1,1],Δ≈0.007843,半步长约0.003922;x=0.5编码191,解码约0.498039。两个向量的距离误差不是单维误差直接相加的固定常数,需按维数、范数和所用距离推导或实测。

模型真实执行编码和解码,验证区间内误差与超范围裁剪;“float32降到8bit”只比较载荷,尚有范围参数、ID与索引结构开销。

OPQ优化的对象

OPQ学习正交变换并与PQ码本的量化目标共同优化,使变换后分块更适合编码。正交变换本身保持精确L2距离:||Ra−Rb||²=||a−b||²;改变的是分块后量化误差,而不是原距离。

一个随意固定二维旋转也保持L2,但它不保证量化误差减小,更不是“学习了OPQ”。将能量变换或子空间独立性作为直觉时,应继续给出实际训练目标、交替步骤与收敛/迭代限制,不能只用旋转后距离相等作为收益证据。

本卷能力选择

本卷实现SQ舍入与PQ码本/ADC;固定二维旋转用来验证L2不变。没有实现OPQ矩阵学习,因此删除旧版“Lab学习旋转矩阵、验证OPQ误差改善”的声明。若进一步扩展,应增加训练/验证分离、重建误差曲线和原始PQ对照,而不是用人为给定的距离1.8做差便宣称收益。

产品索引也要区分IVF_SQ8、PQ以及是否提供OPQ前处理。一个HNSW查询返回正确,不说明任何量化产品路径已经被覆盖。

架构与流程

flowchart TD
 X["浮点向量"] --> SQ["估计范围;舍入为8bit"]
 SQ --> D["区间内误差≤半步长;裁剪另计"]
 X --> R["正交变换"]
 R --> P["PQ分块编码"]
 P --> E["重建误差与召回对照"]
 L["OPQ需要学习变换与码本"] -.-> R
 FIX["固定旋转只验证L2不变"] -.-> E

实现与验证边界

SQ真实往返和固定旋转恒等式有断言;OPQ学习明确未实现、未实测。容量公式与模型能力分开列示。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 pq.PqSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路