《大规模分布式计算深入解析》12.3 压缩与编码:向量压缩、存储格式与读写开销

PQ编码载荷与完整索引存储分开;ADC每个候选查m次而非整查询仅m次,原向量精排与CPU/IO收益需实测。

压缩载荷是什么

d128的float32原向量512B,m8/k256的PQ编码8B,载荷比64。10万条原向量51200000B、码800000B;另有131072B共享码本、ID、列表/图、文件头和对齐。若保留原向量供精排,必须另计那部分存储。

SQ8逐维编码约为原float32载荷的1/4,范围参数、异常值和索引结构仍需计入;压缩后的总引擎大小不必等于载荷比例。

ADC工作按查询和候选分开

一次查询先建立m×k距离表;然后每个候选编码做m次查表求和。C个候选就是C×m项,而不是“整个查询只查m次”。以m8/C1000为例,候选累计8000项查表,建表距离另计。

教学Codec实际编码byte[]、解码和用double表计算ADC;理论8192B表按float32载荷,Java double表载荷16384B且还有数组结构开销。码字位宽和物理容器不能混写。

CPU与IO不存在固定胜负

查表可能比高维原向量算距更便宜,也可能受数据布局、缓存、SIMD或解码影响。不能无条件写成“压缩一定多付CPU”,更不能由64倍载荷比推导64倍吞吐。若读原向量精排,随机IO可能成为新的瓶颈。

编码版本和更新

码本与编码必须匹配同一版本。重新训练、残差编码或OPQ前处理改变解释方法,旧码不能直接套新码本。迁移时需构建新编码并受控切换,保持在途查询所用版本一致。

本卷给出显式码本PQ及有限Lloyd训练,不提供生产格式兼容、OPQ学习或GPU量化实现;验证边界与3.2一致。

架构与流程

flowchart TD
 V["原向量载荷"] --> ENC["按版本码本编码"]
 ENC --> CODE["PQ码 + ID/索引结构"]
 Q["查询"] --> T["一次建m×k距离表"]
 CODE --> ADC["每候选m次查表;C候选共C×m"]
 T --> ADC
 ADC --> FINE["可选原向量精排;存储与IO另计"]
 FINE --> METRIC["实际质量/CPU/IO对照"]

实现与验证边界

实际编码、ADC与重建距离对照通过;压缩比/码本/表字节是指定布局预算。Milvus原生量化索引未实测,不用HNSW或FLAT替代。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 pq.PqSuite / io.IoSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路