《大规模分布式计算深入解析》1.2 相似度度量:内积、余弦、L2 与归一化

非零向量下cos=0与dot=0等价;平方L2、内积和余弦的排序方向、归一化及零向量定义域分别处理。

公式和排序方向

对非零有限向量a/b,平方L2=Σ(ai−bi)²,越小越相近;内积=Σai·bi,通常按越大越相似排序;cos=dot/(||a||·||b||),按越大越相似排序。L2平方和不是L2本身,但二者用于TopK排序相同。

取a=(1,2)、b=(2,1):平方距离2、内积4、余弦0.8。归一化后两向量的内积也是0.8。c=(3,0)与a的平方距离8、内积3、余弦约0.447。若不把度量和分数方向绑定,跨片合并可能把最不相近的值排在前面。

正交条件不能写错

在两向量均非零时,分母严格大于0,故cos=0当且仅当dot=0。正数缩放不改变这个零条件;它改变内积的非零数值,却不把0放大成非0。

a=(1,0)、b=(0,1)与b’=(0,10)的内积都为0,余弦也都为0。零向量的dot可为0,但余弦分母为0而未定义;这是定义域差异,不是非零向量下的正交条件不等价。

模长如何影响排序

q=(1,0),库向量u=(1,0.01)、v=(10,1)。内积可能偏好模长更大的v,余弦则更偏向方向更一致的u。若业务需要方向相似,应选合适度量并按引擎契约决定是否预归一化;不是所有引擎都要求调用者对所有度量做同样归一化。

单位向量满足||a−b||²=2−2cos(a,b),因此归一化后的平方L2升序与余弦降序一致。未归一化时不能无条件使用该关系。

数值与输入校验

浮点近零比较需要误差容限,但容限不改变精确公式。实现应拒绝不匹配维度和NaN/无穷输入;余弦还需零范数政策。本模型对零范数抛出异常。产品是否接受零向量、如何报告分数,以固定API为准。

架构与流程

flowchart TD
 V["校验维度与有限分量"] --> M{"度量"}
 M --> L["平方L2:小值优先"]
 M --> I["内积:大值优先;受模长影响"]
 M --> C["余弦:拒绝零范数;方向相似"]
 C --> N["非零向量:cos=0 当且仅当 dot=0"]
 U["单位归一化"] --> R["平方L2 = 2 - 2cos"]

实现与验证边界

Java实算平方距、dot、cosine,测试正交缩放、零向量、非有限值和维度。原生探针已分别创建FLAT L2/IP/COSINE索引,与精确GT核对ID顺序及数值分数,不用L2 HNSW替代。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 hnsw.HnswSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路