《AI Agent 技术原理与架构·模型、推理与能力边界》3.2 位置编码与长度外推

注意力本身不知道 token 的先后顺序,位置编码把顺序注入表示。绝对位置编码与 RoPE 的差别不只是实现细节:前者让分数随绝对位置漂移,后者让分数只依赖相对偏移。本节用旋转位置编码的最小实验说明这种相对性、长度外推的边界,以及长上下文声明为什么必须在训练长度之外单独评测。

以下数字为教学示例,不构成对任何真实模型或供应商性能的承诺。

注意力是置换不变的:把上下文里的 token 打乱,$QK^\top$ 只是行和列换了位置,相似度本身不变。模型之所以知道“先检索再回答”和“先回答再检索”不同,靠的是位置编码。位置编码决定了模型如何理解顺序、距离和长度;也决定了“支持 128K 上下文”这句话到底意味着什么。

这一节比较两种常见方案:绝对位置编码和旋转位置编码(RoPE)。重点不是公式推导,而是两个架构问题:相对性从哪里来,长度外推为什么会失效。

绝对位置编码:把位置加进内容

最早的做法是把位置编码加到 token 表示上:

$$
h_i = e_i + p_i
$$

其中 $e_i$ 是 token 的嵌入,$p_i$ 是位置 $i$ 的编码。正弦位置编码用不同频率的 sin/cos 构造 $p_i$:

$$
p_{i,2k} = \sin(i \cdot \omega_k), \quad p_{i,2k+1} = \cos(i \cdot \omega_k)
$$

这种方案的优点是简单、无需训练;缺点是位置与内容混在一起。两个 token 的相似度不仅取决于内容,还取决于它们的绝对位置。把整段文本向后平移 100 个位置,内容没变,但表示变了。对需要“相对距离”的任务,这不是理想性质。

RoPE:旋转查询和键

RoPE(Su et al. 2021)不把位置加到内容上,而是按位置旋转查询和键。对二维向量 $(x, y)$,位置 $m$ 的旋转为:

$$
\begin{pmatrix} x’ \ y’ \end{pmatrix}

\begin{pmatrix}
\cos m\theta & -\sin m\theta \
\sin m\theta & \cos m\theta
\end{pmatrix}
\begin{pmatrix} x \ y \end{pmatrix}
$$

查询和键都做同样的旋转,点积只依赖两者的相对偏移:

$$
\langle R_m q, R_n k \rangle = \langle q, R_{n-m} k \rangle
$$

这个性质是 RoPE 的核心:旋转不改变向量长度,点积只依赖相对距离。 对 Agent 来说,这意味着上下文片段之间的相对位置比绝对位置更重要;把一段文档整体前移或后移,片段内部的相对关系保持不变。

长度外推:相对性不等于无限长

RoPE 的相对性只保证“点积依赖偏移”,不保证“模型见过这个偏移”。训练时模型只见过 $[0, L_{\text{train}}]$ 范围内的位置;推理时如果输入长度超过 $L_{\text{train}}$,会出现两类问题:

  1. 频率未覆盖:某些旋转角度在训练时从未出现,模型没有学会如何解释。
  2. 注意力分布漂移:远距离 token 的分数分布与训练时不同,注意力可能过度集中或过度分散。

常见的补救方法包括位置插值(Chen et al. 2023)和 YaRN(Peng et al. 2023):前者把超长位置压缩回训练范围,后者调整频率缩放与注意力温度。它们能缓解外推问题,但不等于“模型真的理解更长上下文”。外推是工程近似,不是能力保证。

最小实验:相对性与绝对位置漂移

下面的实验实现二维一组的 RoPE,并对比两件事:旋转后的点积是否只依赖偏移,以及绝对位置编码与内容相加后分数是否随绝对位置漂移。

# file: agp_lab/position.py | write
# tier: 2
# verify: python3 -m unittest tests.test_position
"""旋转位置编码:相对性与长度外推的边界。"""
from __future__ import annotations

import math


def rope(vector: list[float], position: int, base: float = 10000.0) -> list[float]:
    """对偶数维向量按二维一组做旋转。"""
    if len(vector) % 2:
        raise ValueError("向量维度必须为偶数")
    result: list[float] = []
    for index in range(0, len(vector), 2):
        frequency = base ** (-index / len(vector))
        angle = position * frequency
        cosine, sine = math.cos(angle), math.sin(angle)
        x, y = vector[index], vector[index + 1]
        result.extend([x * cosine - y * sine, x * sine + y * cosine])
    return result


def dot(left: list[float], right: list[float]) -> float:
    return sum(a * b for a, b in zip(left, right))


def rope_score(vector: list[float], left: int, right: int) -> float:
    return dot(rope(vector, left), rope(vector, right))


def absolute_pe(position: int, dim: int, base: float = 10000.0) -> list[float]:
    result: list[float] = []
    for index in range(dim // 2):
        frequency = base ** (-2 * index / dim)
        result.extend([math.sin(position * frequency), math.cos(position * frequency)])
    return result


def absolute_score(
    content: list[float], left: int, right: int, base: float = 10000.0
) -> float:
    """绝对位置编码与内容相加后,分数会随绝对位置漂移。"""
    first = [value + position for value, position
             in zip(content, absolute_pe(left, len(content), base))]
    second = [value + position for value, position
              in zip(content, absolute_pe(right, len(content), base))]
    return dot(first, second)


if __name__ == "__main__":
    vector = [1.0, 0.0, 0.5, -0.5]
    print("offset  rope_score  shifted_score")
    for offset in (1, 2, 4, 8, 16, 64):
        base = rope_score(vector, 0, offset)
        shifted = rope_score(vector, 100, 100 + offset)
        print(f"{offset:<7} {base:>10.4f} {shifted:>14.4f}")
    content = [1.0, 0.5, 0.2, 0.1, 0.3, -0.2, 0.4, 0.2]
    print("absolute content shift:",
          round(absolute_score(content, 3, 5), 4),
          round(absolute_score(content, 103, 105), 4))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.position

输出:

offset  rope_score  shifted_score
1           1.0403         1.0403
2           0.0838         0.0838
4          -0.1540        -0.1540
8           0.3529         0.3529
16         -0.4640        -0.4640
64          0.7929         0.7929
absolute content shift: 3.3886 3.6893

前六行说明 RoPE 的相对性:偏移相同,起点从 0 移到 100,分数完全一样。最后一行说明绝对位置编码的漂移:同样的内容、同样的相对距离 2,位置从 3→5 移到 103→105,分数从 3.3886 变成 3.6893。内容没变、相对距离没变,分数变了。

这个对比不是要说“RoPE 一定更好”。绝对位置编码在某些任务上工作得很好,而且实现简单;RoPE 的相对性也有代价:它不直接编码绝对位置,某些需要“第几个 token”的任务可能需要额外机制。实验想说明的是:位置编码的选择会改变模型对“距离”和“顺序”的定义,架构评审要问清楚用的是哪种。

架构含义

位置编码对 Agent 架构有四个直接约束:

  1. 长上下文声明必须单独评测。 “支持 128K”通常指“能输入 128K”,不指“在 128K 上保持训练长度内的效果”。要在目标长度上跑检索、引用和推理评测。
  2. 位置 ID 必须与缓存一致。 前缀缓存复用的是“位置 + 内容”的键值;如果拼接文档时位置 ID 冲突或跳号,缓存会给出错误结果。
  3. 文档顺序是设计变量。 相对位置影响注意力;把关键文档放在开头、结尾还是中间,效果可能不同。Lost in the Middle(Liu et al. 2023)报告了中间位置信息被漏掉的现象,这是位置与注意力共同作用的结果。
  4. 外推方案要写进版本。 位置插值、YaRN、滑动窗口都会改变行为;升级外推方案等于改变模型,需要回归评测。

第 2 条在工程里经常出错。多轮对话拼接、RAG 多文档拼接、工具结果插入,都可能产生重复或跳号的位置 ID。位置 ID 错误不会让程序崩溃,但会让模型看到错误的距离关系,表现为“引用错文档”“忽略后半段”等难以归因的问题。

架构判据

判据合格的样子不合格的样子
长度有实测在目标长度上报告召回率与任务成功率只写“支持 N K”
位置 ID 一致拼接、缓存、续写的位置连续且可验证多段拼接后 ID 重复或跳号
外推有版本插值/YaRN 方案、参数、评测集可追溯升级后不回归
顺序有对照关键文档放开头/中间/结尾有对比只试一种排列
相对性有测试平移上下文后相对分数不变(RoPE)假设所有位置编码都平移不变

这些判据里,“长度有实测”最重要。长上下文是营销词,不是能力证明;只有在你自己的任务上、在目标长度上、在失败样本上测过,才能写进能力卡。

四种长度外推方案

方案做法代价
直接外推不调整,直接用超出训练范围的位置效果通常快速下降
位置插值把超长位置压缩回训练范围短位置分辨率下降
频率缩放调整 RoPE 频率基数需要重新评测
YaRN频率缩放 + 注意力温度调整参数更多,调优成本更高

这些方案都是工程近似,不是“解锁无限上下文”。选择哪种,取决于目标长度、任务类型和可接受的短上下文损失;没有一种方案在所有长度上都最优。

位置 ID 的三个坑

  1. 多文档拼接:每篇文档都从 0 开始编号,拼接后位置重复。
  2. 多轮续写:新一轮从 0 开始,模型看到的位置距离突然重置。
  3. 缓存命中:前缀缓存复用了旧位置,但新内容的位置从错误偏移开始。

这三个坑都不会让程序崩溃,只会让模型看到错误的距离关系。排查时不要只看文本,要看实际传给模型的位置 ID 序列。

一个 RAG 拼接的例子

假设检索到三篇文档,每篇 2K token,系统提示 1K,用户问题 200 token。一个常见做法是把文档按相关度排序后拼接。此时:

排列位置范围风险
系统提示 → 文档 A/B/C → 问题0–7200问题在最后,模型可能已形成偏向
系统提示 → 问题 → 文档 A/B/C0–7200问题靠前,文档可能被忽略
系统提示 → 文档 A → 问题 → 文档 B/C分段位置关系复杂,缓存难复用

没有普遍正确的排列;要做的是固定一种、记录位置 ID、在目标任务上评测。排列变更应该被视为实验,而不是随手调整。

相对位置与绝对位置的取舍

绝对位置编码给每个位置一个固定向量,模型可以直接知道“这是第几个 token”;相对位置编码只让模型看到距离,不告诉它绝对位置。RoPE 属于后者:它把位置信息编码进 Q/K 的旋转角,注意力分数只依赖相对距离。

类型优点局限
绝对位置实现简单,位置感明确长度外推差,位置偏移敏感
相对位置平移不变,外推更自然绝对位置信息弱

对 Agent 来说,相对位置通常更合适:系统提示、检索文档和历史对话的长度经常变化,模型不应该因为整体右移就改变判断。但如果任务依赖“第几条规则”这种绝对信息,就要在文本里显式编号,不能指望位置编码替你做。

小结

  • 注意力是置换不变的,位置编码把顺序和距离注入表示;没有位置信息,模型无法区分“先检索”和“后检索”。
  • 绝对位置编码把位置加到内容上,分数会随绝对位置漂移;RoPE 旋转查询和键,点积只依赖相对偏移。
  • RoPE 的相对性不等于无限长;训练范围之外的偏移仍然可能失效,位置插值和 YaRN 是工程近似。
  • 长上下文声明必须在目标长度上单独评测;“能输入”不等于“能理解”。
  • 位置 ID 必须与缓存、拼接和续写一致;重复或跳号会导致难以归因的引用与召回问题。
  • 文档顺序是设计变量;关键信息放开头、中间还是结尾,需要对照实验。

阅读导航:上一节:3.1 注意力:上下文如何被读取 · 下一节:3.3 残差、归一化与深层信息流 。

常见错误与边界

  1. 把“支持 N K”当能力。 能输入不等于能理解;长上下文效果必须在目标长度上实测。
  2. 假设 RoPE 可以无限外推。 相对性只保证分数依赖偏移,不保证模型见过该偏移;外推仍需插值或缩放。
  3. 位置 ID 重复或跳号。 多文档拼接、多轮续写、工具结果插入都可能出错;位置错误不会崩溃,但会让模型看到错误距离。
  4. 忽略文档顺序。 相对位置影响注意力;关键文档放中间可能被漏掉,需要对照实验。
  5. 升级外推方案不做回归。 位置插值、YaRN、滑动窗口都会改变行为,等同于换模型。
  6. 把绝对位置编码一棍子打死。 它在很多任务上有效且简单;关键是知道它的分数会随绝对位置漂移,并在需要相对性的场景做验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图