《AI Agent 技术原理与架构·模型、推理与能力边界》3.1 注意力:上下文如何被读取

注意力不是“模型在看哪里”的解释,而是上下文信息按权重混合的机制。本节用缩放点积注意力和因果掩码的最小实现,说明 token 如何读取前文、掩码如何约束信息流、为什么注意力权重不能直接当解释,以及这些性质如何变成上下文顺序与前缀缓存的架构约束。

以下数字为教学示例,不构成对任何真实模型或供应商性能的承诺。

Agent 的上下文里塞了系统提示、任务描述、检索文档、工具结果和历史轨迹。模型并不是逐条“阅读”这些内容,而是通过注意力机制把它们的表示按权重混合。理解这个机制,才能理解三个常见现象:为什么把关键信息放在中间会被漏掉,为什么改变前缀会让缓存失效,为什么“注意力权重很高”不能证明“模型依据了这段文字”。

这一节只讲注意力的最小机制:查询、键、值、缩放、softmax 和因果掩码。多头、稀疏注意力和 FlashAttention 会在 4.x 的成本讨论里出现;这里先把信息流讲清楚。

缩放点积注意力

给定查询矩阵 $Q$、键矩阵 $K$、值矩阵 $V$,缩放点积注意力定义为:

$$
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
$$

其中 $d_k$ 是键的维度。$QK^\top$ 计算每个查询与每个键的相似度,除以 $\sqrt{d_k}$ 防止点积随维度增大而过大,softmax 把相似度变成权重,最后用权重对 $V$ 做加权平均。

组件作用Agent 语境
$Q$当前 token 想找什么当前步骤需要哪类信息
$K$每个 token 提供什么索引上下文片段的可匹配特征
$V$每个 token 提供什么内容实际被混合进表示的信息
softmax把相似度变成权重信息混合的比例
掩码限制可见范围因果性、窗口、权限

注意力的输出是值的加权平均,不是对某个 token 的复制。权重高只说明这个 token 的 value 在混合中占比大,不说明模型“依据”了它;多个 token 可能提供相似信息,权重会被分散;一个 token 也可能通过后续层间接影响输出。把注意力权重直接当解释,是常见的过度解读。

因果掩码:信息只能向前流

自回归模型必须保证位置 $i$ 只能看到 $j \le i$。实现方式是在 softmax 之前把未来位置的分数设为负无穷:

$$
\text{mask}_{ij} = \begin{cases}
0 & j \le i \
-\infty & j > i
\end{cases}
$$

这个约束看起来只是实现细节,实际上是架构不变量。如果掩码写错,训练时模型会看到未来 token,loss 会异常低,上线后却无法自回归生成;如果推理时掩码与训练不一致,模型行为会漂移。因果掩码不是“可选优化”,而是训练与推理必须一致的结构约定。

对 Agent 来说,掩码还决定了上下文的可见性。系统提示、工具结果、用户消息在序列里的位置,决定了后面的 token 能看到什么。把权限过滤放在模型外部、把不该看的文档拼进上下文,再指望模型“自己忽略”,等于把安全边界交给注意力权重。

最小实验:四 token 的因果注意力

下面的实验实现缩放点积注意力和因果掩码。它用 4 个二维向量做查询、键、值,打印每个位置的输出。实验不训练,只验证三个性质:每行权重和为 1、未来位置权重为 0、输出是值的凸组合。

# file: agp_lab/attention.py | write
# tier: 2
# verify: python3 -m unittest tests.test_attention
"""缩放点积注意力与因果掩码的最小实现。"""
from __future__ import annotations

import math


def softmax(values: list[float]) -> list[float]:
    top = max(values)
    weights = [math.exp(value - top) for value in values]
    total = sum(weights)
    return [weight / total for weight in weights]


def dot(left: list[float], right: list[float]) -> float:
    return sum(a * b for a, b in zip(left, right))


def causal_mask(size: int) -> list[list[float]]:
    """位置 i 只能看到 j <= i;未来位置置为负无穷。"""
    return [
        [0.0 if column <= row else float("-inf") for column in range(size)]
        for row in range(size)
    ]


def attention(
    queries: list[list[float]],
    keys: list[list[float]],
    values: list[list[float]],
    mask: list[list[float]] | None = None,
) -> list[list[float]]:
    if not queries or not keys or len(keys) != len(values):
        raise ValueError("queries/keys/values 形状不匹配")
    dim = len(queries[0])
    if any(len(row) != dim for row in queries + keys + values):
        raise ValueError("维度不一致")
    scale = math.sqrt(dim)
    output: list[list[float]] = []
    for row_index, query in enumerate(queries):
        scores = [dot(query, key) / scale for key in keys]
        if mask is not None:
            if len(mask) != len(queries) or any(len(row) != len(keys) for row in mask):
                raise ValueError("mask 形状不匹配")
            scores = [score + mask[row_index][column]
                      for column, score in enumerate(scores)]
        weights = softmax(scores)
        output.append([
            sum(weights[column] * values[column][dimension]
                for column in range(len(values)))
            for dimension in range(dim)
        ])
    return output


if __name__ == "__main__":
    vectors = [[1.0, 0.0], [0.0, 1.0], [1.0, 1.0], [2.0, 0.0]]
    mask = causal_mask(len(vectors))
    result = attention(vectors, vectors, vectors, mask)
    print("row  output")
    for index, vector in enumerate(result):
        print(f"{index:<4} {[round(value, 3) for value in vector]}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.attention

输出:

row  output
0    [1.0, 0.0]
1    [0.33, 0.67]
2    [0.752, 0.752]
3    [1.609, 0.196]

第 0 行只能看到自己,所以输出等于自己的值 [1.0, 0.0]。第 1 行可以看到位置 0 和 1,输出是两者的加权平均 [0.33, 0.67]。第 2、3 行同理,随着可见范围扩大,输出混合了更多前文。

这个输出表说明了两件事。第一,因果性是可验证的:如果改变未来位置的值,前两行的输出不应该变;实验的测试用例正是在检查这一点。第二,注意力输出不是原文:第 3 行的输出 [1.609, 0.196] 不等于任何单个输入向量,它是多个值的混合。模型后续层要在这个混合表示上继续计算,所以“把某段文字原样保留在上下文里”不等于“模型会原样使用它”。

注意力的边界

四个常见误解:

误解实际架构后果
注意力权重高 = 模型依据了这段文字权重只是混合比例,可能被多 token 分散不能用权重做审计归因
上下文越长,信息越多注意力是二次成本,且中间信息可能被漏掉长上下文需要检索与排序,不是无脑拼接
因果掩码只是训练细节训练/推理不一致会导致行为漂移掩码必须作为不变量测试
多头等于多视角解释头可以冗余,也可以组合不能用单个头解释模型决策

第一条尤其重要。可解释性研究里常用注意力权重做可视化,但权重高不等于因果影响大;后续层、残差连接和多头组合都会改变信息流。对 Agent 架构来说,这意味着审计不能依赖注意力权重;要证明“模型依据了哪份文档”,需要引用校验、检索日志和输出核对,而不是一张注意力热力图。

架构含义

注意力机制对 Agent 架构有四个直接约束:

  1. 上下文顺序是设计变量。 系统提示、任务、检索文档、工具结果的排列会影响可见性和混合方式;关键约束应放在稳定、靠前的位置,并配合显式校验。
  2. 前缀缓存要求前缀稳定。 如果每次请求都改动系统提示的前几个 token,前缀缓存会失效;缓存命中率下降会直接反映到 TTFT 和成本。
  3. 掩码与权限必须一致。 不该看的文档不应进入上下文;进入之后再靠提示词要求“忽略”不是安全边界。
  4. 长上下文不是免费数据库。 注意力成本随长度二次增长,中间位置的信息还可能被漏掉;长上下文需要配合检索、排序和评测。

第 2 条经常被忽略。前缀缓存的前提是“相同前缀、相同位置、相同模型版本”;只要前缀有一个 token 变化,后面的缓存就不能复用。把时间戳、随机 ID 或用户特定信息放在系统提示最前面,会让缓存几乎永远不命中。正确的做法是把稳定内容放前面,把变化内容放后面。

架构判据

判据合格的样子不合格的样子
掩码一致性训练与推理使用同一因果掩码,有测试只在训练代码里设置掩码
上下文顺序稳定前缀 + 可变后缀,顺序有文档每次请求重排全部上下文
权限前置不该看的文档在拼接前过滤拼进去后靠提示词忽略
长上下文有评测中间位置、超长输入的召回率有基线只看平均分
归因不靠权重用引用校验、日志和输出核对用注意力热力图证明依据

这些判据里,“权限前置”是安全底线。注意力机制不会自动忽略敏感信息;它会把敏感信息当成普通 token 混合进表示。把过滤放在拼接前,是唯一可靠的边界。

多头注意力:并行的多个读取头

实际模型不是一组注意力,而是多组“头”并行计算,再把结果拼接投影。多头的作用不是“多视角解释”,而是让模型在不同的表示子空间里读取信息:

设计作用代价
多头并行读取不同子空间计算与显存增加
头维度缩小控制总计算量单头表达能力下降
头共享 KV(GQA)降低 KV 显存头间独立性下降

对架构评审来说,重要的不是“有几个头”,而是“头的输出如何被使用”。头数、头维度和 KV 共享方式都会影响能力与成本;这些是模型选型参数,不是应用层可以随意调整的开关。

一个上下文顺序的例子

假设上下文包含:系统提示、工具定义、检索文档 A、检索文档 B、用户问题、历史对话。不同的排列会产生不同的效果:

排列风险
系统提示在最前,用户问题在最后常见且稳定,适合前缀缓存
检索文档插在系统提示中间破坏前缀缓存,且可能稀释系统约束
历史对话放在检索文档之前长历史可能挤占检索内容的注意力
用户问题放在最前模型可能先形成答案,再“读”文档

没有一种排列适合所有任务,但有一条稳定原则:稳定内容靠前,变化内容靠后,关键约束靠近使用位置。 这样既有利于缓存,也减少长上下文对关键信息的稀释。

三个可测试的注意力不变量

不变量测试失败表现
因果性改变未来 token,前面的输出不变训练/推理掩码不一致
权重归一每行 softmax 和为 1数值溢出或掩码实现错误
形状一致Q/K/V 维度与 batch 对齐广播错误导致静默错位

这三个不变量可以在单元测试里覆盖,不需要真实模型。它们不能保证模型效果好,但能挡住最常见的实现错误。

注意力权重的可信度

注意力权重经常被拿来做可解释性:某个输出“关注”了哪段输入。但权重高不等于因果贡献大。多头、多层、残差连接和 LayerNorm 都会重新混合信息;一个头的高权重可能被后续层抵消。把注意力权重当解释,需要至少满足三个条件:只在该层该头内比较、有消融实验佐证、在多个样本上稳定。否则它只是一张好看的图。

权重之外,还要看注意力是否被掩码正确限制。一个常见的实现错误是训练时用因果掩码、推理时忘记加,导致模型在生成时看到未来 token;这种错误不会报错,只会让离线指标异常好看,线上却无法复现。

小结

  • 缩放点积注意力用 $QK^\top/\sqrt{d_k}$ 计算相似度,softmax 变成权重,再对 $V$ 加权平均。
  • 因果掩码保证位置 $i$ 只能看到 $j \le i$;训练与推理必须一致,否则行为漂移。
  • 注意力输出是值的混合,不是原文复制;权重高不等于模型依据了该 token。
  • 注意力权重不能直接当解释;审计需要引用校验、检索日志与输出核对。
  • 上下文顺序、前缀稳定性和权限过滤是架构变量,不是提示词细节。
  • 长上下文有二次成本,且中间信息可能被漏掉;它需要检索、排序和评测,不是免费数据库。

阅读导航:上一节:2.3 供应商非确定性与可重放边界 · 下一节:3.2 位置编码与长度外推 。

常见错误与边界

  1. 用注意力权重做归因。 权重是混合比例,不是因果贡献;多头、残差和后续层都会改变信息流。
  2. 训练与推理掩码不一致。 训练看到未来 token,推理不能;loss 正常不代表上线正常。
  3. 把敏感文档拼进上下文再要求忽略。 注意力不会执行权限;过滤必须在拼接前完成。
  4. 每次请求重排前缀。 时间戳、随机 ID 放在系统提示开头会让前缀缓存失效,TTFT 和成本都会上升。
  5. 用长上下文替代检索。 上下文越长,二次成本越高,中间信息还可能被漏掉;应先检索再拼接。
  6. 把多头当多视角解释。 头可能冗余或组合,单个头的权重不能代表模型决策。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图