以下数字为教学示例,不构成对任何真实模型或供应商性能的承诺。
Agent 的上下文里塞了系统提示、任务描述、检索文档、工具结果和历史轨迹。模型并不是逐条“阅读”这些内容,而是通过注意力机制把它们的表示按权重混合。理解这个机制,才能理解三个常见现象:为什么把关键信息放在中间会被漏掉,为什么改变前缀会让缓存失效,为什么“注意力权重很高”不能证明“模型依据了这段文字”。
这一节只讲注意力的最小机制:查询、键、值、缩放、softmax 和因果掩码。多头、稀疏注意力和 FlashAttention 会在 4.x 的成本讨论里出现;这里先把信息流讲清楚。
缩放点积注意力
给定查询矩阵 $Q$、键矩阵 $K$、值矩阵 $V$,缩放点积注意力定义为:
$$
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
$$
其中 $d_k$ 是键的维度。$QK^\top$ 计算每个查询与每个键的相似度,除以 $\sqrt{d_k}$ 防止点积随维度增大而过大,softmax 把相似度变成权重,最后用权重对 $V$ 做加权平均。
| 组件 | 作用 | Agent 语境 |
|---|---|---|
| $Q$ | 当前 token 想找什么 | 当前步骤需要哪类信息 |
| $K$ | 每个 token 提供什么索引 | 上下文片段的可匹配特征 |
| $V$ | 每个 token 提供什么内容 | 实际被混合进表示的信息 |
| softmax | 把相似度变成权重 | 信息混合的比例 |
| 掩码 | 限制可见范围 | 因果性、窗口、权限 |
注意力的输出是值的加权平均,不是对某个 token 的复制。权重高只说明这个 token 的 value 在混合中占比大,不说明模型“依据”了它;多个 token 可能提供相似信息,权重会被分散;一个 token 也可能通过后续层间接影响输出。把注意力权重直接当解释,是常见的过度解读。
因果掩码:信息只能向前流
自回归模型必须保证位置 $i$ 只能看到 $j \le i$。实现方式是在 softmax 之前把未来位置的分数设为负无穷:
$$
\text{mask}_{ij} = \begin{cases}
0 & j \le i \
-\infty & j > i
\end{cases}
$$
这个约束看起来只是实现细节,实际上是架构不变量。如果掩码写错,训练时模型会看到未来 token,loss 会异常低,上线后却无法自回归生成;如果推理时掩码与训练不一致,模型行为会漂移。因果掩码不是“可选优化”,而是训练与推理必须一致的结构约定。
对 Agent 来说,掩码还决定了上下文的可见性。系统提示、工具结果、用户消息在序列里的位置,决定了后面的 token 能看到什么。把权限过滤放在模型外部、把不该看的文档拼进上下文,再指望模型“自己忽略”,等于把安全边界交给注意力权重。
最小实验:四 token 的因果注意力
下面的实验实现缩放点积注意力和因果掩码。它用 4 个二维向量做查询、键、值,打印每个位置的输出。实验不训练,只验证三个性质:每行权重和为 1、未来位置权重为 0、输出是值的凸组合。
# file: agp_lab/attention.py | write
# tier: 2
# verify: python3 -m unittest tests.test_attention
"""缩放点积注意力与因果掩码的最小实现。"""
from __future__ import annotations
import math
def softmax(values: list[float]) -> list[float]:
top = max(values)
weights = [math.exp(value - top) for value in values]
total = sum(weights)
return [weight / total for weight in weights]
def dot(left: list[float], right: list[float]) -> float:
return sum(a * b for a, b in zip(left, right))
def causal_mask(size: int) -> list[list[float]]:
"""位置 i 只能看到 j <= i;未来位置置为负无穷。"""
return [
[0.0 if column <= row else float("-inf") for column in range(size)]
for row in range(size)
]
def attention(
queries: list[list[float]],
keys: list[list[float]],
values: list[list[float]],
mask: list[list[float]] | None = None,
) -> list[list[float]]:
if not queries or not keys or len(keys) != len(values):
raise ValueError("queries/keys/values 形状不匹配")
dim = len(queries[0])
if any(len(row) != dim for row in queries + keys + values):
raise ValueError("维度不一致")
scale = math.sqrt(dim)
output: list[list[float]] = []
for row_index, query in enumerate(queries):
scores = [dot(query, key) / scale for key in keys]
if mask is not None:
if len(mask) != len(queries) or any(len(row) != len(keys) for row in mask):
raise ValueError("mask 形状不匹配")
scores = [score + mask[row_index][column]
for column, score in enumerate(scores)]
weights = softmax(scores)
output.append([
sum(weights[column] * values[column][dimension]
for column in range(len(values)))
for dimension in range(dim)
])
return output
if __name__ == "__main__":
vectors = [[1.0, 0.0], [0.0, 1.0], [1.0, 1.0], [2.0, 0.0]]
mask = causal_mask(len(vectors))
result = attention(vectors, vectors, vectors, mask)
print("row output")
for index, vector in enumerate(result):
print(f"{index:<4} {[round(value, 3) for value in vector]}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.attention
输出:
row output
0 [1.0, 0.0]
1 [0.33, 0.67]
2 [0.752, 0.752]
3 [1.609, 0.196]
第 0 行只能看到自己,所以输出等于自己的值 [1.0, 0.0]。第 1 行可以看到位置 0 和 1,输出是两者的加权平均 [0.33, 0.67]。第 2、3 行同理,随着可见范围扩大,输出混合了更多前文。
这个输出表说明了两件事。第一,因果性是可验证的:如果改变未来位置的值,前两行的输出不应该变;实验的测试用例正是在检查这一点。第二,注意力输出不是原文:第 3 行的输出 [1.609, 0.196] 不等于任何单个输入向量,它是多个值的混合。模型后续层要在这个混合表示上继续计算,所以“把某段文字原样保留在上下文里”不等于“模型会原样使用它”。
注意力的边界
四个常见误解:
| 误解 | 实际 | 架构后果 |
|---|---|---|
| 注意力权重高 = 模型依据了这段文字 | 权重只是混合比例,可能被多 token 分散 | 不能用权重做审计归因 |
| 上下文越长,信息越多 | 注意力是二次成本,且中间信息可能被漏掉 | 长上下文需要检索与排序,不是无脑拼接 |
| 因果掩码只是训练细节 | 训练/推理不一致会导致行为漂移 | 掩码必须作为不变量测试 |
| 多头等于多视角解释 | 头可以冗余,也可以组合 | 不能用单个头解释模型决策 |
第一条尤其重要。可解释性研究里常用注意力权重做可视化,但权重高不等于因果影响大;后续层、残差连接和多头组合都会改变信息流。对 Agent 架构来说,这意味着审计不能依赖注意力权重;要证明“模型依据了哪份文档”,需要引用校验、检索日志和输出核对,而不是一张注意力热力图。
架构含义
注意力机制对 Agent 架构有四个直接约束:
- 上下文顺序是设计变量。 系统提示、任务、检索文档、工具结果的排列会影响可见性和混合方式;关键约束应放在稳定、靠前的位置,并配合显式校验。
- 前缀缓存要求前缀稳定。 如果每次请求都改动系统提示的前几个 token,前缀缓存会失效;缓存命中率下降会直接反映到 TTFT 和成本。
- 掩码与权限必须一致。 不该看的文档不应进入上下文;进入之后再靠提示词要求“忽略”不是安全边界。
- 长上下文不是免费数据库。 注意力成本随长度二次增长,中间位置的信息还可能被漏掉;长上下文需要配合检索、排序和评测。
第 2 条经常被忽略。前缀缓存的前提是“相同前缀、相同位置、相同模型版本”;只要前缀有一个 token 变化,后面的缓存就不能复用。把时间戳、随机 ID 或用户特定信息放在系统提示最前面,会让缓存几乎永远不命中。正确的做法是把稳定内容放前面,把变化内容放后面。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 掩码一致性 | 训练与推理使用同一因果掩码,有测试 | 只在训练代码里设置掩码 |
| 上下文顺序 | 稳定前缀 + 可变后缀,顺序有文档 | 每次请求重排全部上下文 |
| 权限前置 | 不该看的文档在拼接前过滤 | 拼进去后靠提示词忽略 |
| 长上下文有评测 | 中间位置、超长输入的召回率有基线 | 只看平均分 |
| 归因不靠权重 | 用引用校验、日志和输出核对 | 用注意力热力图证明依据 |
这些判据里,“权限前置”是安全底线。注意力机制不会自动忽略敏感信息;它会把敏感信息当成普通 token 混合进表示。把过滤放在拼接前,是唯一可靠的边界。
多头注意力:并行的多个读取头
实际模型不是一组注意力,而是多组“头”并行计算,再把结果拼接投影。多头的作用不是“多视角解释”,而是让模型在不同的表示子空间里读取信息:
| 设计 | 作用 | 代价 |
|---|---|---|
| 多头 | 并行读取不同子空间 | 计算与显存增加 |
| 头维度缩小 | 控制总计算量 | 单头表达能力下降 |
| 头共享 KV(GQA) | 降低 KV 显存 | 头间独立性下降 |
对架构评审来说,重要的不是“有几个头”,而是“头的输出如何被使用”。头数、头维度和 KV 共享方式都会影响能力与成本;这些是模型选型参数,不是应用层可以随意调整的开关。
一个上下文顺序的例子
假设上下文包含:系统提示、工具定义、检索文档 A、检索文档 B、用户问题、历史对话。不同的排列会产生不同的效果:
| 排列 | 风险 |
|---|---|
| 系统提示在最前,用户问题在最后 | 常见且稳定,适合前缀缓存 |
| 检索文档插在系统提示中间 | 破坏前缀缓存,且可能稀释系统约束 |
| 历史对话放在检索文档之前 | 长历史可能挤占检索内容的注意力 |
| 用户问题放在最前 | 模型可能先形成答案,再“读”文档 |
没有一种排列适合所有任务,但有一条稳定原则:稳定内容靠前,变化内容靠后,关键约束靠近使用位置。 这样既有利于缓存,也减少长上下文对关键信息的稀释。
三个可测试的注意力不变量
| 不变量 | 测试 | 失败表现 |
|---|---|---|
| 因果性 | 改变未来 token,前面的输出不变 | 训练/推理掩码不一致 |
| 权重归一 | 每行 softmax 和为 1 | 数值溢出或掩码实现错误 |
| 形状一致 | Q/K/V 维度与 batch 对齐 | 广播错误导致静默错位 |
这三个不变量可以在单元测试里覆盖,不需要真实模型。它们不能保证模型效果好,但能挡住最常见的实现错误。
注意力权重的可信度
注意力权重经常被拿来做可解释性:某个输出“关注”了哪段输入。但权重高不等于因果贡献大。多头、多层、残差连接和 LayerNorm 都会重新混合信息;一个头的高权重可能被后续层抵消。把注意力权重当解释,需要至少满足三个条件:只在该层该头内比较、有消融实验佐证、在多个样本上稳定。否则它只是一张好看的图。
权重之外,还要看注意力是否被掩码正确限制。一个常见的实现错误是训练时用因果掩码、推理时忘记加,导致模型在生成时看到未来 token;这种错误不会报错,只会让离线指标异常好看,线上却无法复现。
小结
- 缩放点积注意力用 $QK^\top/\sqrt{d_k}$ 计算相似度,softmax 变成权重,再对 $V$ 加权平均。
- 因果掩码保证位置 $i$ 只能看到 $j \le i$;训练与推理必须一致,否则行为漂移。
- 注意力输出是值的混合,不是原文复制;权重高不等于模型依据了该 token。
- 注意力权重不能直接当解释;审计需要引用校验、检索日志与输出核对。
- 上下文顺序、前缀稳定性和权限过滤是架构变量,不是提示词细节。
- 长上下文有二次成本,且中间信息可能被漏掉;它需要检索、排序和评测,不是免费数据库。
阅读导航:上一节:2.3 供应商非确定性与可重放边界 · 下一节:3.2 位置编码与长度外推 。
常见错误与边界
- 用注意力权重做归因。 权重是混合比例,不是因果贡献;多头、残差和后续层都会改变信息流。
- 训练与推理掩码不一致。 训练看到未来 token,推理不能;loss 正常不代表上线正常。
- 把敏感文档拼进上下文再要求忽略。 注意力不会执行权限;过滤必须在拼接前完成。
- 每次请求重排前缀。 时间戳、随机 ID 放在系统提示开头会让前缀缓存失效,TTFT 和成本都会上升。
- 用长上下文替代检索。 上下文越长,二次成本越高,中间信息还可能被漏掉;应先检索再拼接。
- 把多头当多视角解释。 头可能冗余或组合,单个头的权重不能代表模型决策。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。