以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
长上下文窗口常被当成“记忆扩容”:只要把文档、日志、检索结果都塞进去,模型就应该能用到。但 Liu et al. 2023 的“Lost in the Middle”实验发现,模型对上下文开头和结尾的信息利用明显更好,中间部分容易被忽略。窗口变长,不等于有效信息变多。
这一节先解释位置偏差的表现和可能成因,再用一个位置—召回模型量化“有效上下文”,最后讨论 Agent 应该如何摆放证据,而不是单纯扩大窗口。
现象:U 形曲线
把同一条关键信息放在长文档的不同位置,测量模型能否答对,得到的曲线通常呈 U 形:开头高,中间低,结尾回升。这条曲线的具体形状随模型、任务和文档长度变化,但“中间吃亏”是反复被观察到的模式。
| 位置 | 典型表现 | 原因假设 |
|---|---|---|
| 开头 | 利用最好 | 与指令接近,注意力强 |
| 中间 | 利用最差 | 距离指令远,缺乏结构线索 |
| 结尾 | 利用较好 | 靠近生成位置,近期性效应 |
“近期性”在自回归生成里很自然:越靠近当前 token 的内容,越容易影响下一步。开头的优势则可能来自指令位置和训练数据中“先给背景、后给问题”的格式。中间部分两头不靠,既没有指令的锚定,也没有生成位置的优势。
为什么会这样
至少有四个机制在起作用:
- 注意力稀释:上下文越长,注意力越分散,单个片段分到的权重下降。
- 训练分布:训练数据里关键信息更常出现在开头或结尾,模型学会了这种先验。
- 位置编码:长距离位置编码的外推能力有限,中间位置的表征可能更模糊。
- 缺乏结构:中间内容如果没有标题、编号或明确引用,模型难以判断它是否重要。
这些机制不是互斥的。对架构来说,重要的不是精确归因,而是承认一个事实:上下文里的信息不是等权可用的。 摆放方式会改变模型的实际利用率。
最小实验:位置—召回曲线
下面的实验用一个解析函数近似首尾偏好:召回率随“到开头的距离”和“到结尾的距离”分别指数衰减,再与基线相加。它不是对某个真实模型的测量,而是把“首尾高、中间低”这个模式写成可计算的形状,用来演示有效上下文如何随长度变化。
# file: agp_lab/lost_middle.py | write
# tier: 3
# verify: python3 -m unittest tests.test_lost_middle
"""Lost in the Middle:首尾偏好与有效上下文长度。"""
from __future__ import annotations
import math
def recall_at(position: int, length: int, base: float = 0.5,
head: float = 0.9, tail: float = 0.85,
scale: float = 2.0) -> float:
if length <= 0:
raise ValueError("长度必须为正")
if not 0 <= position < length:
raise ValueError("位置越界")
head_part = head * math.exp(-position / scale)
tail_part = tail * math.exp(-(length - 1 - position) / scale)
return min(1.0, base + head_part + tail_part)
def curve(length: int, **kwargs: float) -> list[float]:
return [recall_at(position, length, **kwargs) for position in range(length)]
def effective_positions(length: int, threshold: float = 0.8, **kwargs: float) -> list[int]:
if not 0 <= threshold <= 1:
raise ValueError("阈值必须在 [0, 1] 内")
return [position for position in range(length)
if recall_at(position, length, **kwargs) >= threshold]
def effective_ratio(length: int, threshold: float = 0.8, **kwargs: float) -> float:
return len(effective_positions(length, threshold, **kwargs)) / length
if __name__ == "__main__":
length = 20
for position in (0, 2, 5, 10, 15, 17, 19):
print(f"position={position:>2} recall={recall_at(position, length):.3f}")
print("effective:", effective_positions(length))
print("effective_ratio:", f"{effective_ratio(length):.1%}")
print("longer_ratio:", f"{effective_ratio(80):.1%}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.lost_middle
输出:
position= 0 recall=1.000
position= 2 recall=0.831
position= 5 recall=0.575
position=10 recall=0.516
position=15 recall=0.616
position=17 recall=0.813
position=19 recall=1.000
effective: [0, 1, 2, 17, 18, 19]
effective_ratio: 30.0%
longer_ratio: 7.5%
20 个位置里,召回率高于 0.8 的只有 6 个:前三个和后三个。中间位置 10 的召回率 0.516,接近“随机猜”的水平。effective_ratio: 30.0% 表示在这个模型里,只有 30% 的上下文位置是“高可信可用”的。
longer_ratio: 7.5% 更值得注意:长度从 20 增加到 80,有效位置仍然是 6 个,比例降到 7.5%。这就是“窗口变大但有效容量没变”的量化表达。真实模型的有效比例不会这么极端,但方向一致:加长上下文主要增加的是中间的低效区域。
这个实验的边界必须说清楚:参数是人为设定的,输出不能用来声称某个具体模型只有 30% 的有效上下文。它的价值是提供一个可复现的思维模型,帮助团队在架构上做保守假设,而不是替代真实评测。
对 RAG 的直接含义
检索增强生成(RAG)最常见的做法是取 top-k 片段拼进上下文。如果 k 很大,片段按相似度排序,最相关的通常在最前,次相关的在中间,最不相关的在最后。这个顺序恰好把一部分有用信息放进了中间盲区。
几种改进方向:
| 策略 | 做法 | 代价 |
|---|---|---|
| 减少 k | 只取高精度片段 | 可能漏召回 |
| 重排 | 把关键片段放首尾 | 需要相关性判断 |
| 分段提问 | 每段单独问,再汇总 | 请求数增加 |
| 压缩 | 先摘要再拼接 | 摘要可能丢细节 |
| 结构化 | 给片段编号、标题、引用 | 需要预处理 |
“减少 k”经常是最有效的一步。检索质量不高时,增加 k 只是把噪声和有用信息一起塞进中间;提高检索精度、降低 k,往往比换更长窗口更划算。
证据摆放策略
如果必须把多条证据放进同一个上下文,可以按重要性摆放:
- 最强证据放最前,直接支撑结论;
- 次强证据放最后,靠近生成位置;
- 弱证据放中间,或直接丢弃;
- 用编号和标题让每条证据可被引用。
这个顺序不是万能公式,但它避免了“把最关键的一条埋在最中间”这种最常见错误。对需要引用的任务,还可以要求模型在答案里标注证据编号,把“是否用了某条证据”变成可检查的输出。
还有一个实用技巧:把长证据折叠成“标题 + 一句摘要”,原始片段按需展开。模型先看到结构,再决定要不要读细节,比一次性接收全文更容易抓住重点。摘要会丢信息,但丢的是模型本来也用不上的中间细节。
上下文腐化:更长不等于更好
位置偏差描述的是“同一条信息放在不同位置”的效果。还有一类更普遍的现象叫上下文腐化(context rot):即使关键信息没有被埋没,随着输入变长、内容变杂,模型对整段上下文的理解和遵循也会下降。
它和 Lost in the Middle 相关但不同:
| 现象 | 关注点 | 表现 |
|---|---|---|
| Lost in the Middle | 位置 | 中间证据召回低 |
| 上下文腐化 | 长度与噪声 | 整体指令遵循、推理质量下降 |
上下文腐化意味着“把整个知识库塞进去”不是可行的架构。每增加一段无关内容,都在增加模型区分相关与不相关的负担;负担超过某个点,答案质量会下降,而不是持平。工程上的应对是少而精:先筛、再压缩、最后才拼接。
长上下文不是免费记忆
扩大窗口有三个隐性成本:
- 成本:prefill 随上下文长度增长,长上下文请求更贵。
- 延迟:首 token 延迟随 prefill 增加。
- 干扰:无关内容会稀释注意力,甚至引入冲突信息。
第三项最容易被低估。上下文里如果有两条互相矛盾的证据,模型不一定会选择更可靠的那条;它可能选择更靠近开头、更靠近结尾或表述更流畅的那条。更多上下文增加了冲突概率,而不是自动提高答案质量。
架构含义
位置偏差对架构有四个直接约束:
- 按有效容量设计,而不是按窗口上限。 假设只有一部分上下文被可靠利用。
- 控制证据数量。 优先提高检索精度,再考虑增加 k。
- 显式摆放关键证据。 首尾优先,中间放弱证据或结构化摘要。
- 用引用验证使用。 要求答案标注证据编号,检查模型是否真的用了关键片段。
第 1 条是容量规划的基础。如果窗口是 128k,但有效容量只有几 k,那么按 128k 设计提示和预算会系统性高估系统能力;按有效容量设计,才会把资源投向检索、重排和压缩。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 容量假设保守 | 按有效上下文规划 | 按窗口上限规划 |
| 证据数量受控 | 高精度小 k | 大 k 全塞 |
| 摆放有策略 | 关键证据在首尾 | 按相似度平铺 |
| 使用可验证 | 答案引用证据编号 | 只给结论 |
| 冲突有处理 | 明确优先级或拒答 | 让模型自行选择 |
这些判据里,“使用可验证”把位置问题从不可观测变成可观测。如果答案必须引用编号,团队就能统计“关键证据被引用了几次”,进而判断摆放策略是否有效。
一个故障排查的例子
假设 Agent 要根据 30 条日志定位故障。把所有日志按时间顺序拼进去,最早的日志在开头,最新的在结尾,中间是大量正常日志。关键错误日志如果落在中间,很可能被忽略。
更好的做法是:
- 先过滤,只保留错误和告警级别;
- 把最异常的一条放在最前;
- 把时间线摘要放在最后;
- 原始日志按需展开,而不是一次性全塞。
这样上下文更短,关键信息在首尾,模型不需要在 30 条日志里“记住”中间那一条。过滤和摆放,往往比换更大窗口更能解决问题。
如何评测位置效应
评测不能只测“答案对不对”,还要测“位置变了会怎样”:
| 实验 | 做法 | 观察 |
|---|---|---|
| 位置扫描 | 同一证据放不同位置 | 召回率曲线 |
| 长度扫描 | 固定证据,增加无关内容 | 有效比例变化 |
| 冲突注入 | 首尾放矛盾证据 | 模型选哪条 |
| 引用核对 | 要求标注证据编号 | 是否真的使用 |
这些实验不需要很大成本,但能揭示系统对位置的敏感度。如果一个系统在证据从开头移到中间后准确率大幅下降,那么它的提示设计就是脆弱的,不能靠“窗口够大”来掩盖。
位置评测的另一个用途是回归:提示模板、检索顺序或模型版本一变,就重跑同一组位置扫描,确认曲线没有变差。
小结
- 长上下文不等于有效记忆;模型对首尾信息利用更好,中间容易丢失。
- 位置偏差可能来自注意力稀释、训练分布、位置编码和缺乏结构。
- 有效上下文比例通常远低于窗口上限,加长窗口主要增加中间低效区域。
- RAG 应优先提高检索精度、控制 k,而不是无限增加片段。
- 关键证据放首尾,弱证据放中间或丢弃,用编号和引用让使用可验证。
- 评测要扫描位置和长度,不能只测固定摆放下的准确率。
阅读导航:上一节:8.3 参数知识 vs 检索知识 · 下一节:9.2 长上下文 vs RAG:成本、质量与延迟 。
常见错误与边界
- 把窗口当记忆。 窗口是上限,不是有效容量;中间信息可能用不上。
- 无限增加 top-k。 低质量片段会稀释注意力,还可能引入冲突。
- 按相似度平铺。 最相关的片段可能被放在开头,但次相关的关键证据落入中间。
- 忽略长度对延迟和成本的影响。 长上下文请求更贵、首 token 更慢。
- 不做位置评测。 只测一种摆放,无法发现系统对位置敏感。
- 把教学曲线当实测结论。 本节的解析模型只演示趋势,具体模型的召回曲线必须实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。