《AI Agent 技术原理与架构·模型、推理与能力边界》9.1 Lost in the Middle 与上下文腐化

把证据塞进上下文不等于模型会用证据。Lost in the Middle 现象表明,模型对上下文首尾的信息利用更好,中间位置容易被忽略;输入变长变杂还会带来上下文腐化。本节用一个位置—召回曲线演示首尾偏好,计算有效上下文比例,并给出证据重排、分段检索和压缩的架构策略。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

长上下文窗口常被当成“记忆扩容”:只要把文档、日志、检索结果都塞进去,模型就应该能用到。但 Liu et al. 2023 的“Lost in the Middle”实验发现,模型对上下文开头和结尾的信息利用明显更好,中间部分容易被忽略。窗口变长,不等于有效信息变多。

这一节先解释位置偏差的表现和可能成因,再用一个位置—召回模型量化“有效上下文”,最后讨论 Agent 应该如何摆放证据,而不是单纯扩大窗口。

现象:U 形曲线

把同一条关键信息放在长文档的不同位置,测量模型能否答对,得到的曲线通常呈 U 形:开头高,中间低,结尾回升。这条曲线的具体形状随模型、任务和文档长度变化,但“中间吃亏”是反复被观察到的模式。

位置典型表现原因假设
开头利用最好与指令接近,注意力强
中间利用最差距离指令远,缺乏结构线索
结尾利用较好靠近生成位置,近期性效应

“近期性”在自回归生成里很自然:越靠近当前 token 的内容,越容易影响下一步。开头的优势则可能来自指令位置和训练数据中“先给背景、后给问题”的格式。中间部分两头不靠,既没有指令的锚定,也没有生成位置的优势。

为什么会这样

至少有四个机制在起作用:

  1. 注意力稀释:上下文越长,注意力越分散,单个片段分到的权重下降。
  2. 训练分布:训练数据里关键信息更常出现在开头或结尾,模型学会了这种先验。
  3. 位置编码:长距离位置编码的外推能力有限,中间位置的表征可能更模糊。
  4. 缺乏结构:中间内容如果没有标题、编号或明确引用,模型难以判断它是否重要。

这些机制不是互斥的。对架构来说,重要的不是精确归因,而是承认一个事实:上下文里的信息不是等权可用的。 摆放方式会改变模型的实际利用率。

最小实验:位置—召回曲线

下面的实验用一个解析函数近似首尾偏好:召回率随“到开头的距离”和“到结尾的距离”分别指数衰减,再与基线相加。它不是对某个真实模型的测量,而是把“首尾高、中间低”这个模式写成可计算的形状,用来演示有效上下文如何随长度变化。

# file: agp_lab/lost_middle.py | write
# tier: 3
# verify: python3 -m unittest tests.test_lost_middle
"""Lost in the Middle:首尾偏好与有效上下文长度。"""
from __future__ import annotations

import math


def recall_at(position: int, length: int, base: float = 0.5,
              head: float = 0.9, tail: float = 0.85,
              scale: float = 2.0) -> float:
    if length <= 0:
        raise ValueError("长度必须为正")
    if not 0 <= position < length:
        raise ValueError("位置越界")
    head_part = head * math.exp(-position / scale)
    tail_part = tail * math.exp(-(length - 1 - position) / scale)
    return min(1.0, base + head_part + tail_part)


def curve(length: int, **kwargs: float) -> list[float]:
    return [recall_at(position, length, **kwargs) for position in range(length)]


def effective_positions(length: int, threshold: float = 0.8, **kwargs: float) -> list[int]:
    if not 0 <= threshold <= 1:
        raise ValueError("阈值必须在 [0, 1] 内")
    return [position for position in range(length)
            if recall_at(position, length, **kwargs) >= threshold]


def effective_ratio(length: int, threshold: float = 0.8, **kwargs: float) -> float:
    return len(effective_positions(length, threshold, **kwargs)) / length


if __name__ == "__main__":
    length = 20
    for position in (0, 2, 5, 10, 15, 17, 19):
        print(f"position={position:>2} recall={recall_at(position, length):.3f}")
    print("effective:", effective_positions(length))
    print("effective_ratio:", f"{effective_ratio(length):.1%}")
    print("longer_ratio:", f"{effective_ratio(80):.1%}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.lost_middle

输出:

position= 0 recall=1.000
position= 2 recall=0.831
position= 5 recall=0.575
position=10 recall=0.516
position=15 recall=0.616
position=17 recall=0.813
position=19 recall=1.000
effective: [0, 1, 2, 17, 18, 19]
effective_ratio: 30.0%
longer_ratio: 7.5%

20 个位置里,召回率高于 0.8 的只有 6 个:前三个和后三个。中间位置 10 的召回率 0.516,接近“随机猜”的水平。effective_ratio: 30.0% 表示在这个模型里,只有 30% 的上下文位置是“高可信可用”的。

longer_ratio: 7.5% 更值得注意:长度从 20 增加到 80,有效位置仍然是 6 个,比例降到 7.5%。这就是“窗口变大但有效容量没变”的量化表达。真实模型的有效比例不会这么极端,但方向一致:加长上下文主要增加的是中间的低效区域。

这个实验的边界必须说清楚:参数是人为设定的,输出不能用来声称某个具体模型只有 30% 的有效上下文。它的价值是提供一个可复现的思维模型,帮助团队在架构上做保守假设,而不是替代真实评测。

对 RAG 的直接含义

检索增强生成(RAG)最常见的做法是取 top-k 片段拼进上下文。如果 k 很大,片段按相似度排序,最相关的通常在最前,次相关的在中间,最不相关的在最后。这个顺序恰好把一部分有用信息放进了中间盲区。

几种改进方向:

策略做法代价
减少 k只取高精度片段可能漏召回
重排把关键片段放首尾需要相关性判断
分段提问每段单独问,再汇总请求数增加
压缩先摘要再拼接摘要可能丢细节
结构化给片段编号、标题、引用需要预处理

“减少 k”经常是最有效的一步。检索质量不高时,增加 k 只是把噪声和有用信息一起塞进中间;提高检索精度、降低 k,往往比换更长窗口更划算。

证据摆放策略

如果必须把多条证据放进同一个上下文,可以按重要性摆放:

  1. 最强证据放最前,直接支撑结论;
  2. 次强证据放最后,靠近生成位置;
  3. 弱证据放中间,或直接丢弃;
  4. 用编号和标题让每条证据可被引用。

这个顺序不是万能公式,但它避免了“把最关键的一条埋在最中间”这种最常见错误。对需要引用的任务,还可以要求模型在答案里标注证据编号,把“是否用了某条证据”变成可检查的输出。

还有一个实用技巧:把长证据折叠成“标题 + 一句摘要”,原始片段按需展开。模型先看到结构,再决定要不要读细节,比一次性接收全文更容易抓住重点。摘要会丢信息,但丢的是模型本来也用不上的中间细节。

上下文腐化:更长不等于更好

位置偏差描述的是“同一条信息放在不同位置”的效果。还有一类更普遍的现象叫上下文腐化(context rot):即使关键信息没有被埋没,随着输入变长、内容变杂,模型对整段上下文的理解和遵循也会下降。

它和 Lost in the Middle 相关但不同:

现象关注点表现
Lost in the Middle位置中间证据召回低
上下文腐化长度与噪声整体指令遵循、推理质量下降

上下文腐化意味着“把整个知识库塞进去”不是可行的架构。每增加一段无关内容,都在增加模型区分相关与不相关的负担;负担超过某个点,答案质量会下降,而不是持平。工程上的应对是少而精:先筛、再压缩、最后才拼接。

长上下文不是免费记忆

扩大窗口有三个隐性成本:

  • 成本:prefill 随上下文长度增长,长上下文请求更贵。
  • 延迟:首 token 延迟随 prefill 增加。
  • 干扰:无关内容会稀释注意力,甚至引入冲突信息。

第三项最容易被低估。上下文里如果有两条互相矛盾的证据,模型不一定会选择更可靠的那条;它可能选择更靠近开头、更靠近结尾或表述更流畅的那条。更多上下文增加了冲突概率,而不是自动提高答案质量。

架构含义

位置偏差对架构有四个直接约束:

  1. 按有效容量设计,而不是按窗口上限。 假设只有一部分上下文被可靠利用。
  2. 控制证据数量。 优先提高检索精度,再考虑增加 k。
  3. 显式摆放关键证据。 首尾优先,中间放弱证据或结构化摘要。
  4. 用引用验证使用。 要求答案标注证据编号,检查模型是否真的用了关键片段。

第 1 条是容量规划的基础。如果窗口是 128k,但有效容量只有几 k,那么按 128k 设计提示和预算会系统性高估系统能力;按有效容量设计,才会把资源投向检索、重排和压缩。

架构判据

判据合格的样子不合格的样子
容量假设保守按有效上下文规划按窗口上限规划
证据数量受控高精度小 k大 k 全塞
摆放有策略关键证据在首尾按相似度平铺
使用可验证答案引用证据编号只给结论
冲突有处理明确优先级或拒答让模型自行选择

这些判据里,“使用可验证”把位置问题从不可观测变成可观测。如果答案必须引用编号,团队就能统计“关键证据被引用了几次”,进而判断摆放策略是否有效。

一个故障排查的例子

假设 Agent 要根据 30 条日志定位故障。把所有日志按时间顺序拼进去,最早的日志在开头,最新的在结尾,中间是大量正常日志。关键错误日志如果落在中间,很可能被忽略。

更好的做法是:

  • 先过滤,只保留错误和告警级别;
  • 把最异常的一条放在最前;
  • 把时间线摘要放在最后;
  • 原始日志按需展开,而不是一次性全塞。

这样上下文更短,关键信息在首尾,模型不需要在 30 条日志里“记住”中间那一条。过滤和摆放,往往比换更大窗口更能解决问题。

如何评测位置效应

评测不能只测“答案对不对”,还要测“位置变了会怎样”:

实验做法观察
位置扫描同一证据放不同位置召回率曲线
长度扫描固定证据,增加无关内容有效比例变化
冲突注入首尾放矛盾证据模型选哪条
引用核对要求标注证据编号是否真的使用

这些实验不需要很大成本,但能揭示系统对位置的敏感度。如果一个系统在证据从开头移到中间后准确率大幅下降,那么它的提示设计就是脆弱的,不能靠“窗口够大”来掩盖。

位置评测的另一个用途是回归:提示模板、检索顺序或模型版本一变,就重跑同一组位置扫描,确认曲线没有变差。

小结

  • 长上下文不等于有效记忆;模型对首尾信息利用更好,中间容易丢失。
  • 位置偏差可能来自注意力稀释、训练分布、位置编码和缺乏结构。
  • 有效上下文比例通常远低于窗口上限,加长窗口主要增加中间低效区域。
  • RAG 应优先提高检索精度、控制 k,而不是无限增加片段。
  • 关键证据放首尾,弱证据放中间或丢弃,用编号和引用让使用可验证。
  • 评测要扫描位置和长度,不能只测固定摆放下的准确率。

阅读导航:上一节:8.3 参数知识 vs 检索知识 · 下一节:9.2 长上下文 vs RAG:成本、质量与延迟 。

常见错误与边界

  1. 把窗口当记忆。 窗口是上限,不是有效容量;中间信息可能用不上。
  2. 无限增加 top-k。 低质量片段会稀释注意力,还可能引入冲突。
  3. 按相似度平铺。 最相关的片段可能被放在开头,但次相关的关键证据落入中间。
  4. 忽略长度对延迟和成本的影响。 长上下文请求更贵、首 token 更慢。
  5. 不做位置评测。 只测一种摆放,无法发现系统对位置敏感。
  6. 把教学曲线当实测结论。 本节的解析模型只演示趋势,具体模型的召回曲线必须实测。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图