以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
上下文窗口不是“能装多少装多少”的容器,而是一份有限预算。系统提示、工具定义、对话历史、检索片段、工具返回和待生成的输出,都在争同一块空间。没有显式分配,最先被牺牲的往往是输出——模型写到一半撞到上限,答案被截断,或者干脆没有空间做推理。
这一节把上下文当成预算问题:先保底,再按优先级补足,超出部分压缩或丢弃,并始终为输出留出空间。
预算的五个部分
一个典型 Agent 请求的上下文可以分成五块:
| 部分 | 内容 | 特点 |
|---|---|---|
| system | 角色、规则、安全约束 | 稳定,必须完整 |
| tools | 工具名、参数、说明 | 稳定,可精简 |
| history | 多轮对话与之前的动作 | 增长快,可压缩 |
| retrieved | 检索片段、文档 | 波动大,可裁剪 |
| output | 待生成答案与推理 | 必须预留 |
前四块是输入,第五块是输出。很多系统只计算输入,忘了输出也要占窗口;结果是在长输入下,模型没有足够空间生成完整答案。输出预算应该单独预留,而不是等输入拼完再看剩多少。
保底与优先级
预算分配可以分两步:
- 保底:每个部分先拿到一个最小值,保证系统能运行。
- 补足:剩余预算按优先级分配,直到用完或满足期望值。
保底的意义是防止某一类内容被完全挤掉。比如工具定义如果被截断,模型可能调用不存在的工具;系统提示如果被压缩,安全约束可能丢失。这些部分的“最小可用量”应该硬性保证,不参与竞争。
优先级则决定剩余预算给谁。通常系统提示和工具优先于历史,历史优先于检索;但这不是固定顺序,取决于任务。检索型任务可能需要更多空间给文档,对话型任务可能需要更多历史。
最小实验:分配与丢弃
下面的实验给五个部分设定最小值和期望值,总预算 8000。分配器先满足最小值,再按优先级补足,最后报告哪些部分没有拿到期望值。
# file: agp_lab/budget.py | write
# tier: 3
# verify: python3 -m unittest tests.test_budget
"""上下文预算分配:先保底、再按优先级补足、最后记录压缩。"""
from __future__ import annotations
from dataclasses import dataclass
@dataclass(frozen=True)
class Section:
name: str
priority: int
minimum: int
desired: int
SECTIONS = (
Section("system", 0, 500, 1_000),
Section("tools", 1, 1_000, 2_000),
Section("history", 2, 500, 4_000),
Section("retrieved", 3, 500, 12_000),
Section("output", 4, 1_000, 2_000),
)
def allocate(total: int, sections: tuple[Section, ...] = SECTIONS) -> dict[str, int]:
if total < 0:
raise ValueError("总预算不能为负")
ordered = sorted(sections, key=lambda section: section.priority)
allocation: dict[str, int] = {}
remaining = total
for section in ordered:
grant = min(section.minimum, remaining)
allocation[section.name] = grant
remaining -= grant
for section in ordered:
room = section.desired - allocation[section.name]
if room <= 0:
continue
grant = min(room, remaining)
allocation[section.name] += grant
remaining -= grant
return allocation
def dropped(sections: tuple[Section, ...], allocation: dict[str, int]) -> dict[str, int]:
return {
section.name: section.desired - allocation.get(section.name, 0)
for section in sections
if allocation.get(section.name, 0) < section.desired
}
if __name__ == "__main__":
total = 8_000
allocation = allocate(total)
print("allocation:", allocation)
print("used:", sum(allocation.values()), "of", total)
print("dropped:", dropped(SECTIONS, allocation))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.budget
输出:
allocation: {'system': 1000, 'tools': 2000, 'history': 3500, 'retrieved': 500, 'output': 1000}
used: 8000 of 8000
dropped: {'history': 500, 'retrieved': 11500, 'output': 1000}
系统提示和工具拿到了完整期望值:1000 和 2000。历史拿到 3500,比期望的 4000 少 500。检索只拿到保底的 500,距离期望的 12000 差 11500。输出拿到保底的 1000,距离期望的 2000 少 1000。
这个结果暴露了一个常见问题:检索的期望值太大,优先级又低,几乎必然被大幅压缩。 如果任务真的需要 12000 token 的检索内容,那么总预算 8000 本身就不够,应该提高预算、减少检索量,或者把检索拆成多轮,而不是让分配器悄悄截掉 11500。
dropped 的价值在于把“悄悄截断”变成“显式记录”。系统应该知道哪些部分被压缩了多少,并在日志或响应里体现;否则排查“为什么模型没看到某段文档”会非常困难。
压缩的四种手段
预算不够时,至少有四种处理方式:
| 手段 | 做法 | 风险 |
|---|---|---|
| 截断 | 保留开头/结尾 | 丢失中间关键信息 |
| 摘要 | 用小模型压缩 | 摘要可能失真 |
| 结构化 | 只保留字段和结论 | 丢失上下文 |
| 丢弃 | 整段移除 | 可能删除必要证据 |
截断最便宜,也最容易出错。按“保留开头”截断,会丢掉结尾的结论;按“保留结尾”截断,会丢掉前提。更稳妥的做法是按结构截断:保留标题、结论和引用,压缩中间过程。
摘要适合历史对话。把前几轮压缩成“用户目标、已确认事实、未决问题”,比保留全文更省空间,也更聚焦。但摘要会引入二次错误,关键数字和约束应该原样保留,不交给摘要模型改写。
输出预留为什么重要
输出预留经常被忽略,因为它在请求发出时还不存在。但模型需要在剩余空间里生成答案和推理轨迹;如果输入占满了窗口,输出会被硬截断。
一个实用的规则是:
- 简单问答预留 500–1000 token;
- 需要推理或多步工具调用预留 2000–4000;
- 结构化长输出按 schema 估算上限。
输出预留应该从总预算里先扣除,再分配给输入。这样输入分配器看到的是“可用输入预算”,而不是“窗口上限”,避免把输出空间挤没。
动态重分配
固定比例在任务之间差异很大。更好的做法是按任务动态调整:
| 任务 | 调整 |
|---|---|
| 检索问答 | 提高 retrieved,压缩 history |
| 多轮客服 | 提高 history,控制 retrieved |
| 代码修复 | 提高 tools 和 output,压缩 retrieved |
| 长文档分析 | 提高 retrieved,历史只留结论 |
动态调整的依据可以来自任务类型、历史长度、检索命中数和上一轮是否被截断。关键是调整要显式、可观测,而不是让某个拼接函数在暗处决定。
预算与成本的边界
上下文预算不等于成本预算。窗口是硬上限,成本是软约束:
- 窗口决定“最多能放多少”;
- 成本决定“愿意放多少”;
- 延迟决定“来得及放多少”。
三者可能给出不同答案。一个请求窗口能放 128k,但成本只允许 20k,延迟只允许 8k;最终预算应该取三者最小值。只按窗口设计,会做出又贵又慢的系统。
架构含义
上下文预算对架构有四个直接约束:
- 预算要显式。 每个部分有最小值、期望值和优先级,不靠拼接顺序决定。
- 输出要预留。 先从总预算扣除输出,再分配输入。
- 压缩要可记录。 截断、摘要、丢弃都要留下度量,便于排查。
- 超预算要报错。 期望值远超预算时,应该调整方案,而不是静默截断。
第 4 条是很多系统的分水岭。静默截断让问题在模型输出里表现为“没看到”,排查成本极高;显式报错或降级,能让问题在架构层被发现。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 预算显式 | 各部分有配额 | 拼接后看剩多少 |
| 输出预留 | 先扣输出再分输入 | 输入占满窗口 |
| 压缩可观测 | 记录截断量与原因 | 静默截断 |
| 超限有动作 | 报错/降级/拆轮 | 继续拼到上限 |
| 按任务调整 | 配额随任务变化 | 全局固定比例 |
这些判据里,“压缩可观测”直接决定可维护性。一个 Agent 答错时,团队需要知道模型到底看到了什么;如果上下文在拼接阶段被悄悄改过,任何评测都无法复现问题。
一个运维 Agent 的例子
运维 Agent 要分析一次线上故障。上下文包括:
- 系统提示 800 token;
- 工具定义 1500 token;
- 前 6 轮排查历史 3000 token;
- 检索到的日志和文档 20000 token;
- 待生成的诊断报告 2000 token。
窗口 32k,看起来够用。但如果把检索结果全量拼进去,输入已达 25300,加上输出预留 2000,还剩不到 5000 给模型推理。更稳妥的做法是:
- 检索只保留错误级别日志和最近 10 分钟;
- 历史压缩成“已排查项、已排除项、当前假设”;
- 输出预留 3000,保证报告完整;
- 把完整日志放到外部存储,答案里给引用。
这个例子说明,预算问题往往不是“窗口不够大”,而是“没有筛选”。先筛再拼,比换更大窗口更有效。
如何评测预算策略
预算策略也需要评测:
| 指标 | 含义 |
|---|---|
| 截断率 | 多少请求发生了截断 |
| 输出截断率 | 多少答案因空间不足被截断 |
| 关键证据保留率 | 必要片段是否进入上下文 |
| 压缩失真率 | 摘要后答案是否变差 |
| 成本/延迟 | 预算策略的代价 |
输出截断率应该接近零。如果它明显大于零,说明输出预留不足或输入分配过于激进。关键证据保留率则需要人工标注或规则检查,确认压缩没有删掉必要信息。
小结
- 上下文是预算:系统、工具、历史、检索、输出共享同一块空间。
- 先保底再按优先级补足;保底防止关键部分被完全挤掉。
- 输出必须单独预留,否则长输入会把答案截断。
- 压缩有截断、摘要、结构化、丢弃四种手段,各有失真风险。
- 预算应按任务动态调整;窗口、成本、延迟三者取最小值。
- 截断和丢弃要可观测;静默截断会让问题无法复现。
阅读导航:上一节:9.2 长上下文与 RAG 的成本/质量边界 · 下一节:10.1 多模态感知:图像、音频与文档 。
常见错误与边界
- 只算输入不算输出。 输入占满窗口,答案会被截断或无法推理。
- 没有保底。 工具定义或系统提示被截断,模型会调用不存在的工具或丢失约束。
- 静默截断。 不记录截断量,排查时无法知道模型看到了什么。
- 期望值远超预算。 应该调整方案或拆轮,而不是让分配器悄悄删掉大部分内容。
- 全局固定比例。 检索型和多轮型任务的预算结构不同,固定比例会两头不讨好。
- 把窗口当成本预算。 窗口是上限,成本和延迟才是实际约束。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。