《AI Agent 技术原理与架构·模型、推理与能力边界》9.3 上下文预算分配:什么该放前面

上下文窗口是一个有限预算,系统提示、工具定义、对话历史、检索片段和输出都要从里面分。没有预算就会互相挤占:检索塞满导致输出被截断,历史无限增长挤掉工具结果。本节用保底加优先级的分配实验,演示压缩、丢弃与输出预留的工程方法,并把每次截断记录成可观测的日志。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

上下文窗口不是“能装多少装多少”的容器,而是一份有限预算。系统提示、工具定义、对话历史、检索片段、工具返回和待生成的输出,都在争同一块空间。没有显式分配,最先被牺牲的往往是输出——模型写到一半撞到上限,答案被截断,或者干脆没有空间做推理。

这一节把上下文当成预算问题:先保底,再按优先级补足,超出部分压缩或丢弃,并始终为输出留出空间。

预算的五个部分

一个典型 Agent 请求的上下文可以分成五块:

部分内容特点
system角色、规则、安全约束稳定,必须完整
tools工具名、参数、说明稳定,可精简
history多轮对话与之前的动作增长快,可压缩
retrieved检索片段、文档波动大,可裁剪
output待生成答案与推理必须预留

前四块是输入,第五块是输出。很多系统只计算输入,忘了输出也要占窗口;结果是在长输入下,模型没有足够空间生成完整答案。输出预算应该单独预留,而不是等输入拼完再看剩多少。

保底与优先级

预算分配可以分两步:

  1. 保底:每个部分先拿到一个最小值,保证系统能运行。
  2. 补足:剩余预算按优先级分配,直到用完或满足期望值。

保底的意义是防止某一类内容被完全挤掉。比如工具定义如果被截断,模型可能调用不存在的工具;系统提示如果被压缩,安全约束可能丢失。这些部分的“最小可用量”应该硬性保证,不参与竞争。

优先级则决定剩余预算给谁。通常系统提示和工具优先于历史,历史优先于检索;但这不是固定顺序,取决于任务。检索型任务可能需要更多空间给文档,对话型任务可能需要更多历史。

最小实验:分配与丢弃

下面的实验给五个部分设定最小值和期望值,总预算 8000。分配器先满足最小值,再按优先级补足,最后报告哪些部分没有拿到期望值。

# file: agp_lab/budget.py | write
# tier: 3
# verify: python3 -m unittest tests.test_budget
"""上下文预算分配:先保底、再按优先级补足、最后记录压缩。"""
from __future__ import annotations

from dataclasses import dataclass


@dataclass(frozen=True)
class Section:
    name: str
    priority: int
    minimum: int
    desired: int


SECTIONS = (
    Section("system", 0, 500, 1_000),
    Section("tools", 1, 1_000, 2_000),
    Section("history", 2, 500, 4_000),
    Section("retrieved", 3, 500, 12_000),
    Section("output", 4, 1_000, 2_000),
)


def allocate(total: int, sections: tuple[Section, ...] = SECTIONS) -> dict[str, int]:
    if total < 0:
        raise ValueError("总预算不能为负")
    ordered = sorted(sections, key=lambda section: section.priority)
    allocation: dict[str, int] = {}
    remaining = total
    for section in ordered:
        grant = min(section.minimum, remaining)
        allocation[section.name] = grant
        remaining -= grant
    for section in ordered:
        room = section.desired - allocation[section.name]
        if room <= 0:
            continue
        grant = min(room, remaining)
        allocation[section.name] += grant
        remaining -= grant
    return allocation


def dropped(sections: tuple[Section, ...], allocation: dict[str, int]) -> dict[str, int]:
    return {
        section.name: section.desired - allocation.get(section.name, 0)
        for section in sections
        if allocation.get(section.name, 0) < section.desired
    }


if __name__ == "__main__":
    total = 8_000
    allocation = allocate(total)
    print("allocation:", allocation)
    print("used:", sum(allocation.values()), "of", total)
    print("dropped:", dropped(SECTIONS, allocation))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.budget

输出:

allocation: {'system': 1000, 'tools': 2000, 'history': 3500, 'retrieved': 500, 'output': 1000}
used: 8000 of 8000
dropped: {'history': 500, 'retrieved': 11500, 'output': 1000}

系统提示和工具拿到了完整期望值:1000 和 2000。历史拿到 3500,比期望的 4000 少 500。检索只拿到保底的 500,距离期望的 12000 差 11500。输出拿到保底的 1000,距离期望的 2000 少 1000。

这个结果暴露了一个常见问题:检索的期望值太大,优先级又低,几乎必然被大幅压缩。 如果任务真的需要 12000 token 的检索内容,那么总预算 8000 本身就不够,应该提高预算、减少检索量,或者把检索拆成多轮,而不是让分配器悄悄截掉 11500。

dropped 的价值在于把“悄悄截断”变成“显式记录”。系统应该知道哪些部分被压缩了多少,并在日志或响应里体现;否则排查“为什么模型没看到某段文档”会非常困难。

压缩的四种手段

预算不够时,至少有四种处理方式:

手段做法风险
截断保留开头/结尾丢失中间关键信息
摘要用小模型压缩摘要可能失真
结构化只保留字段和结论丢失上下文
丢弃整段移除可能删除必要证据

截断最便宜,也最容易出错。按“保留开头”截断,会丢掉结尾的结论;按“保留结尾”截断,会丢掉前提。更稳妥的做法是按结构截断:保留标题、结论和引用,压缩中间过程。

摘要适合历史对话。把前几轮压缩成“用户目标、已确认事实、未决问题”,比保留全文更省空间,也更聚焦。但摘要会引入二次错误,关键数字和约束应该原样保留,不交给摘要模型改写。

输出预留为什么重要

输出预留经常被忽略,因为它在请求发出时还不存在。但模型需要在剩余空间里生成答案和推理轨迹;如果输入占满了窗口,输出会被硬截断。

一个实用的规则是:

  • 简单问答预留 500–1000 token;
  • 需要推理或多步工具调用预留 2000–4000;
  • 结构化长输出按 schema 估算上限。

输出预留应该从总预算里先扣除,再分配给输入。这样输入分配器看到的是“可用输入预算”,而不是“窗口上限”,避免把输出空间挤没。

动态重分配

固定比例在任务之间差异很大。更好的做法是按任务动态调整:

任务调整
检索问答提高 retrieved,压缩 history
多轮客服提高 history,控制 retrieved
代码修复提高 tools 和 output,压缩 retrieved
长文档分析提高 retrieved,历史只留结论

动态调整的依据可以来自任务类型、历史长度、检索命中数和上一轮是否被截断。关键是调整要显式、可观测,而不是让某个拼接函数在暗处决定。

预算与成本的边界

上下文预算不等于成本预算。窗口是硬上限,成本是软约束:

  • 窗口决定“最多能放多少”;
  • 成本决定“愿意放多少”;
  • 延迟决定“来得及放多少”。

三者可能给出不同答案。一个请求窗口能放 128k,但成本只允许 20k,延迟只允许 8k;最终预算应该取三者最小值。只按窗口设计,会做出又贵又慢的系统。

架构含义

上下文预算对架构有四个直接约束:

  1. 预算要显式。 每个部分有最小值、期望值和优先级,不靠拼接顺序决定。
  2. 输出要预留。 先从总预算扣除输出,再分配输入。
  3. 压缩要可记录。 截断、摘要、丢弃都要留下度量,便于排查。
  4. 超预算要报错。 期望值远超预算时,应该调整方案,而不是静默截断。

第 4 条是很多系统的分水岭。静默截断让问题在模型输出里表现为“没看到”,排查成本极高;显式报错或降级,能让问题在架构层被发现。

架构判据

判据合格的样子不合格的样子
预算显式各部分有配额拼接后看剩多少
输出预留先扣输出再分输入输入占满窗口
压缩可观测记录截断量与原因静默截断
超限有动作报错/降级/拆轮继续拼到上限
按任务调整配额随任务变化全局固定比例

这些判据里,“压缩可观测”直接决定可维护性。一个 Agent 答错时,团队需要知道模型到底看到了什么;如果上下文在拼接阶段被悄悄改过,任何评测都无法复现问题。

一个运维 Agent 的例子

运维 Agent 要分析一次线上故障。上下文包括:

  • 系统提示 800 token;
  • 工具定义 1500 token;
  • 前 6 轮排查历史 3000 token;
  • 检索到的日志和文档 20000 token;
  • 待生成的诊断报告 2000 token。

窗口 32k,看起来够用。但如果把检索结果全量拼进去,输入已达 25300,加上输出预留 2000,还剩不到 5000 给模型推理。更稳妥的做法是:

  1. 检索只保留错误级别日志和最近 10 分钟;
  2. 历史压缩成“已排查项、已排除项、当前假设”;
  3. 输出预留 3000,保证报告完整;
  4. 把完整日志放到外部存储,答案里给引用。

这个例子说明,预算问题往往不是“窗口不够大”,而是“没有筛选”。先筛再拼,比换更大窗口更有效。

如何评测预算策略

预算策略也需要评测:

指标含义
截断率多少请求发生了截断
输出截断率多少答案因空间不足被截断
关键证据保留率必要片段是否进入上下文
压缩失真率摘要后答案是否变差
成本/延迟预算策略的代价

输出截断率应该接近零。如果它明显大于零,说明输出预留不足或输入分配过于激进。关键证据保留率则需要人工标注或规则检查,确认压缩没有删掉必要信息。

小结

  • 上下文是预算:系统、工具、历史、检索、输出共享同一块空间。
  • 先保底再按优先级补足;保底防止关键部分被完全挤掉。
  • 输出必须单独预留,否则长输入会把答案截断。
  • 压缩有截断、摘要、结构化、丢弃四种手段,各有失真风险。
  • 预算应按任务动态调整;窗口、成本、延迟三者取最小值。
  • 截断和丢弃要可观测;静默截断会让问题无法复现。

阅读导航:上一节:9.2 长上下文与 RAG 的成本/质量边界 · 下一节:10.1 多模态感知:图像、音频与文档 。

常见错误与边界

  1. 只算输入不算输出。 输入占满窗口,答案会被截断或无法推理。
  2. 没有保底。 工具定义或系统提示被截断,模型会调用不存在的工具或丢失约束。
  3. 静默截断。 不记录截断量,排查时无法知道模型看到了什么。
  4. 期望值远超预算。 应该调整方案或拆轮,而不是让分配器悄悄删掉大部分内容。
  5. 全局固定比例。 检索型和多轮型任务的预算结构不同,固定比例会两头不讨好。
  6. 把窗口当成本预算。 窗口是上限,成本和延迟才是实际约束。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图