《AI Agent 技术原理与架构·运行时、协议与系统架构》7.2 压缩、摘要与预算分配

摘要是对上下文的有损压缩:压缩率可量化,被丢掉的原文无法从摘要还原。运行时给不同片段分配 token 预算时,按重要性加权而非均分。实验用贪心句子选择量化保留率,演示分层预算分配,说明为什么压缩必须计损失——摘要只能告诉模型被保留的事实,丢失的句子无法重建。

以下文本、预算与权重均为教学假设,不构成对任何真实系统、供应商或生产环境的承诺。system:docs=3:1 的权重是讲解用的模型,真实系统按片段价值实测,但"压缩是有损的、被丢弃的原文无法还原"这一条不变。

7.1 讲了组装:预算内按优先级放。这一节讲组装装不下之后的手段:压缩。上下文超预算时,不能只靠挤出,还要把已有的片段变小。变小的方式是摘要,而摘要是有损压缩。

压缩必须算损失。被摘要掉的原句不会消失——它是真的丢了,模型只能读到摘要里的内容。这一节量化压缩率、演示按重要性加权分配预算,并强调那条最容易被忽略的事实:被丢掉的原文无法从摘要还原。

压缩是有损的

摘要是对上下文的有损压缩。有损的意思是可以量化:

量定义
原始字符原文总字符数
保留字符摘要保留的字符数
压缩率1 − 保留/原始

压缩率可量化是第一步:做完摘要,要能说出"保留了百分之多少"。但量化压缩率不等于量化损失——损失不只是"少了多少字符",而是"少了哪些事实"。被丢弃的句子无法从摘要还原,这正是"有损"的实质。

预算分配:加权而不是均分

压缩之后还要分配:谁多拿 token,谁少拿。均分是最省事也最错误的答案——检索文档和系统策略价值不同,凭什么等份?

按重要性权重分配:

片段权重预算 1000 的配额
system3750
docs1250

加权分配让"重要性"变成数字。 system 拿 3/4、docs 拿 1/4。这不是绝对真理,而是把决策显式化:权重怎么定,就是你对片段价值的判断。

最小实验:贪心选择、压缩率与分配

实验提供贪心句子选择(按长度在预算内选句)、压缩率量化与分层预算分配。

# file: agp_lab/context_compress.py | write
# tier: 3
# verify: python3 -m unittest tests.test_context_compress
"""压缩、摘要与预算分配:压缩率、信息损失与分层配额。

摘要是对上下文的有损压缩:压缩率可量化,被丢掉的原文无法
从摘要还原。运行时给不同片段分配 token 预算时,按重要性加权,
而不是均分。

本模块提供贪心句子选择(保留率量化)、分层预算分配,
并演示"压缩不可逆"——从摘要无法重建被丢弃的原文。
"""
from __future__ import annotations

from typing import Any


def select_sentences(sentences: list[str], budget_chars: int) -> list[int]:
    """在预算内贪心选择信息量最大的句子(按长度打分)。"""
    ranked = sorted(range(len(sentences)), key=lambda i: -len(sentences[i]))
    selected: list[int] = []
    used = 0
    for index in ranked:
        size = len(sentences[index])
        if used + size <= budget_chars:
            selected.append(index)
            used += size
    return sorted(selected)


def compression_stats(sentences: list[str], budget_chars: int) -> dict[str, Any]:
    """量化压缩:原始字符、保留字符、压缩率与选中句子索引。"""
    original = sum(len(sentence) for sentence in sentences)
    selected = select_sentences(sentences, budget_chars)
    kept_chars = sum(len(sentences[index]) for index in selected)
    return {
        "original_chars": original,
        "kept_chars": kept_chars,
        "compression_ratio": round(1 - kept_chars / original, 3),
        "selected_indexes": selected,
    }


def allocate_budget(total_budget: int, priorities: dict[str, int]) -> dict[str, int]:
    """按重要性权重分配 token 预算,返回 {片段名: 配额}。"""
    total = sum(priorities.values())
    return {name: int(total_budget * weight / total) for name, weight in priorities.items()}


TEXT: list[str] = [
    "系统在 09:00 收到告警:服务响应延迟超过阈值。",
    "健康检查每 30 秒执行一次,连续三次失败即判定不可用。",
    "处置预案要求先重启再扩容,重启后观察 5 分钟。",
    "变更窗口是 09:00-10:00,超时需要人工审批。",
]


def demo() -> dict[str, Any]:
    stats = compression_stats(TEXT, 60)
    original = sum(len(sentence) for sentence in TEXT)
    return {
        "stats": stats,
        "allocation": allocate_budget(1000, {"system": 3, "docs": 1}),
        "lossy": f"原文 {original} 字 -> 保留 {stats['kept_chars']} 字,被丢弃的句子无法还原",
    }


if __name__ == "__main__":
    for key, value in demo().items():
        print(f"{key}: {value}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.context_compress

输出:

stats: {'original_chars': 105, 'kept_chars': 55, 'compression_ratio': 0.476, 'selected_indexes': [1, 3]}
allocation: {'system': 750, 'docs': 250}
lossy: 原文 105 字 -> 保留 55 字,被丢弃的句子无法还原

三行输出对应三件事:

  1. stats:四句原文共 105 字,预算 60 字内贪心选了两句(索引 1、3),保留 55 字,压缩率 0.476。保留不到一半,但被选的是信息量最大的两句(贪心按长度打分,长句承载更多内容)。
  2. allocation:预算 1000 按 system:docs=3:1 分配,system 750、docs 250。加权而非均分,权重 3:1 直接变成配额 750:250。
  3. lossy:原文 105 字 -> 保留 55 字,被丢弃的句子无法还原——这句话把"有损"说透了:摘要不是可逆压缩。模型读到的是 55 字的事实,丢掉的 50 字信息从摘要里重建不回来。

一个值得点破的细节:selected_indexes=[1, 3] 保留的是句子 1(“健康检查每 30 秒执行一次,连续三次失败即判定不可用”)和句子 3(“变更窗口是 09:00-10:00,超时需要人工审批”),而不是句子 0。贪心按长度打分,说明压缩是"保信息量大的",不是"保排前面的"——句子 0 短、信息密度低,即使位置靠前也被放弃。这提醒压缩算法要按价值选句,不能按原文顺序截断。

压缩的另一个现实约束是它本身有成本。生成摘要要调用模型(花钱、花时间),压缩后丢失的信息可能在后续步骤里被需要(要重新检索)。所以"压多少、何时压"也是一个策略问题,不是无脑压到底。

策略触发时机代价
固定预算压缩每次请求每次都要算摘要
超限才压缩超过窗口才触发峰值时延迟
增量压缩只有新增内容才压上下文漂移

权重分配也不是一次定死。权重是表达价值判断的参数,应该随任务类型变化。一个检索密集型任务,docs 的权重应该比 system 高;一个安全敏感任务,system 的权重必须保底。把权重做成任务配置而不是代码常量,才能让预算分配随任务意图调整。

压缩的损失还有一个量化方法:在压缩前后各跑一次关键评测问题,对比答案质量。比如压缩前能答对的问题,压缩后是否仍能答对。这个对比把"压缩损失了多少"从定性变成定量——如果关键问题掉点,说明压过头了。

压缩策略要配观测指标才能调优,三个指标最容易用:

指标定义异常信号
压缩率1 − 保留/原始持续超高说明丢得多
触发频率每 N 次请求触发一次过高说明预算设计不合理
掉点率压缩后评测掉点比例掉点说明压过头

压缩率不是越高越好。 压到 90% 看起来省 token,但如果关键事实被摘要吞掉,后续步骤要靠重新检索补回来——省下的 token 在重检索里还回去。调优的目标不是"压得多",而是"压得不掉点":在压缩率与任务质量之间找平衡点。

压缩还有个与缓存相关的角度:压缩结果要稳定才能帮前缀缓存(7.3)。同一个片段每次压缩出不同的摘要,前缀就持续变化,缓存命中下降。给摘要做稳定化(固定 prompt、确定性选择),压缩就从"破坏缓存"变成"辅助缓存"。这与 7.1 的稳定前缀、7.2 的稳定压缩是一套连贯的设计。

压缩还有一个实时性与批量的取舍。摘要生成调用模型,单条压缩有延迟;批量压缩(多条一起)省调用次数但增加等待。交互场景要低延迟,压缩要轻、甚至异步;批处理场景可以接受更重、更慢的压缩。压缩策略与任务时延预算绑定——不能为了省 token 把交互延迟拖到不可接受。

场景压缩方式代价
交互轻量、异步摘要质量低
批处理重、批量延迟高但省调用
混合按片段分级复杂度高

压缩对象的粒度也要设计。 整段压缩会丢上下文,句子级压缩保留粒度但开销大。一个折中是按价值分层压缩:低价值片段(检索文档)先整段压缩,高价值片段(系统策略、任务规格)保原样或句子级。这与 7.2 的加权分配对应:权重高的不压或轻压,权重低的深度压缩。

压缩与安全也有接口:摘要可能泄露敏感细节、也可能把安全约束摘要丢了(系统策略里的禁令被压缩掉)。安全相关的片段默认不压缩或压缩后必须复审——压缩不能削减安全语义,这条优先级高于省 token。

压缩与组装(7.1)的接口是"预算内再压缩":组装把片段放进预算,压缩把放进去的片段变小、腾出预算给更多内容。两者的顺序有讲究——先组装(按优先级)后压缩(超预算的再压),或先压缩(全部变小)后组装(都放得下)。常用的是前者:优先级高但超预算的,压缩后再试;优先级低的,直接挤出。压缩是组装的第二阶段,不是平行操作。

顺序流程适用
先装后压优先级装入→超预算压缩内容多、优先级分明
先压后装全部压缩→装入内容超多、优先级均

压缩的预算本身也要设置:压缩不是无限压,有个"压缩后最小保留率"——低于这个就不值得保留,直接挤出。这个阈值和 7.1 的挤出机制配合:先压缩到最小保留,仍放不下就挤出。 压缩是"让更多内容进得来",挤出是"放弃装不下的",两者分界清晰。

压缩的"要不要压"也要按场景判定:一个片段本来就不大、后续还可能被模型逐字引用,压它反而丢关键信息。压缩不是默认动作,是按预算压力的触发动作——预算够就不压,预算紧才压,且从低价值开始压(见 7.1 优先级)。这避免"为了压缩而压缩"。

预算状态压缩策略
充足不压缩
紧张低价值片段压缩
耗尽挤出低价值(7.1)

压缩的信息损失要可预期,才有权决定"压哪些":每个片段的"压缩损失预算"不同——系统策略压不得,检索文档压得起。生产上给片段标"损失容忍度"(不可压/轻压/深压),压缩器按容忍度决定压缩深度。容忍度是压缩的另一个权重维度,与 7.1 的优先级、7.2 的加权分配并列——三张表共同决定"谁进、谁压、压多狠"。

损失容忍度片段示例压缩动作
不可压系统策略、安全约束保原样
轻压任务规格保留结构、略缩
深压检索文档、日志可深压缩

架构判据

压缩与预算分配是否合格,用五条判据检查:

判据合格的样子不合格的样子
压缩率可量化保留/原始有明确数字压完不知道压了多少
损失可描述能说出丢弃了哪些内容只说"压缩了"不列损失
按价值选句保留信息量大的句子按原文顺序截断
加权分配配额与片段价值匹配预算均分
摘要不可逆明确知道摘要丢事实把摘要当无损压缩

判据第一条"压缩率可量化"是基础,但判据第二条才是关键:压缩不仅要量化"少了多少",还要能说"丢了什么"。 判据第五条是认知底线:摘要不是可逆的,模型只能看到保留的事实,这个限制要写进架构。

小结

  • 摘要是对上下文的有损压缩:压缩率可量化,但被丢弃的句子无法从摘要还原。
  • 预算分配按重要性加权而非均分,权重就是你对片段价值的判断。
  • 贪心按信息量选句,不按原文顺序截断。
  • 压缩必须计损失:模型只能读到保留的事实,丢失的内容无法重建。

阅读导航:上一节:7.1 上下文组装:系统、任务、记忆、工具 · 下一节:7.3 前缀缓存与上下文复用 。

常见错误与边界

  1. 把摘要当无损。 摘要丢掉的句子无法还原;模型只能看到保留的事实,要接受这个损失。
  2. 只量化"少了多少",不说"丢了什么"。 压缩率数字之外,要能列出丢弃的内容才能审计。
  3. 按原文顺序截断。 位置靠前的短句信息量可能更低;要按价值选句,不按顺序截。
  4. 预算均分。 系统策略和检索文档价值不同;按权重分配,权重就是价值声明。
  5. 压缩只做一次。 上下文会持续增长,压缩要按需反复做;不是一次摘要一劳永逸。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图