《AI Agent 技术原理与架构·决策、记忆与学习》9.2 摘要与压缩:损失、可逆性与风险

长上下文塞不下时,压缩是必然选择,但压缩不是免费的:保留什么、丢失什么,取决于截断策略而不取决于“关键”。本节用固定事实表演示压缩率与整体保留率、关键事实保留率的关系,说明截断位置决定损失分布、压缩不可逆,并给出摘要丢失审计与关键事实保护的判据。

以下数字为教学示例,不构成对任何真实系统或供应商的承诺。

上下文塞不下时,Agent 必须压缩。压缩的第一直觉是"把对话摘要一下",但摘要的本质是丢弃事实。丢掉什么、留下什么,由摘要策略决定,不由"这些事实重不重要"决定——除非关键集合是显式输入的。这就是压缩风险的核心:系统并不知道自己丢了什么,除非它把"不能丢的"单独声明出来。

这一节把压缩建模成"按比例截断事实表",量化三个量:整体保留率、关键事实保留率、丢失清单。实验用固定事实表展示压缩率与损失的关系,以及截断位置造成的损失分布。

压缩的三个量

压缩之后必须能回答三个问题:

问题指标为什么重要
保留了百分之多少整体保留率容量换来了多少覆盖
关键的没丢吧关键保留率任务能否继续
丢了哪些丢失清单是否能审计与补救

只报第一个量最危险:整体保留率 100% 可能是关键事实全在,也可能是关键事实恰好排在截断线之外。压缩评测必须同时报三个量。

截断位置决定损失分布

“按比例截断前 N 条"是最简单的压缩,但它暴露一个普遍问题:损失分布由位置决定,不由重要性决定。排在文档前段的事实活下来,排在后面的事实(哪怕更关键)先被丢掉。

这不是某个实现的问题,而是所有"按序截断"类压缩的共性。摘要模型倾向于先总结开头、后总结结尾;缓存裁剪倾向于先丢弃最旧的上下文——结果都一样:谁的位置靠后,谁先被牺牲。要打破这个倾向,必须显式标记关键事实,而不是指望顺序。

压缩不可逆

压缩是有损的,而且不可逆:丢失的事实无法从摘要里恢复,除非重新访问源文档。这个性质决定了压缩的架构含义:

  1. 压缩后的上下文只能支持"摘要能回答的问题”;
  2. 需要完整事实的问题必须在压缩前解决或记录来源;
  3. 压缩必须留下"源在哪"的指针,否则损失是永久且不可审计的。

“不可逆"与"可审计"要一起看:丢了不可怕,可怕的是丢了还不知道、回不去。

最小实验:四档压缩率

下面的实验把 8 条事实按四档比例截断,并声明 3 条关键事实。整体保留、关键保留、丢失清单一起输出。

# file: agp_lab/compression.py | write
# tier: 3
# verify: python3 -m unittest tests.test_compression
"""摘要与压缩:损失、可逆性与风险。

压缩把文档按比例截断:保留前若干个事实。模型无法保证保留的是"关键"
事实,除非关键集合是显式输入。实验用固定事实表展示三件事:

1. 压缩率越高,保留的事实越少,损失单调增长;
2. 关键事实的保留率(retention)不等于整体保留率:截断位置决定损失分布;
3. 压缩是不可逆的:丢失的事实无法从摘要恢复,除非重新访问源文档。
"""
from __future__ import annotations

from dataclasses import dataclass

DOC = (
    "api=webhook_v2",
    "auth=token_header",
    "timeout=30",
    "retry=3",
    "idempotent=key",
    "signature=hmac",
    "schema_version=1",
    "log_level=warn",
)
REQUIRED = frozenset({"auth=token_header", "timeout=30", "idempotent=key"})
RATIOS = (1.0, 0.75, 0.5, 0.25)


def compress(doc: tuple[str, ...], ratio: float) -> tuple[str, ...]:
    """保留前 floor(len(doc) * ratio) 条事实;截断顺序是声明的。"""
    if not 0.0 < ratio <= 1.0:
        raise ValueError("ratio 必须在 (0, 1] 内")
    count = int(len(doc) * ratio)
    return tuple(doc[:count])


def retained_facts(summary: tuple[str, ...]) -> frozenset[str]:
    return frozenset(summary)


def retention(summary: tuple[str, ...], required: frozenset[str] = REQUIRED) -> float:
    if not required:
        return 1.0
    kept = retained_facts(summary) & required
    return len(kept) / len(required)


def lost_facts(doc: tuple[str, ...], summary: tuple[str, ...]) -> tuple[str, ...]:
    kept = set(summary)
    return tuple(fact for fact in doc if fact not in kept)


@dataclass(frozen=True)
class Row:
    ratio: float
    kept: int
    total: int
    required_kept: int
    retention: float
    lost: tuple[str, ...]


def experiment(
    doc: tuple[str, ...] = DOC,
    required: frozenset[str] = REQUIRED,
    ratios: tuple[float, ...] = RATIOS,
) -> list[Row]:
    rows: list[Row] = []
    for ratio in ratios:
        summary = compress(doc, ratio)
        kept = retained_facts(summary)
        lost = lost_facts(doc, summary)
        rows.append(
            Row(
                ratio=ratio,
                kept=len(kept),
                total=len(doc),
                required_kept=len(kept & required),
                retention=retention(summary, required),
                lost=lost,
            )
        )
    return rows


if __name__ == "__main__":
    print(f"{'压缩率':<8}{'保留事实':>10}{'总数':>6}{'关键保留':>10}{'retention':>12}")
    for row in experiment():
        print(
            f"{row.ratio:<8.2f}{row.kept:>10}{row.total:>6}"
            f"{row.required_kept:>10}{row.retention:>12.2f}"
        )
    print()
    for row in experiment():
        lost = ",".join(row.lost) or "-"
        print(f"ratio={row.ratio:.2f} 丢失={lost}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.compression

输出:

压缩率           保留事实    总数      关键保留   retention
1.00             8     8         3        1.00
0.75             6     8         3        1.00
0.50             4     8         2        0.67
0.25             2     8         1        0.33

ratio=1.00 丢失=-
ratio=0.75 丢失=schema_version=1,log_level=warn
ratio=0.50 丢失=idempotent=key,signature=hmac,schema_version=1,log_level=warn
ratio=0.25 丢失=timeout=30,retry=3,idempotent=key,signature=hmac,schema_version=1,log_level=warn

这张表是三件事的量化证据。

整体保留率高不代表关键保留率高。 ratio=0.75 保留了 6/8(75%),关键事实 3/3 全在,看着很好;ratio=0.50 保留了 4/8(50%),关键事实只剩 2/3(0.67)。整体保留率 50% 时,关键保留率掉了 33%——损失不是线性的,关键事实的损失率更高。

丢失清单暴露了位置偏置。 ratio=0.50 丢失的是 idempotent=key, signature=hmac, schema_version=1, log_level=warn——全是文档后段的四件事。auth=token_header 和 timeout=30 因为排在第 2、3 位而幸存。这里没有"重要性"参与,只有位置。丢失清单的价值就在这里:一眼看出"丢的是后面的”,然后决定要不要把这些排到前面。

0.75 是个陷阱档。 它丢了 schema_version 和 log_level——这两条不在 REQUIRED 里,所以关键保留率还是 1.00。但如果任务的正确性依赖 schema 版本(比如要按版本决定调用格式),这两条就是隐性的关键事实,只是没被声明。未声明的关键事实,压缩会替你丢掉。 这正是"关键集合必须显式输入"的含义。

摘要的"智能"不等于安全

大模型生成的摘要看起来比截断"智能",但它同样有三类不可控:

  1. 关键事实被概括掉:摘要模型把细节抹平成结论,细节正是任务需要的;
  2. 损失不可枚举:截断能列出丢失清单,摘要很难——模型不会报告"我丢了 X";
  3. 生成式失真:摘要可能改写、合并、甚至编造,比"丢了"更危险。

因此工程上有个倒挂的结论:对关键事实,宁可截断+显式保留,不要交给摘要。摘要适合压缩"可丢失"的部分;不可丢失的部分应该用显式结构(关键字段、来源指针)保住。

架构含义

压缩对架构有三个直接约束:

  1. 关键事实单独声明。 任务依赖的字段必须显式标记,进入压缩保护的名单。
  2. 压缩要有审计面。 每次压缩输出丢失清单,关键保留率低于阈值要告警。
  3. 源文档要可回退。 压缩后的上下文记录来源指针,需要完整事实时重新访问。

第 1 条是防丢的根:只要关键集合是隐式的,任何压缩策略都可能恰好丢掉最需要的部分。

架构判据

判据合格的样子不合格的样子
关键声明关键事实显式标记靠摘要模型"自动把握"
三量同报整体/关键/丢失都输出只报保留率
可回退记录源文档指针压缩后无法找回
阈值告警关键保留率低于阈值报警丢了也没人知道
生成摘要受限只压缩可丢失部分全文交给摘要

“生成摘要受限"提醒:摘要不是压缩的默认解,而是"可丢失内容"的压缩器。关键内容走显式保护通道。

与三条工作负载的关系

  • W1 检索问答:压缩风险是丢掉引用细节,证据链断掉;关键保留率要 100%。
  • W2 代码修复:压缩风险是丢约束与测试记录,修复方向的依据消失。
  • W3 运维处置:压缩风险是丢审批记录与状态事实,不可逆动作的依据不可靠。

W3 的教训最极端:把"谁批准了这个动作、当前服务处于什么状态"摘要掉,等于在不可逆操作前丢掉了前提。W3 的上下文宁可不压缩,也不能丢关键事实。

小结

  • 压缩的本质是丢弃事实;保留什么由截断策略决定,不由重要性决定。
  • 三个量要同报:整体保留率、关键保留率、丢失清单。
  • 截断位置决定损失分布:排在后面的关键事实先被牺牲。
  • 压缩不可逆:丢失的事实无法从摘要恢复,必须留源指针。
  • 摘要的"智能"不等于安全:生成式失真比"丢了"更危险。
  • 关键事实要显式声明并走保护通道,不可丢失的内容不能交给摘要。

阅读导航:上一节:9.1 检索:召回、重排与注入位置 · 下一节:9.3 上下文预算:分配、优先级与淘汰 。

常见错误与边界

  1. 只报整体保留率。 关键事实可能恰好排在截断线外,整体率 100% 也保不住。
  2. 依赖顺序保护。 按序截断牺牲后段事实;关键事实必须显式标记。
  3. 摘要丢细节。 任务需要的字段被概括掉,比"丢了"更隐蔽。
  4. 压缩不留指针。 不可逆的损失无法回退,事后无法审计。
  5. 全文交给摘要。 摘要只该压缩可丢失部分;关键内容走显式保护。
  6. 没有告警。 关键保留率跌破阈值无人发现,压缩风险静默扩散。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图