以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
上一节讲怎么记录和回放,这一节讲回放的边界。很多团队在事故复盘时承诺“以后可以完整复现”,但真正做起来会发现:转账已经发生、邮件已经发出、第三方接口已经改版、审批人已经换了。回放能重演计算,不能重演世界。
把“能不能回放”说清楚,比承诺“全部可回放”更有价值。它决定了记录要存多细、测试要覆盖到什么程度、事故复盘应该期待什么。
三种可回放性
| 档位 | 含义 | 能回答的问题 |
|---|---|---|
| 精确回放 | 相同输入得到相同输出 | 这次为什么选了这个 token/动作 |
| 统计回放 | 多次运行指标在区间内一致 | 改动是否让整体效果变差 |
| 不可回放 | 外部状态已变,无法重演 | 当时发生了什么(审计) |
精确回放要求固定模型、种子、检索快照、batch 策略和硬件;统计回放只要求同分布、同评测集;不可回放不是“记录没用”,而是记录只能用于审计和解释,不能用于重跑。
什么会让回放失效
| 因素 | 例子 | 影响 |
|---|---|---|
| 外部副作用 | 转账、发邮件、删文件 | 不能重放动作 |
| 实时数据 | 库存、价格、汇率 | 重跑时输入已变 |
| 人工审批 | 经理批准、客服确认 | 无法复现人的决定 |
| 第三方变化 | API 改版、模型下线 | 同一调用不再可用 |
| 时间依赖 | “今天”“最近 7 天” | 重跑时窗口不同 |
| 权限变化 | 令牌过期、角色调整 | 同一请求被拒绝 |
这些因素里,外部副作用最根本:它不仅让回放“结果不同”,还让回放“不能执行”。实时数据和第三方变化让输入漂移;人工审批让决策链缺一环;时间依赖让同一句话在不同日期指向不同区间。
最小实验:分档与记录成本
下面的实验用四个请求演示分档:离线评测、RAG 问答、工具写入、实时聊天。每个请求带四个属性:是否有种子、是否有检索快照、是否受 batch 影响、是否有外部副作用。
# file: agp_lab/replay_bounds.py | write
# tier: 3
# verify: python3 -m unittest tests.test_replay_bounds
"""可重放边界:精确、统计、不可重放三档及其成本。"""
from __future__ import annotations
from dataclasses import dataclass
@dataclass(frozen=True)
class Request:
name: str
has_seed: bool
has_snapshot: bool
batch_sensitive: bool
external_side_effect: bool
REQUESTS = (
Request("offline-eval", True, True, False, False),
Request("rag-answer", True, True, True, False),
Request("tool-write", True, False, True, True),
Request("live-chat", False, False, True, False),
)
def replayability(request: Request) -> str:
if request.external_side_effect:
return "none"
if request.has_seed and request.has_snapshot and not request.batch_sensitive:
return "exact"
if request.has_seed and request.has_snapshot:
return "statistical"
return "none"
def record_cost(request: Request) -> str:
level = replayability(request)
if level == "exact":
return "standard"
if level == "statistical":
return "verbose"
return "audit-only"
def summary(requests: tuple[Request, ...] = REQUESTS) -> dict[str, int]:
result = {"exact": 0, "statistical": 0, "none": 0}
for request in requests:
result[replayability(request)] += 1
return result
if __name__ == "__main__":
for request in REQUESTS:
print(f"{request.name:<12} replay={replayability(request):<12} "
f"record={record_cost(request)}")
print("summary:", summary())
运行:
cd private/labs/agp-lab
python3 -m agp_lab.replay_bounds
输出:
offline-eval replay=exact record=standard
rag-answer replay=statistical record=verbose
tool-write replay=none record=audit-only
live-chat replay=none record=audit-only
summary: {'exact': 1, 'statistical': 1, 'none': 2}
offline-eval 有种子、有快照、不受 batch 影响、无副作用,判为精确回放,记录成本 standard。rag-answer 有种子和快照,但受 batch 影响,只能做到统计回放,记录成本升到 verbose,因为需要更多样本来估计区间。
tool-write 有外部副作用,直接判为不可回放,记录降到 audit-only:不是不记录,而是记录的目的从“重跑”变成“审计”。live-chat 没有种子和快照,也只能 audit-only。
summary 显示 1 个精确、1 个统计、2 个不可回放。这个分布很典型:真正能精确回放的是离线、受控的任务;线上交互和写操作大多只能审计。
审计不等于复现
审计回答“当时发生了什么”:谁在什么时候、基于什么输入、做了什么动作、结果如何。复现回答“如果再来一次,会不会一样”。两者需要不同的记录:
| 目标 | 需要记录 | 不需要 |
|---|---|---|
| 审计 | 输入、决策、动作、结果、责任人 | 模型内部 logits |
| 精确复现 | 上述 + 种子、快照、引擎版本、batch 策略 | 业务审批链 |
| 统计复现 | 评测集、指标、多次运行 | 单次完整轨迹 |
把审计记录当成复现记录,会高估系统的可复现性;把复现记录当成审计记录,会漏掉责任和业务上下文。两者的 schema 应该分开设计,而不是一套日志包打天下。
为不同任务设定目标
不是所有任务都值得追求精确回放:
| 任务 | 合理目标 | 理由 |
|---|---|---|
| 离线评测 | 精确/统计 | 受控环境,可固定变量 |
| 代码生成 | 语义复现 | 措辞可变,测试通过即可 |
| RAG 问答 | 统计复现 | 检索与生成都有波动 |
| 工具写入 | 审计 | 副作用不可重放 |
| 实时聊天 | 审计 | 输入和上下文持续变化 |
目标定得过高,会导致过度记录和虚假承诺;定得过低,会让回归测试失去意义。关键是按任务的可控性和后果来定,而不是全站一个标准。
回放边界的工程处理
面对不可回放的部分,可以做的是“隔离”和“替代”,而不是假装能重演:
- 副作用隔离:写操作在沙箱或 dry-run 中执行,记录结果用于审计;
- 输入快照:检索、库存、价格在请求开始时快照,回放时用快照;
- 时间注入:把“现在”作为参数传入,而不是在代码里读系统时钟;
- 审批模拟:记录审批结果,回放时用记录值代替真人;
- 外部依赖 Mock:第三方 API 用录制响应替代,并标注版本。
这些手段能把“不可回放”缩小到真正不可控的部分。比如转账动作仍然不能重放,但它的参数、审批和返回可以被审计;模型为什么选择转账,可以在固定检索和提示后做部分回放。
过度承诺的代价
“我们支持完整回放”是一个很容易做出的承诺,代价通常在半年后出现:
- 存储成本随全文日志增长;
- 隐私合规要求删除历史数据,回放样本随之消失;
- 模型版本下线,旧记录无法重跑;
- 团队把回放当测试,忽略了真实环境的漂移。
更诚实的说法是分级:“离线评测可精确回放;线上问答可统计复现;写操作只做审计。”这样团队知道能依赖什么,也知道哪里需要补充测试。
回放失效时的替代
当精确回放不可行时,仍然可以回答一部分问题。常见的替代是“可解释 + 对账”:
- 可解释:记录决策依据(检索片段、工具返回、规则命中),让人能读懂为什么选了这个动作;
- 对账:把动作结果与外部事实核对,比如订单状态、流水、审计日志;
- 重算:用已落库的输入重新计算报表或评分,验证结果是否一致;
- 抽样重跑:对无副作用的只读请求,按比例抽查重跑,估计稳定性。
这四种手段不能替代复现,但能覆盖大部分实际需求。事故复盘通常不需要“重演世界”,只需要“解释清楚发生了什么,并确认同类问题不会再发生”。后者靠的是规则、测试和监控,而不是回放本身。
架构含义
回放边界对架构有四个直接约束:
- 分档声明。 每类请求标注精确、统计或不可回放,不搞统一承诺。
- 记录目的分开。 审计 schema 与复现 schema 分开设计。
- 不可控因素隔离。 快照、时间注入、Mock、dry-run,缩小不可回放范围。
- 测试按档设计。 精确档做逐字节比对,统计档做区间评估,审计档做规则检查。
第 4 条决定测试是否有意义。对不可回放的写操作做逐字节比对,测试会永远不稳定;对精确档只做人工抽查,又浪费了可复现性。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 分档明确 | 每类请求有回放等级 | 全部声称可复现 |
| 目的分开 | 审计与复现 schema 分离 | 一套日志两用 |
| 副作用隔离 | dry-run/沙箱/Mock | 回放真实写操作 |
| 时间可注入 | 时钟作为参数 | 代码里读系统时间 |
| 承诺诚实 | 说明边界与替代方案 | 承诺“完整回放” |
这些判据里,“承诺诚实”最重要。技术团队可以用工程手段缩小不可回放的范围,但无法让已经发生的转账回到未发生;承认这一点,才能把资源投向真正能提高可靠性的地方。
一个支付 Agent 的例子
支付 Agent 的回放需求可以拆成三层:
- 决策层:为什么选择这张卡、这个金额、这个收款方。固定提示、检索和账户快照后,可以部分回放。
- 执行层:调用支付接口、扣款、返回结果。不可回放,只能审计;重放会造成重复扣款。
- 对账层:事后核对订单、流水和状态。可以重算,因为输入是已落库的事实。
把三层分开,团队就能明确:决策层可以写回归测试,执行层只能做审计和对账,对账层可以离线重算。相比“整个支付流程可回放”,这个拆分更接近现实,也更能指导工程投入。
小结
- 回放分精确、统计、不可回放三档;不是所有请求都能重演。
- 外部副作用、实时数据、人工审批、第三方变化和时间依赖都会让回放失效。
- 审计回答“当时发生了什么”,复现回答“再来一次是否一样”,两者 schema 应分开。
- 不同任务应设定不同回放目标,不能全站一个标准。
- 用快照、时间注入、Mock 和 dry-run 缩小不可回放范围。
- 承诺要诚实:写操作通常只能审计,不能重放。
阅读导航:上一节:11.2 记录与回放:让一次运行可重演 · 下一节:12.1 路由:按任务选择模型 。
常见错误与边界
- 承诺完整回放。 有外部副作用的动作无法重演,承诺会让团队在事故复盘时失望。
- 把审计当复现。 有完整日志不等于能重跑出相同结果。
- 回放真实写操作。 重复扣款、重复发信是事故,不是测试。
- 忽略时间依赖。 “最近 7 天”在重跑时指向不同区间,结果自然不同。
- 用一套日志兼顾审计与复现。 两者需要的字段和保留策略不同,混在一起会两头不足。
- 对所有任务要求逐字节一致。 不可回放的任务应做规则检查或区间评估,而不是追求确定性。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。