《AI Agent 技术原理与架构·模型、推理与能力边界》2.3 供应商非确定性与可重放边界

即使温度设为 0,同一个请求也可能得到不同输出:批处理形状、浮点归约顺序、模型版本和检索快照都会改变结果。本节把非确定性来源分成五类,定义审计、重跑与反事实三种重放目标,给出每种目标必须记录的最小字段集,讨论记录成本与数据质量的边界,最后给出排查顺序。

以下工作负载、预算与数字均为教学假设,不构成对任何真实产品、供应商或生产系统的承诺。

很多团队相信“把温度设为 0 就确定了”。这个信念在单机、单请求、固定版本的理想环境里接近成立;一旦进入生产,它会被四件事打破:批处理形状变了、浮点归约顺序变了、模型版本升级了、检索索引更新了。结果是同一个请求昨天和今天得到不同答案,而日志里只留下两段文本,无法解释差异从哪里来。

这一节不讨论“怎么让模型完全确定”——在托管服务里这通常做不到。它讨论一个更实际的问题:为了让一次运行可以被审计、重跑或反事实分析,至少需要记录什么。 不同的重放目标需要不同的记录粒度;记录不足时,重放只能得到“看起来差不多”的结果,而不是可比较的结果。

五类非确定性来源

来源机制是否可控典型表现
采样温度、top-p、随机数部分可控(seed、参数)同提示不同输出
批处理同一 batch 内序列长度不同,归约顺序变化通常不可控单独调用与批量调用结果不同
浮点归约并行求和的加法顺序不同,末位不同通常不可控两次运行的 logprob 有微小差异
模型版本权重、分词器、推理引擎升级可固定版本升级后行为整体漂移
检索快照索引更新、权限变化可快照同一查询返回不同文档

前两类经常被误认为同一类。采样是显式随机:你可以设 seed、调温度,至少知道它存在。批处理和浮点归约是隐式随机:即使温度 0、seed 固定,批处理形状变化也会让同一请求的 logits 在末位不同,进而改变 argmax。Pope et al. 2023 在讨论大模型推理的批处理与内存布局时已经指出,吞吐优化会改变计算顺序;这不是 bug,是并行计算的正常结果。

第三类“浮点归约”和第四类“模型版本”的区别在于范围:前者影响末位,后者影响整体分布。末位差异通常只在概率接近的候选之间改变选择;版本差异可以让原本高概率的答案直接消失。两类都需要记录,但处理方式不同:前者靠记录 logits 或输出,后者靠版本固定与回归评测。

第五类“检索快照”是 Agent 特有的。语言模型再确定,如果检索结果变了,最终答案也会变。W1 的引用问答尤其明显:同一问题在索引更新前后可能引用不同文档。重放时必须能回到当时的检索结果,否则无法判断差异来自模型还是数据。

三种重放目标

“可重放”不是一个二元属性。至少要区分三种目标:

目标要回答的问题必需记录典型用途
审计(audit)当时发生了什么?输出、模型版本、检索快照事故复盘、合规检查
重跑(rerun)能否得到同一条轨迹?seed、logits、版本、快照调试、回归
反事实(counterfactual)改变一个变量会怎样?logits、版本、快照策略对比、参数敏感性

三者的成本递增。审计只需要“事实记录”:模型输出了什么、用了哪个版本、检索到了哪些文档。重跑需要“控制变量”:seed、采样参数、logits(或等价的分布信息)。反事实需要“可干预的中间状态”:没有 logits,你无法回答“如果当时温度低一点,会不会选另一个工具”。

很多团队把“记录最终文本”当成“可重放”,结果只能做审计,做不了重跑和反事实。文本是轨迹的终点,不是轨迹的完整状态;从终点反推中间决策,信息已经丢失。

记录粒度

把三种目标落到字段,可以用下面这张表:

字段审计重跑反事实说明
输出文本/动作必需必需必需最终事实
模型版本必需必需必需权重、分词器、引擎版本
检索快照必需必需必需文档 ID 与内容哈希
seed / 采样参数可选必需必需温度、top-p、候选数
logits / top-k 分布可选必需必需决策依据
工具响应必需必需必需外部事实
工作流代码版本可选必需必需控制流分支

这张表解释了一个常见困惑:为什么“我们记录了完整对话”仍然无法复现问题?因为对话只包含模型输入输出,不包含当时的检索快照、模型版本和采样参数。对话是用户可见的历史,不是执行事实的完整记录。

反过来,也不是记录越多越好。logits 的体积可能远大于文本;全量记录会带来存储成本和隐私风险。合理的做法是分层:生产环境默认记录审计级字段;需要调试的请求按采样率开启重跑级记录;反事实分析在离线环境用固定快照重放。

最小实验:重放计划审计器

下面的实验把三种重放目标写成必需字段集,检查一个记录计划是否足以支持每种目标。它不执行真正的重放,只检查“记录的东西够不够”。

# file: agp_lab/nondeterminism.py | write
# tier: 2
# verify: python3 -m unittest tests.test_nondeterminism
"""非确定性来源与可重放边界:记录什么,才能重放什么。"""
from __future__ import annotations

from dataclasses import dataclass

SOURCES = (
    ("sampling", "采样", "温度/top-p 的随机选择"),
    ("batch", "批处理", "归约顺序随 batch 形状变化"),
    ("float", "浮点归约", "并行归约顺序不同,末位不同"),
    ("version", "模型版本", "权重、分词器或推理引擎变化"),
    ("retrieval", "检索快照", "索引更新导致同一查询返回不同文档"),
)

GOALS = {
    "audit": ("output", "version", "snapshot"),
    "rerun": ("seed", "logits", "version", "snapshot"),
    "counterfactual": ("logits", "version", "snapshot"),
}


@dataclass(frozen=True)
class ReplayPlan:
    output: bool = False
    seed: bool = False
    logits: bool = False
    version: bool = False
    snapshot: bool = False


def missing(plan: ReplayPlan, goal: str) -> list[str]:
    if goal not in GOALS:
        raise ValueError(f"未知重放目标 {goal}")
    return [item for item in GOALS[goal] if not getattr(plan, item)]


def can_replay(plan: ReplayPlan, goal: str) -> bool:
    return not missing(plan, goal)


def divergence_rate(outputs: list[str]) -> float:
    """同一输入重复采样时,不同输出的比例。"""
    if not outputs:
        return 0.0
    top = max(outputs.count(item) for item in set(outputs))
    return 1.0 - top / len(outputs)


DEMO = (
    ReplayPlan(output=True, version=True),
    ReplayPlan(output=True, seed=True, logits=True, version=True, snapshot=True),
)

if __name__ == "__main__":
    print("plan  goal             missing")
    for index, plan in enumerate(DEMO, start=1):
        for goal in GOALS:
            miss = missing(plan, goal)
            print(f"P{index}    {goal:<16} {','.join(miss) if miss else 'none'}")
    print("divergence_rate:",
          round(divergence_rate(["a", "b", "a", "c"]), 3))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.nondeterminism

输出:

plan  goal             missing
P1    audit            snapshot
P1    rerun            seed,logits,snapshot
P1    counterfactual   logits,snapshot
P2    audit            none
P2    rerun            none
P2    counterfactual   none
divergence_rate: 0.5

P1 记录了输出和版本,但没有检索快照、seed 和 logits。它的审计目标只缺 snapshot,重跑目标缺三项,反事实目标缺两项。这个结果说明:审计级记录离重跑级记录还有很大距离;如果团队只记录了 P1 的字段,就不要宣称“可以复现”。

P2 记录了全部字段,三种目标都通过。但“字段齐全”不等于“重放一定成功”:字段可能为空、快照可能不完整、版本可能已经下架。审计器只能检查计划的结构,不能保证数据质量。

divergence_rate: 0.5 是对固定输出列表的简单统计:四个输出里有两个不同值,所以差异率是 0.5。它可以用来说明“同一输入重复调用并不稳定”,但不能区分差异来自采样、批处理还是版本。要区分来源,必须回到上面的五类表,逐项排除。

架构含义

可重放不是“加一个日志”,而是执行语义的一部分。四个直接约束:

  1. 事件日志必须包含决策依据。 至少记录模型版本、检索快照、采样参数;需要重跑的请求再加 logits 或 top-k。
  2. 版本必须可固定。 模型版本、分词器版本、推理引擎版本、工作流代码版本都要能钉住;否则重放会走不同分支。
  3. 快照必须可恢复。 检索快照要保存文档 ID 与内容哈希,最好保存可回放的文档内容;只存 URL 不够,因为 URL 后面的内容会变。
  4. 重放目标要显式声明。 架构文档里要写清楚“我们支持审计级重放,不支持反事实重放”,而不是笼统说“支持重放”。

这四条里,第三条最容易被忽略。很多系统记录了检索结果的 ID,但没有记录内容;索引更新后,ID 还在,内容已经变了。重放时看到的是新内容,不是当时的内容,差异无法归因。

架构判据

判据合格的样子不合格的样子
目标显式文档写明审计/重跑/反事实支持到哪一级笼统宣称“可重放”
版本可钉模型、分词器、引擎、代码版本都有记录只记录模型名
快照可恢复文档 ID + 内容哈希 + 可回放内容只存 URL
参数可追溯温度、top-p、seed、候选数入日志参数只在代码里
差异可归因能区分采样、批处理、版本、检索只看到“输出不同”

这些判据不需要全部满足。W1 的只读问答做到审计级通常够用;W2 的代码修复需要重跑级,因为要复现失败轨迹;W3 的运维处置需要审计级加上完整的工具响应和审批记录,但不一定需要 logits,因为不可逆操作更关心“谁批准了什么”,而不是“模型当时有多犹豫”。

重放的成本模型

记录越细,成本越高。可以用三个维度估算:

维度审计级重跑级反事实级
存储文本 + 版本 + 快照哈希加 seed、参数、logits加大范围 logits/top-k
写入延迟低中高
隐私风险中中高高
调试价值事故复盘轨迹复现策略对比

一个常见的折中是:生产默认审计级,按 1% 采样开启重跑级,反事实级只在离线评测环境开启。这样既控制了存储与隐私风险,又保留了定位复杂问题的能力。采样率本身也要记录,否则无法判断一条轨迹为什么没有 logits。

重放失败时怎么定位

即使字段齐全,重放也可能失败。排查顺序建议从外到内:

  1. 版本:模型、分词器、推理引擎、工作流代码是否与记录一致。
  2. 快照:检索内容是否与记录的内容哈希一致。
  3. 参数:温度、top-p、seed、候选数是否一致。
  4. 输入:拼接顺序、位置 ID、截断策略是否一致。
  5. 数值:批处理形状、并行配置是否改变。

前四项是“可控制变量”,第五项通常不可控。如果前四项都一致但输出仍不同,差异大概率来自批处理或浮点归约;这时只能接受“统计等价”,不能宣称“逐字节重放”。这个结论应该写进重放契约,而不是留给使用者猜测。

重放契约要写清楚什么

重放能力应该写成契约,而不是口头约定。契约至少要回答四个问题:

问题需要写明
能重放什么审计、重跑还是反事实
不能重放什么批处理形状、浮点归约等不可控项
需要哪些字段版本、快照、参数、seed、输入
失败时怎么办降级为统计等价,还是升级人工

没有契约,团队会在事故复盘时才发现字段缺失;有了契约,记录成本可以在设计阶段被评估,而不是在事后补救。

小结

  • 非确定性至少有五类来源:采样、批处理、浮点归约、模型版本、检索快照;温度 0 只能消掉第一类的一部分。
  • 重放分三种目标:审计、重跑、反事实;三者需要的记录粒度不同,成本递增。
  • 只记录最终文本只能支持审计,不能支持重跑和反事实;logits、seed、快照是后两者的前提。
  • 记录不是越多越好;应按请求分层开启,平衡存储、隐私与可调试性。
  • 版本与快照必须可固定、可恢复;只存模型名和 URL 不足以重放。
  • “字段齐全”不等于“重放成功”;数据质量、版本可用性和快照完整性仍需单独验证。

阅读导航:上一节:2.2 温度、top-p 与策略多样性 · 下一节:3.1 注意力:上下文如何被读取 。

常见错误与边界

  1. 把温度 0 当确定性。 批处理形状与浮点归约仍会改变末位,进而改变接近的候选选择。
  2. 把对话日志当执行日志。 对话缺检索快照、模型版本和采样参数,无法支持重跑。
  3. 只记录 URL。 URL 后面的内容会变;快照要保存文档 ID、内容哈希和可回放内容。
  4. 笼统宣称可重放。 不区分审计、重跑、反事实,会导致评审对能力产生错误预期。
  5. 全量记录 logits。 存储和隐私成本高;应按请求分层采样,而不是默认全开。
  6. 忽略工作流代码版本。 控制流代码升级后,旧事件可能走不同分支;重放需要代码版本门。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图