以下工作负载、预算与数字均为教学假设,不构成对任何真实产品、供应商或生产系统的承诺。
很多团队相信“把温度设为 0 就确定了”。这个信念在单机、单请求、固定版本的理想环境里接近成立;一旦进入生产,它会被四件事打破:批处理形状变了、浮点归约顺序变了、模型版本升级了、检索索引更新了。结果是同一个请求昨天和今天得到不同答案,而日志里只留下两段文本,无法解释差异从哪里来。
这一节不讨论“怎么让模型完全确定”——在托管服务里这通常做不到。它讨论一个更实际的问题:为了让一次运行可以被审计、重跑或反事实分析,至少需要记录什么。 不同的重放目标需要不同的记录粒度;记录不足时,重放只能得到“看起来差不多”的结果,而不是可比较的结果。
五类非确定性来源
| 来源 | 机制 | 是否可控 | 典型表现 |
|---|---|---|---|
| 采样 | 温度、top-p、随机数 | 部分可控(seed、参数) | 同提示不同输出 |
| 批处理 | 同一 batch 内序列长度不同,归约顺序变化 | 通常不可控 | 单独调用与批量调用结果不同 |
| 浮点归约 | 并行求和的加法顺序不同,末位不同 | 通常不可控 | 两次运行的 logprob 有微小差异 |
| 模型版本 | 权重、分词器、推理引擎升级 | 可固定版本 | 升级后行为整体漂移 |
| 检索快照 | 索引更新、权限变化 | 可快照 | 同一查询返回不同文档 |
前两类经常被误认为同一类。采样是显式随机:你可以设 seed、调温度,至少知道它存在。批处理和浮点归约是隐式随机:即使温度 0、seed 固定,批处理形状变化也会让同一请求的 logits 在末位不同,进而改变 argmax。Pope et al. 2023 在讨论大模型推理的批处理与内存布局时已经指出,吞吐优化会改变计算顺序;这不是 bug,是并行计算的正常结果。
第三类“浮点归约”和第四类“模型版本”的区别在于范围:前者影响末位,后者影响整体分布。末位差异通常只在概率接近的候选之间改变选择;版本差异可以让原本高概率的答案直接消失。两类都需要记录,但处理方式不同:前者靠记录 logits 或输出,后者靠版本固定与回归评测。
第五类“检索快照”是 Agent 特有的。语言模型再确定,如果检索结果变了,最终答案也会变。W1 的引用问答尤其明显:同一问题在索引更新前后可能引用不同文档。重放时必须能回到当时的检索结果,否则无法判断差异来自模型还是数据。
三种重放目标
“可重放”不是一个二元属性。至少要区分三种目标:
| 目标 | 要回答的问题 | 必需记录 | 典型用途 |
|---|---|---|---|
| 审计(audit) | 当时发生了什么? | 输出、模型版本、检索快照 | 事故复盘、合规检查 |
| 重跑(rerun) | 能否得到同一条轨迹? | seed、logits、版本、快照 | 调试、回归 |
| 反事实(counterfactual) | 改变一个变量会怎样? | logits、版本、快照 | 策略对比、参数敏感性 |
三者的成本递增。审计只需要“事实记录”:模型输出了什么、用了哪个版本、检索到了哪些文档。重跑需要“控制变量”:seed、采样参数、logits(或等价的分布信息)。反事实需要“可干预的中间状态”:没有 logits,你无法回答“如果当时温度低一点,会不会选另一个工具”。
很多团队把“记录最终文本”当成“可重放”,结果只能做审计,做不了重跑和反事实。文本是轨迹的终点,不是轨迹的完整状态;从终点反推中间决策,信息已经丢失。
记录粒度
把三种目标落到字段,可以用下面这张表:
| 字段 | 审计 | 重跑 | 反事实 | 说明 |
|---|---|---|---|---|
| 输出文本/动作 | 必需 | 必需 | 必需 | 最终事实 |
| 模型版本 | 必需 | 必需 | 必需 | 权重、分词器、引擎版本 |
| 检索快照 | 必需 | 必需 | 必需 | 文档 ID 与内容哈希 |
| seed / 采样参数 | 可选 | 必需 | 必需 | 温度、top-p、候选数 |
| logits / top-k 分布 | 可选 | 必需 | 必需 | 决策依据 |
| 工具响应 | 必需 | 必需 | 必需 | 外部事实 |
| 工作流代码版本 | 可选 | 必需 | 必需 | 控制流分支 |
这张表解释了一个常见困惑:为什么“我们记录了完整对话”仍然无法复现问题?因为对话只包含模型输入输出,不包含当时的检索快照、模型版本和采样参数。对话是用户可见的历史,不是执行事实的完整记录。
反过来,也不是记录越多越好。logits 的体积可能远大于文本;全量记录会带来存储成本和隐私风险。合理的做法是分层:生产环境默认记录审计级字段;需要调试的请求按采样率开启重跑级记录;反事实分析在离线环境用固定快照重放。
最小实验:重放计划审计器
下面的实验把三种重放目标写成必需字段集,检查一个记录计划是否足以支持每种目标。它不执行真正的重放,只检查“记录的东西够不够”。
# file: agp_lab/nondeterminism.py | write
# tier: 2
# verify: python3 -m unittest tests.test_nondeterminism
"""非确定性来源与可重放边界:记录什么,才能重放什么。"""
from __future__ import annotations
from dataclasses import dataclass
SOURCES = (
("sampling", "采样", "温度/top-p 的随机选择"),
("batch", "批处理", "归约顺序随 batch 形状变化"),
("float", "浮点归约", "并行归约顺序不同,末位不同"),
("version", "模型版本", "权重、分词器或推理引擎变化"),
("retrieval", "检索快照", "索引更新导致同一查询返回不同文档"),
)
GOALS = {
"audit": ("output", "version", "snapshot"),
"rerun": ("seed", "logits", "version", "snapshot"),
"counterfactual": ("logits", "version", "snapshot"),
}
@dataclass(frozen=True)
class ReplayPlan:
output: bool = False
seed: bool = False
logits: bool = False
version: bool = False
snapshot: bool = False
def missing(plan: ReplayPlan, goal: str) -> list[str]:
if goal not in GOALS:
raise ValueError(f"未知重放目标 {goal}")
return [item for item in GOALS[goal] if not getattr(plan, item)]
def can_replay(plan: ReplayPlan, goal: str) -> bool:
return not missing(plan, goal)
def divergence_rate(outputs: list[str]) -> float:
"""同一输入重复采样时,不同输出的比例。"""
if not outputs:
return 0.0
top = max(outputs.count(item) for item in set(outputs))
return 1.0 - top / len(outputs)
DEMO = (
ReplayPlan(output=True, version=True),
ReplayPlan(output=True, seed=True, logits=True, version=True, snapshot=True),
)
if __name__ == "__main__":
print("plan goal missing")
for index, plan in enumerate(DEMO, start=1):
for goal in GOALS:
miss = missing(plan, goal)
print(f"P{index} {goal:<16} {','.join(miss) if miss else 'none'}")
print("divergence_rate:",
round(divergence_rate(["a", "b", "a", "c"]), 3))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.nondeterminism
输出:
plan goal missing
P1 audit snapshot
P1 rerun seed,logits,snapshot
P1 counterfactual logits,snapshot
P2 audit none
P2 rerun none
P2 counterfactual none
divergence_rate: 0.5
P1 记录了输出和版本,但没有检索快照、seed 和 logits。它的审计目标只缺 snapshot,重跑目标缺三项,反事实目标缺两项。这个结果说明:审计级记录离重跑级记录还有很大距离;如果团队只记录了 P1 的字段,就不要宣称“可以复现”。
P2 记录了全部字段,三种目标都通过。但“字段齐全”不等于“重放一定成功”:字段可能为空、快照可能不完整、版本可能已经下架。审计器只能检查计划的结构,不能保证数据质量。
divergence_rate: 0.5 是对固定输出列表的简单统计:四个输出里有两个不同值,所以差异率是 0.5。它可以用来说明“同一输入重复调用并不稳定”,但不能区分差异来自采样、批处理还是版本。要区分来源,必须回到上面的五类表,逐项排除。
架构含义
可重放不是“加一个日志”,而是执行语义的一部分。四个直接约束:
- 事件日志必须包含决策依据。 至少记录模型版本、检索快照、采样参数;需要重跑的请求再加 logits 或 top-k。
- 版本必须可固定。 模型版本、分词器版本、推理引擎版本、工作流代码版本都要能钉住;否则重放会走不同分支。
- 快照必须可恢复。 检索快照要保存文档 ID 与内容哈希,最好保存可回放的文档内容;只存 URL 不够,因为 URL 后面的内容会变。
- 重放目标要显式声明。 架构文档里要写清楚“我们支持审计级重放,不支持反事实重放”,而不是笼统说“支持重放”。
这四条里,第三条最容易被忽略。很多系统记录了检索结果的 ID,但没有记录内容;索引更新后,ID 还在,内容已经变了。重放时看到的是新内容,不是当时的内容,差异无法归因。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 目标显式 | 文档写明审计/重跑/反事实支持到哪一级 | 笼统宣称“可重放” |
| 版本可钉 | 模型、分词器、引擎、代码版本都有记录 | 只记录模型名 |
| 快照可恢复 | 文档 ID + 内容哈希 + 可回放内容 | 只存 URL |
| 参数可追溯 | 温度、top-p、seed、候选数入日志 | 参数只在代码里 |
| 差异可归因 | 能区分采样、批处理、版本、检索 | 只看到“输出不同” |
这些判据不需要全部满足。W1 的只读问答做到审计级通常够用;W2 的代码修复需要重跑级,因为要复现失败轨迹;W3 的运维处置需要审计级加上完整的工具响应和审批记录,但不一定需要 logits,因为不可逆操作更关心“谁批准了什么”,而不是“模型当时有多犹豫”。
重放的成本模型
记录越细,成本越高。可以用三个维度估算:
| 维度 | 审计级 | 重跑级 | 反事实级 |
|---|---|---|---|
| 存储 | 文本 + 版本 + 快照哈希 | 加 seed、参数、logits | 加大范围 logits/top-k |
| 写入延迟 | 低 | 中 | 高 |
| 隐私风险 | 中 | 中高 | 高 |
| 调试价值 | 事故复盘 | 轨迹复现 | 策略对比 |
一个常见的折中是:生产默认审计级,按 1% 采样开启重跑级,反事实级只在离线评测环境开启。这样既控制了存储与隐私风险,又保留了定位复杂问题的能力。采样率本身也要记录,否则无法判断一条轨迹为什么没有 logits。
重放失败时怎么定位
即使字段齐全,重放也可能失败。排查顺序建议从外到内:
- 版本:模型、分词器、推理引擎、工作流代码是否与记录一致。
- 快照:检索内容是否与记录的内容哈希一致。
- 参数:温度、top-p、seed、候选数是否一致。
- 输入:拼接顺序、位置 ID、截断策略是否一致。
- 数值:批处理形状、并行配置是否改变。
前四项是“可控制变量”,第五项通常不可控。如果前四项都一致但输出仍不同,差异大概率来自批处理或浮点归约;这时只能接受“统计等价”,不能宣称“逐字节重放”。这个结论应该写进重放契约,而不是留给使用者猜测。
重放契约要写清楚什么
重放能力应该写成契约,而不是口头约定。契约至少要回答四个问题:
| 问题 | 需要写明 |
|---|---|
| 能重放什么 | 审计、重跑还是反事实 |
| 不能重放什么 | 批处理形状、浮点归约等不可控项 |
| 需要哪些字段 | 版本、快照、参数、seed、输入 |
| 失败时怎么办 | 降级为统计等价,还是升级人工 |
没有契约,团队会在事故复盘时才发现字段缺失;有了契约,记录成本可以在设计阶段被评估,而不是在事后补救。
小结
- 非确定性至少有五类来源:采样、批处理、浮点归约、模型版本、检索快照;温度 0 只能消掉第一类的一部分。
- 重放分三种目标:审计、重跑、反事实;三者需要的记录粒度不同,成本递增。
- 只记录最终文本只能支持审计,不能支持重跑和反事实;logits、seed、快照是后两者的前提。
- 记录不是越多越好;应按请求分层开启,平衡存储、隐私与可调试性。
- 版本与快照必须可固定、可恢复;只存模型名和 URL 不足以重放。
- “字段齐全”不等于“重放成功”;数据质量、版本可用性和快照完整性仍需单独验证。
阅读导航:上一节:2.2 温度、top-p 与策略多样性 · 下一节:3.1 注意力:上下文如何被读取 。
常见错误与边界
- 把温度 0 当确定性。 批处理形状与浮点归约仍会改变末位,进而改变接近的候选选择。
- 把对话日志当执行日志。 对话缺检索快照、模型版本和采样参数,无法支持重跑。
- 只记录 URL。 URL 后面的内容会变;快照要保存文档 ID、内容哈希和可回放内容。
- 笼统宣称可重放。 不区分审计、重跑、反事实,会导致评审对能力产生错误预期。
- 全量记录 logits。 存储和隐私成本高;应按请求分层采样,而不是默认全开。
- 忽略工作流代码版本。 控制流代码升级后,旧事件可能走不同分支;重放需要代码版本门。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。