以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
“温度设为 0 就应该确定性输出”是一个常见误解。即使关闭采样,模型输出仍可能变化:同一批请求里,你的请求和别人的请求被拼成不同的 batch;GPU 上的归约顺序随并行度变化;浮点加法的结合顺序不同,结果在低位上就有差异。这些差异经过贪心解码的 argmax,可能在某一步翻转成不同的 token。
对聊天产品,这种差异通常可以接受;对 Agent 的评测、审计和回归测试,它会直接破坏可复现性。同一套测试今天 82 分、明天 79 分,团队无法判断是提示改了、模型更新了,还是纯粹的运行噪声。
这一节把非确定性拆成可控与不可控两类,并说明如何用签名和分级记录把“不可复现”变成“可解释”。
来源分类
| 来源 | 是否可控 | 说明 |
|---|---|---|
| 采样种子 | 可控 | 固定 seed 能复现采样序列 |
| 温度/top-p | 可控 | 配置固定即可 |
| 模型版本 | 可控 | 锁定版本与分词器 |
| 检索快照 | 可控 | 固定索引版本与查询 |
| 批处理形状 | 不可控 | 取决于同时到达的请求 |
| GPU 拓扑 | 不可控 | 取决于硬件与并行策略 |
| 并发调度 | 部分可控 | 取决于服务端与工具 |
| 网络/超时 | 部分可控 | 外部依赖的时序 |
“可控”不等于“已控制”。种子固定了,但如果 batch 形状变化,浮点归约顺序仍会变;模型版本固定了,但如果服务端悄悄升级推理引擎,kernel 实现也可能变。可控项需要显式记录,不可控项需要被承认并隔离。
浮点为什么会带来差异
浮点加法不满足结合律。下面的例子用四个数演示:
1e16 + 1.0 - 1e16 + 1.0
从左到右算:1e16 + 1.0 仍然是 1e16(1.0 在 1e16 的精度下被舍入掉),再减 1e16 得 0,再加 1.0 得 1.0。
从右到左算:1.0 + 1.0 = 2.0,-1e16 + 2.0 仍是 -1e16,再加 1e16 得 0.0。
同一组数,顺序不同,结果从 1.0 变成 0.0。模型的矩阵乘法、注意力归约、层归一化都在做大量浮点加法;batch 形状和并行度改变归约树,低位差异就出现了。大多数时候这些差异会被后续计算吸收,但在 argmax 附近,它足以改变选中的 token。
最小实验:来源、签名与批处理漂移
下面的实验列出六类来源及其可控性,计算一个请求签名的短哈希,并用正序/逆序求和演示批处理归约顺序带来的漂移。
# file: agp_lab/determinism.py | write
# tier: 3
# verify: python3 -m unittest tests.test_determinism
"""非确定性来源:可控性、批处理差异与签名。"""
from __future__ import annotations
import hashlib
import json
SOURCES = (
("seed", True, "采样随机数"),
("temperature", True, "采样分布"),
("model_version", True, "权重与分词器"),
("retrieval_snapshot", True, "检索内容"),
("batch_shape", False, "浮点归约顺序"),
("gpu_topology", False, "并行归约顺序"),
)
def signature(payload: dict[str, object]) -> str:
encoded = json.dumps(payload, sort_keys=True, ensure_ascii=False).encode("utf-8")
return hashlib.sha256(encoded).hexdigest()[:12]
def controllable_sources() -> list[str]:
return [name for name, controllable, _ in SOURCES if controllable]
def uncontrolled_sources() -> list[str]:
return [name for name, controllable, _ in SOURCES if not controllable]
def sum_forward(values: list[float]) -> float:
total = 0.0
for value in values:
total += value
return total
def sum_reverse(values: list[float]) -> float:
total = 0.0
for value in reversed(values):
total += value
return total
def max_batch_drift(values: list[float]) -> float:
return abs(sum_forward(values) - sum_reverse(values))
if __name__ == "__main__":
print("controllable:", controllable_sources())
print("uncontrolled:", uncontrolled_sources())
payload = {"model": "m1", "seed": 7, "prompt": "hello"}
print("signature:", signature(payload))
values = [1e16, 1.0, -1e16, 1.0]
print("forward:", sum_forward(values))
print("reverse:", sum_reverse(values))
print("drift:", max_batch_drift(values))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.determinism
输出:
controllable: ['seed', 'temperature', 'model_version', 'retrieval_snapshot']
uncontrolled: ['batch_shape', 'gpu_topology']
signature: 296033894796
forward: 1.0
reverse: 0.0
drift: 1.0
四类来源被标为可控:种子、温度、模型版本、检索快照。两类被标为不可控:批处理形状和 GPU 拓扑。这个划分是工程假设,不是物理定律;不同服务端的可控项不同,关键是显式列出,而不是假设“设了温度就确定”。
签名是 12 位十六进制哈希,输入是模型、种子和提示。它的作用不是证明输出正确,而是标识“这次运行用了哪组输入”。当两次运行结果不同时,先比签名:签名相同,差异来自不可控因素;签名不同,先检查输入是否真的变了。
浮点实验的结果是 forward: 1.0、reverse: 0.0、drift: 1.0。漂移是两者之差,达到 1.0,和数值本身同量级。这说明在极端量级差下,求和顺序可以让结果完全不同;真实模型的数值范围没有这么极端,但机制相同。
可复现性的三个等级
| 等级 | 含义 | 能保证什么 |
|---|---|---|
| 位级复现 | 输出 token 完全一致 | 同硬件、同 batch、同引擎 |
| 语义复现 | 结论/动作一致,措辞可变 | 评测与回归 |
| 统计复现 | 指标在置信区间内一致 | 效果评估 |
位级复现最难,通常只在自建推理、固定 batch、固定硬件的环境里可行。语义复现更现实:允许措辞不同,但要求答案、引用、工具调用序列一致。统计复现适用于效果评估:单次结果可以不同,多次运行的指标应该在区间内。
Agent 的测试应该明确自己要求哪一级。单元测试要求语义复现;离线评测要求统计复现;审计回放可能要求位级或语义级,取决于动作是否可逆。
签名应该包含什么
一个请求签名至少应包含:
- 模型标识与版本;
- 提示模板版本;
- 采样参数(温度、top-p、种子);
- 检索索引版本与查询;
- 工具定义版本;
- 输入数据的哈希。
签名不包含不可控因素,因为它无法控制它们;它的作用是让“输入相同、输出不同”这件事可被识别。如果签名相同但输出不同,团队就知道要往批处理、硬件或引擎版本上查,而不是反复改提示。
签名的粒度也要合适。太粗(只记录模型名)无法区分提示变化,太细(把整段上下文哈希进去)会让每次微小输入变化都产生新签名,失去可比性。通常按“会影响语义的输入”建签名,把时间戳、请求 ID 这类无关字段排除在外。
温度 0 的真实含义
温度 0 通常表示贪心解码:每一步选概率最高的 token。但“概率最高”依赖当前 logits,而 logits 受 batch 和并行归约影响。两次运行的 logits 在低位上不同,argmax 可能选中不同 token;一旦选中不同,后续序列完全分叉。
所以温度 0 更准确的说法是“低随机性”,而不是“确定性”。它能减少差异,但不能消除差异。需要严格复现时,应该固定推理引擎、batch 策略和硬件,或者记录完整的 logits/输出用于回放。
架构含义
非确定性对架构有四个直接约束:
- 来源要分类。 可控项显式记录,不可控项承认并隔离。
- 签名要完整。 模型、提示、参数、检索、工具版本都进签名。
- 复现等级要声明。 测试和评测明确要求位级、语义还是统计复现。
- 差异要可归因。 签名相同查环境,签名不同查输入。
第 4 条是排障的核心。没有签名,团队只能看到“两次结果不一样”,然后在提示、模型、数据之间盲目猜测;有了签名,至少能把问题切成“输入变了”和“环境变了”两半。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 来源清单 | 可控/不可控分开列 | 假设温度 0 就确定 |
| 签名完整 | 模型/提示/参数/索引 | 只记录提示 |
| 等级明确 | 测试声明复现级别 | 用单次结果下结论 |
| 差异可归因 | 先比签名再排查 | 直接改提示 |
| 环境可锁定 | 引擎/硬件版本记录 | 依赖“最新版” |
这些判据里,“等级明确”最容易被跳过。团队说“这个测试不稳定”,往往是因为没有定义什么叫稳定:是 token 完全一致,还是结论一致,还是指标在区间内?定义不同,修复方式完全不同。
一个评测复现的例子
假设离线评测上周 82 分,本周 79 分。排查步骤可以是:
- 比较签名:模型版本、提示模板、检索索引、采样参数是否变化;
- 如果签名不同,定位到具体变更,重跑对照;
- 如果签名相同,检查 batch 策略、推理引擎、硬件是否变化;
- 如果都相同,用多次运行估计置信区间,判断 3 分是否在噪声内。
没有签名,这四步无法执行;团队可能直接得出“模型变差了”或“提示改坏了”的结论,而真实原因只是评测批次不同。
如何降低非确定性
不能消除,但可以降低:
| 手段 | 作用 |
|---|---|
| 固定模型版本 | 避免权重和分词器漂移 |
| 固定检索快照 | 避免索引更新影响结果 |
| 固定 batch 策略 | 减少归约顺序差异 |
| 多次运行取统计 | 用区间代替单点 |
| 记录完整轨迹 | 支持事后回放 |
这些手段都有成本。固定 batch 会降低吞吐;多次运行会增加评测成本;记录完整轨迹会占存储。按任务的可复现要求选择,而不是一律追求位级复现。
小结
- 温度 0 只是低随机性,不是确定性;batch、GPU 和浮点归约仍会引入差异。
- 非确定性来源分可控与不可控;可控项要记录,不可控项要承认并隔离。
- 浮点加法不满足结合律,求和顺序可以让结果在极端量级下完全不同。
- 可复现性分位级、语义、统计三级;测试要声明自己要求哪一级。
- 请求签名应包含模型、提示、参数、检索和工具版本。
- 差异排查先比签名:相同查环境,不同查输入。
阅读导航:上一节:10.3 计算机使用的安全边界 · 下一节:11.2 记录与回放:让一次运行可重演 。
常见错误与边界
- 把温度 0 当确定性。 贪心解码仍受 logits 的低位差异影响,token 可能分叉。
- 只记录提示。 模型版本、检索快照、工具定义变化同样会改变输出。
- 用单次结果下结论。 没有置信区间,无法区分真实变化和运行噪声。
- 不声明复现等级。 “测试不稳定”往往是因为没定义什么叫稳定。
- 忽略浮点归约顺序。 batch 形状和并行度会改变结果,极端量级下差异可达同量级。
- 把不可控项当可控。 声称完全可复现,却在共享推理服务上运行,结论不可信。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。