《AI Agent 技术原理与架构·模型、推理与能力边界》11.1 采样、批处理与浮点非确定性

同一个提示跑两次,结果可能不同。原因不只是温度:批处理形状、GPU 归约顺序、并发调度、检索快照和模型版本都会引入差异。本节把非确定性来源分成可控与不可控两类,用浮点求和顺序实验演示批处理漂移,并给出请求签名、可复现性等级与排障路径的设计。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

“温度设为 0 就应该确定性输出”是一个常见误解。即使关闭采样,模型输出仍可能变化:同一批请求里,你的请求和别人的请求被拼成不同的 batch;GPU 上的归约顺序随并行度变化;浮点加法的结合顺序不同,结果在低位上就有差异。这些差异经过贪心解码的 argmax,可能在某一步翻转成不同的 token。

对聊天产品,这种差异通常可以接受;对 Agent 的评测、审计和回归测试,它会直接破坏可复现性。同一套测试今天 82 分、明天 79 分,团队无法判断是提示改了、模型更新了,还是纯粹的运行噪声。

这一节把非确定性拆成可控与不可控两类,并说明如何用签名和分级记录把“不可复现”变成“可解释”。

来源分类

来源是否可控说明
采样种子可控固定 seed 能复现采样序列
温度/top-p可控配置固定即可
模型版本可控锁定版本与分词器
检索快照可控固定索引版本与查询
批处理形状不可控取决于同时到达的请求
GPU 拓扑不可控取决于硬件与并行策略
并发调度部分可控取决于服务端与工具
网络/超时部分可控外部依赖的时序

“可控”不等于“已控制”。种子固定了,但如果 batch 形状变化,浮点归约顺序仍会变;模型版本固定了,但如果服务端悄悄升级推理引擎,kernel 实现也可能变。可控项需要显式记录,不可控项需要被承认并隔离。

浮点为什么会带来差异

浮点加法不满足结合律。下面的例子用四个数演示:

1e16 + 1.0 - 1e16 + 1.0

从左到右算:1e16 + 1.0 仍然是 1e16(1.0 在 1e16 的精度下被舍入掉),再减 1e16 得 0,再加 1.0 得 1.0。

从右到左算:1.0 + 1.0 = 2.0,-1e16 + 2.0 仍是 -1e16,再加 1e16 得 0.0。

同一组数,顺序不同,结果从 1.0 变成 0.0。模型的矩阵乘法、注意力归约、层归一化都在做大量浮点加法;batch 形状和并行度改变归约树,低位差异就出现了。大多数时候这些差异会被后续计算吸收,但在 argmax 附近,它足以改变选中的 token。

最小实验:来源、签名与批处理漂移

下面的实验列出六类来源及其可控性,计算一个请求签名的短哈希,并用正序/逆序求和演示批处理归约顺序带来的漂移。

# file: agp_lab/determinism.py | write
# tier: 3
# verify: python3 -m unittest tests.test_determinism
"""非确定性来源:可控性、批处理差异与签名。"""
from __future__ import annotations

import hashlib
import json


SOURCES = (
    ("seed", True, "采样随机数"),
    ("temperature", True, "采样分布"),
    ("model_version", True, "权重与分词器"),
    ("retrieval_snapshot", True, "检索内容"),
    ("batch_shape", False, "浮点归约顺序"),
    ("gpu_topology", False, "并行归约顺序"),
)


def signature(payload: dict[str, object]) -> str:
    encoded = json.dumps(payload, sort_keys=True, ensure_ascii=False).encode("utf-8")
    return hashlib.sha256(encoded).hexdigest()[:12]


def controllable_sources() -> list[str]:
    return [name for name, controllable, _ in SOURCES if controllable]


def uncontrolled_sources() -> list[str]:
    return [name for name, controllable, _ in SOURCES if not controllable]


def sum_forward(values: list[float]) -> float:
    total = 0.0
    for value in values:
        total += value
    return total


def sum_reverse(values: list[float]) -> float:
    total = 0.0
    for value in reversed(values):
        total += value
    return total


def max_batch_drift(values: list[float]) -> float:
    return abs(sum_forward(values) - sum_reverse(values))


if __name__ == "__main__":
    print("controllable:", controllable_sources())
    print("uncontrolled:", uncontrolled_sources())
    payload = {"model": "m1", "seed": 7, "prompt": "hello"}
    print("signature:", signature(payload))
    values = [1e16, 1.0, -1e16, 1.0]
    print("forward:", sum_forward(values))
    print("reverse:", sum_reverse(values))
    print("drift:", max_batch_drift(values))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.determinism

输出:

controllable: ['seed', 'temperature', 'model_version', 'retrieval_snapshot']
uncontrolled: ['batch_shape', 'gpu_topology']
signature: 296033894796
forward: 1.0
reverse: 0.0
drift: 1.0

四类来源被标为可控:种子、温度、模型版本、检索快照。两类被标为不可控:批处理形状和 GPU 拓扑。这个划分是工程假设,不是物理定律;不同服务端的可控项不同,关键是显式列出,而不是假设“设了温度就确定”。

签名是 12 位十六进制哈希,输入是模型、种子和提示。它的作用不是证明输出正确,而是标识“这次运行用了哪组输入”。当两次运行结果不同时,先比签名:签名相同,差异来自不可控因素;签名不同,先检查输入是否真的变了。

浮点实验的结果是 forward: 1.0、reverse: 0.0、drift: 1.0。漂移是两者之差,达到 1.0,和数值本身同量级。这说明在极端量级差下,求和顺序可以让结果完全不同;真实模型的数值范围没有这么极端,但机制相同。

可复现性的三个等级

等级含义能保证什么
位级复现输出 token 完全一致同硬件、同 batch、同引擎
语义复现结论/动作一致,措辞可变评测与回归
统计复现指标在置信区间内一致效果评估

位级复现最难,通常只在自建推理、固定 batch、固定硬件的环境里可行。语义复现更现实:允许措辞不同,但要求答案、引用、工具调用序列一致。统计复现适用于效果评估:单次结果可以不同,多次运行的指标应该在区间内。

Agent 的测试应该明确自己要求哪一级。单元测试要求语义复现;离线评测要求统计复现;审计回放可能要求位级或语义级,取决于动作是否可逆。

签名应该包含什么

一个请求签名至少应包含:

  • 模型标识与版本;
  • 提示模板版本;
  • 采样参数(温度、top-p、种子);
  • 检索索引版本与查询;
  • 工具定义版本;
  • 输入数据的哈希。

签名不包含不可控因素,因为它无法控制它们;它的作用是让“输入相同、输出不同”这件事可被识别。如果签名相同但输出不同,团队就知道要往批处理、硬件或引擎版本上查,而不是反复改提示。

签名的粒度也要合适。太粗(只记录模型名)无法区分提示变化,太细(把整段上下文哈希进去)会让每次微小输入变化都产生新签名,失去可比性。通常按“会影响语义的输入”建签名,把时间戳、请求 ID 这类无关字段排除在外。

温度 0 的真实含义

温度 0 通常表示贪心解码:每一步选概率最高的 token。但“概率最高”依赖当前 logits,而 logits 受 batch 和并行归约影响。两次运行的 logits 在低位上不同,argmax 可能选中不同 token;一旦选中不同,后续序列完全分叉。

所以温度 0 更准确的说法是“低随机性”,而不是“确定性”。它能减少差异,但不能消除差异。需要严格复现时,应该固定推理引擎、batch 策略和硬件,或者记录完整的 logits/输出用于回放。

架构含义

非确定性对架构有四个直接约束:

  1. 来源要分类。 可控项显式记录,不可控项承认并隔离。
  2. 签名要完整。 模型、提示、参数、检索、工具版本都进签名。
  3. 复现等级要声明。 测试和评测明确要求位级、语义还是统计复现。
  4. 差异要可归因。 签名相同查环境,签名不同查输入。

第 4 条是排障的核心。没有签名,团队只能看到“两次结果不一样”,然后在提示、模型、数据之间盲目猜测;有了签名,至少能把问题切成“输入变了”和“环境变了”两半。

架构判据

判据合格的样子不合格的样子
来源清单可控/不可控分开列假设温度 0 就确定
签名完整模型/提示/参数/索引只记录提示
等级明确测试声明复现级别用单次结果下结论
差异可归因先比签名再排查直接改提示
环境可锁定引擎/硬件版本记录依赖“最新版”

这些判据里,“等级明确”最容易被跳过。团队说“这个测试不稳定”,往往是因为没有定义什么叫稳定:是 token 完全一致,还是结论一致,还是指标在区间内?定义不同,修复方式完全不同。

一个评测复现的例子

假设离线评测上周 82 分,本周 79 分。排查步骤可以是:

  1. 比较签名:模型版本、提示模板、检索索引、采样参数是否变化;
  2. 如果签名不同,定位到具体变更,重跑对照;
  3. 如果签名相同,检查 batch 策略、推理引擎、硬件是否变化;
  4. 如果都相同,用多次运行估计置信区间,判断 3 分是否在噪声内。

没有签名,这四步无法执行;团队可能直接得出“模型变差了”或“提示改坏了”的结论,而真实原因只是评测批次不同。

如何降低非确定性

不能消除,但可以降低:

手段作用
固定模型版本避免权重和分词器漂移
固定检索快照避免索引更新影响结果
固定 batch 策略减少归约顺序差异
多次运行取统计用区间代替单点
记录完整轨迹支持事后回放

这些手段都有成本。固定 batch 会降低吞吐;多次运行会增加评测成本;记录完整轨迹会占存储。按任务的可复现要求选择,而不是一律追求位级复现。

小结

  • 温度 0 只是低随机性,不是确定性;batch、GPU 和浮点归约仍会引入差异。
  • 非确定性来源分可控与不可控;可控项要记录,不可控项要承认并隔离。
  • 浮点加法不满足结合律,求和顺序可以让结果在极端量级下完全不同。
  • 可复现性分位级、语义、统计三级;测试要声明自己要求哪一级。
  • 请求签名应包含模型、提示、参数、检索和工具版本。
  • 差异排查先比签名:相同查环境,不同查输入。

阅读导航:上一节:10.3 计算机使用的安全边界 · 下一节:11.2 记录与回放:让一次运行可重演 。

常见错误与边界

  1. 把温度 0 当确定性。 贪心解码仍受 logits 的低位差异影响,token 可能分叉。
  2. 只记录提示。 模型版本、检索快照、工具定义变化同样会改变输出。
  3. 用单次结果下结论。 没有置信区间,无法区分真实变化和运行噪声。
  4. 不声明复现等级。 “测试不稳定”往往是因为没定义什么叫稳定。
  5. 忽略浮点归约顺序。 batch 形状和并行度会改变结果,极端量级下差异可达同量级。
  6. 把不可控项当可控。 声称完全可复现,却在共享推理服务上运行,结论不可信。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图