以下工作负载、预算与数字均为教学假设,不构成对任何真实产品、供应商或生产系统的承诺。
Agent 的每一次“行动”,在模型内部都是一串 token:工具名、参数 JSON、自然语言计划,甚至一个表示“停止”的特殊符号。模型并不直接输出动作,它输出的是下一个 token 的概率分布。理解这一点,才能理解 Agent 的能力边界:为什么它能把一句话补完,却不能保证补完的话是对的;为什么同一个提示两次调用会得到不同动作;为什么“生成结束”不等于“任务完成”。
这一节只讲三件事:条件概率怎么定义生成,采样怎么把分布变成一条轨迹,停止条件怎么决定轨迹在哪里结束。2.2 展开温度与 top-p 对多样性的影响,2.3 讨论供应商侧的非确定性与可重放边界。
链式法则:一条轨迹的概率
设一条 token 序列为 $x_1, x_2, \ldots, x_T$。自回归模型用链式法则把它拆成条件概率的乘积:
$$
p(x_1, \ldots, x_T) = \prod_{t=1}^{T} p(x_t \mid x_1, \ldots, x_{t-1})
$$
每一步,模型读取前文 $x_{<t}$,输出词表上的一个分布 $p(\cdot \mid x_{<t})$。生成时,从这个分布里选一个 token,把它接到前文后面,再重复。这个机制在 Vaswani et al. 2017 的 decoder 结构里是核心;更早的神经语言模型(Bengio et al. 2003)已经用同样的分解方式建模。
把它映射到 Agent:
| 语言模型概念 | Agent 概念 | 例子 |
|---|---|---|
| 前文 $x_{<t}$ | 当前状态与历史观测 | 系统提示、用户请求、上一步工具结果 |
| 下一个 token 分布 | 策略 $\pi(a \mid s)$ 的候选动作 | 调用搜索、调用读取、输出答案、停止 |
| 采样 | 动作选择 | 选哪个工具、填什么参数 |
| 序列结束 | 轨迹终止 | 输出最终答案或触发停止条件 |
这张表解释了一个常见困惑:为什么“只会预测下一个 token”的模型能当策略?因为动作也可以被 token 化。工具调用可以写成结构化文本,计划可以写成自然语言,停止可以写成一个特殊 token。只要动作空间能编码成 token 序列,自回归模型就能在序列上定义策略。
但这也暴露了边界:模型优化的是局部条件概率,不是全局任务成功率。它在每一步都选“看起来最合理的下一个 token”,不等于整条轨迹能完成任务。局部连贯和全局正确是两件事。
从分布到一条轨迹
有了分布,还需要一个选择规则。最常见的三种:
| 规则 | 做法 | 适用 | 风险 |
|---|---|---|---|
| 贪心 | 每步取概率最大的 token | 需要稳定输出 | 容易重复、缺少多样性 |
| 温度采样 | 用温度调整分布后随机抽样 | 需要多样候选 | 低概率正确 token 可能被放大或压低 |
| top-p | 只在累计概率达到 p 的最小集合里采样 | 控制尾部噪声 | p 太小会删掉正确但罕见的 token |
这三种规则都只改变“怎么从分布里选”,不改变“分布里有什么”。如果模型根本没有把正确动作放进高概率区域,采样规则救不回来;如果模型把错误动作放得很高,温度再低也只是稳定地错。采样是选择机制,不是能力机制。
Holtzman et al. 2020 的 “The Curious Case of Neural Text Degeneration” 系统讨论了贪心解码的退化与 nucleus sampling 的动机:纯贪心容易陷入重复,纯随机又容易跑题,top-p 是在两者之间取一个可控的折中。这个结论对 Agent 同样成立:工具调用需要结构稳定,但探索性任务又需要一定多样性;没有一种采样参数适合所有负载。
停止:轨迹在哪里结束
停止条件比采样更容易被低估。一个 Agent 的停止可以来自四个地方:
- 模型输出结束符:模型自己生成 EOS 或停止字符串。
- 结构完成:工具调用 JSON 已闭合,或计划的所有步骤已标记完成。
- 外部预算:达到最大 token 数、最大步数、最大时间或最大成本。
- 外部判定:验证器、测试、健康检查或人工审批给出终止信号。
这四类停止的可靠性完全不同。模型输出 EOS 只证明“模型认为该停了”,不证明任务完成;结构完成只证明“格式上完整”,不证明内容正确;预算停止是兜底,不是成功;外部判定最可靠,但需要额外的验证成本。
Agent 架构必须记录停止原因,而不只是记录“已停止”。同样是结束,model_eos、max_steps、verifier_passed、budget_exceeded 对应完全不同的后续处理:前两者可能需要重试或人工接管,第三者可以进入下一步,第四者应该告警。只记录一个布尔值 finished=true,等于把四种情况压成一种,线上无法区分“正常完成”和“预算耗尽”。
最小实验:bigram 生成器
下面的实验用一个加一平滑的 bigram 模型,把条件分布、温度、top-p 和停止条件放在同一个最小实现里。它不是语言模型,只是用来观察机制:给定当前 token,模型输出下一个 token 的分布;采样器从分布里选;遇到停止符就结束。
# file: agp_lab/autoregressive.py | write
# tier: 2
# verify: python3 -m unittest tests.test_autoregressive
"""自回归生成的最小模型:条件分布、采样与停止。"""
from __future__ import annotations
import math
import random
CORPUS = (
("<s>", "agent", "uses", "tool", "observes", "stops", "</s>"),
("<s>", "agent", "observes", "tool", "stops", "</s>"),
("<s>", "agent", "uses", "tool", "stops", "</s>"),
("<s>", "agent", "observes", "stops", "</s>"),
)
class BigramModel:
"""带加一平滑的二阶近似:只看当前 token 预测下一个。"""
def __init__(self, corpus=CORPUS):
self.counts: dict[str, dict[str, int]] = {}
self.vocab = sorted({token for row in corpus for token in row})
for row in corpus:
for current, following in zip(row, row[1:]):
bucket = self.counts.setdefault(current, {})
bucket[following] = bucket.get(following, 0) + 1
def distribution(self, context: str) -> dict[str, float]:
bucket = self.counts.get(context, {})
total = sum(bucket.values()) + len(self.vocab)
return {
token: (bucket.get(token, 0) + 1) / total
for token in self.vocab
}
def reweight(probs: dict[str, float], temperature: float) -> dict[str, float]:
"""温度只改变形状,不改变支持集。"""
if temperature <= 0:
raise ValueError("temperature 必须为正")
powered = {
token: probability ** (1.0 / temperature)
for token, probability in probs.items()
if probability > 0
}
total = sum(powered.values())
return {token: value / total for token, value in powered.items()}
def truncate(probs: dict[str, float], top_p: float) -> dict[str, float]:
"""nucleus sampling:保留累计概率达到 top_p 的最小集合。"""
if not 0 < top_p <= 1:
raise ValueError("top_p 必须在 (0, 1] 内")
ordered = sorted(probs.items(), key=lambda item: (-item[1], item[0]))
kept: dict[str, float] = {}
cumulative = 0.0
for token, probability in ordered:
kept[token] = probability
cumulative += probability
if cumulative >= top_p:
break
total = sum(kept.values())
return {token: value / total for token, value in kept.items()}
def sample(rng: random.Random, probs: dict[str, float]) -> str:
threshold = rng.random()
cumulative = 0.0
for token in sorted(probs):
cumulative += probs[token]
if threshold <= cumulative:
return token
return max(probs, key=probs.get)
def generate(
model: BigramModel,
prompt: tuple[str, ...],
rng: random.Random,
max_tokens: int = 8,
temperature: float = 1.0,
top_p: float = 1.0,
stop: str = "</s>",
) -> tuple[str, ...]:
tokens = list(prompt)
for _ in range(max_tokens):
probs = truncate(reweight(model.distribution(tokens[-1]), temperature), top_p)
nxt = sample(rng, probs)
tokens.append(nxt)
if nxt == stop:
break
return tuple(tokens)
if __name__ == "__main__":
model = BigramModel()
probs = model.distribution("agent")
print("next(agent):")
for token, probability in sorted(probs.items(), key=lambda kv: -kv[1]):
print(f" {token:<10} {probability:.3f}")
print("greedy:", generate(model, ("<s>",), random.Random(7), temperature=0.01))
print("sample:", generate(model, ("<s>",), random.Random(7), temperature=1.0))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.autoregressive
输出:
next(agent):
observes 0.273
uses 0.273
</s> 0.091
<s> 0.091
agent 0.091
stops 0.091
tool 0.091
greedy: ('<s>', 'agent', 'observes', 'stops', '</s>')
sample: ('<s>', 'agent', '<s>', 'observes', '</s>')
输出里有三件事值得注意。
第一,next(agent) 的分布只依赖当前 token,所以 observes 和 uses 并列最高。这是 bigram 的局限,不是语言模型的局限;真实模型会读取完整前文。实验想说明的是机制,不是效果。
第二,贪心生成得到 agent → observes → stops → </s>,采样生成得到 agent → <s> → observes → </s>。后者把 <s> 接在了 agent 后面,语义上不合理,但概率上并非不可能。这就是采样多样性的代价:低概率路径会被走到。生产系统如果要求结构稳定,就不能只看“采样能跑通”,还要看“低概率路径会不会破坏格式”。
第三,两条轨迹都在 </s> 停止。停止符的概率来自语料统计,不是任务判定。如果把 </s> 换成“我完成了”,模型同样会在某个时刻生成它,但这句话不证明任务真的完成。停止符是符号,不是验证器。
架构含义
自回归机制对 Agent 架构有四个直接约束:
| 约束 | 原因 | 架构动作 |
|---|---|---|
| 记录每步 logprob | 采样结果需要可分析、可比较 | 在事件日志里保存 token 或动作的 logprob |
| 显式停止原因 | EOS、预算、验证器含义不同 | 用枚举而不是布尔值记录终止 |
| 分离生成与执行 | 模型只生成动作,不保证动作合法 | 在执行前做 schema 校验与权限检查 |
| 预算先于生成 | 模型不会自己遵守成本预算 | 在调用前设置 max tokens、步数、时间 |
第一和第二条最容易被省略。很多系统只记录最终答案,不记录每步的 logprob 和停止原因;出问题时只能重跑,无法回答“当时模型有多确定”“为什么停在这里”。这两项记录的成本很低,但对调试和评测的价值很高。
第三条是安全边界:模型生成的动作是提议,不是执行。工具调用必须先经过参数校验、权限检查和沙箱;否则模型的一个低概率 token 就可能变成一次真实副作用。第四条是成本边界:预算必须在外层强制,不能指望模型“自己知道该停”。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 分布可观测 | 记录每步 top-k 或 logprob | 只存最终文本 |
| 停止可区分 | 终止原因是枚举,含 EOS/预算/验证器 | 只有 finished 布尔值 |
| 动作先校验 | 工具参数在执行前校验 schema 与权限 | 模型输出直接执行 |
| 预算外层强制 | max tokens/步数/时间在调用前设定 | 依赖提示词说“请简短” |
| 采样参数可复现 | 记录温度、top-p、seed(若支持) | 参数散落在代码里 |
这些判据不需要全部满足才能上线,但 W2 和 W3 至少要做到“停止可区分”和“动作先校验”。W1 的只读问答可以放宽分布记录,但仍然应该记录停止原因,否则无法区分“答完了”和“超时了”。
小结
- 自回归模型用链式法则把一条轨迹拆成条件概率的乘积;它优化局部似然,不直接优化任务成功率。
- Agent 的动作可以被 token 化,所以下一个 token 预测器可以当策略;但局部连贯不等于全局正确。
- 贪心、温度采样和 top-p 只改变“怎么选”,不改变“分布里有什么”;采样是选择机制,不是能力机制。
- 停止有四类来源:模型 EOS、结构完成、外部预算、外部判定;它们的可靠性不同,必须分别记录。
- 模型生成的动作是提议,不是执行;执行前必须做 schema 校验、权限检查和沙箱隔离。
- 预算必须在外层强制;模型不会因为提示词说“请简短”就可靠地遵守成本约束。
阅读导航:上一节:1.3 三条工作负载与本书的判据格式 · 下一节:2.2 温度、top-p 与策略多样性 。
常见错误与边界
- 把生成结束当任务完成。 EOS 只证明模型认为该停了;任务是否完成需要验证器或人工判定。
- 把采样当能力。 温度、top-p 只能在已有分布里选,不能创造模型没有的知识或技能。
- 只记录最终文本。 没有 logprob 和中间动作,失败无法归因,评测也无法复现。
- 用提示词代替预算。 “请简短”“最多三步”不是强制约束;max tokens、步数和超时必须由外层代码执行。
- 让模型输出直接执行。 工具参数未经 schema 校验和权限检查就执行,等于把注入面直接接到副作用上。
- 忽略停止原因的差异。 EOS、预算耗尽和验证通过对应不同处理;压成一个布尔值会掩盖故障。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。