《AI Agent 技术原理与架构·模型、推理与能力边界》2.1 自回归生成:条件概率、采样与停止

自回归模型只做一件事:给定前文,输出下一个 token 的分布。这个局部机制如何变成一次工具调用、一条多步轨迹,又在哪里失效?本节用链式法则和最小 bigram 实验说明条件概率、采样与停止条件,并给出 Agent 架构必须记录的 logprob、停止原因与预算字段。

以下工作负载、预算与数字均为教学假设,不构成对任何真实产品、供应商或生产系统的承诺。

Agent 的每一次“行动”,在模型内部都是一串 token:工具名、参数 JSON、自然语言计划,甚至一个表示“停止”的特殊符号。模型并不直接输出动作,它输出的是下一个 token 的概率分布。理解这一点,才能理解 Agent 的能力边界:为什么它能把一句话补完,却不能保证补完的话是对的;为什么同一个提示两次调用会得到不同动作;为什么“生成结束”不等于“任务完成”。

这一节只讲三件事:条件概率怎么定义生成,采样怎么把分布变成一条轨迹,停止条件怎么决定轨迹在哪里结束。2.2 展开温度与 top-p 对多样性的影响,2.3 讨论供应商侧的非确定性与可重放边界。

链式法则:一条轨迹的概率

设一条 token 序列为 $x_1, x_2, \ldots, x_T$。自回归模型用链式法则把它拆成条件概率的乘积:

$$
p(x_1, \ldots, x_T) = \prod_{t=1}^{T} p(x_t \mid x_1, \ldots, x_{t-1})
$$

每一步,模型读取前文 $x_{<t}$,输出词表上的一个分布 $p(\cdot \mid x_{<t})$。生成时,从这个分布里选一个 token,把它接到前文后面,再重复。这个机制在 Vaswani et al. 2017 的 decoder 结构里是核心;更早的神经语言模型(Bengio et al. 2003)已经用同样的分解方式建模。

把它映射到 Agent:

语言模型概念Agent 概念例子
前文 $x_{<t}$当前状态与历史观测系统提示、用户请求、上一步工具结果
下一个 token 分布策略 $\pi(a \mid s)$ 的候选动作调用搜索、调用读取、输出答案、停止
采样动作选择选哪个工具、填什么参数
序列结束轨迹终止输出最终答案或触发停止条件

这张表解释了一个常见困惑:为什么“只会预测下一个 token”的模型能当策略?因为动作也可以被 token 化。工具调用可以写成结构化文本,计划可以写成自然语言,停止可以写成一个特殊 token。只要动作空间能编码成 token 序列,自回归模型就能在序列上定义策略。

但这也暴露了边界:模型优化的是局部条件概率,不是全局任务成功率。它在每一步都选“看起来最合理的下一个 token”,不等于整条轨迹能完成任务。局部连贯和全局正确是两件事。

从分布到一条轨迹

有了分布,还需要一个选择规则。最常见的三种:

规则做法适用风险
贪心每步取概率最大的 token需要稳定输出容易重复、缺少多样性
温度采样用温度调整分布后随机抽样需要多样候选低概率正确 token 可能被放大或压低
top-p只在累计概率达到 p 的最小集合里采样控制尾部噪声p 太小会删掉正确但罕见的 token

这三种规则都只改变“怎么从分布里选”,不改变“分布里有什么”。如果模型根本没有把正确动作放进高概率区域,采样规则救不回来;如果模型把错误动作放得很高,温度再低也只是稳定地错。采样是选择机制,不是能力机制。

Holtzman et al. 2020 的 “The Curious Case of Neural Text Degeneration” 系统讨论了贪心解码的退化与 nucleus sampling 的动机:纯贪心容易陷入重复,纯随机又容易跑题,top-p 是在两者之间取一个可控的折中。这个结论对 Agent 同样成立:工具调用需要结构稳定,但探索性任务又需要一定多样性;没有一种采样参数适合所有负载。

停止:轨迹在哪里结束

停止条件比采样更容易被低估。一个 Agent 的停止可以来自四个地方:

  1. 模型输出结束符:模型自己生成 EOS 或停止字符串。
  2. 结构完成:工具调用 JSON 已闭合,或计划的所有步骤已标记完成。
  3. 外部预算:达到最大 token 数、最大步数、最大时间或最大成本。
  4. 外部判定:验证器、测试、健康检查或人工审批给出终止信号。

这四类停止的可靠性完全不同。模型输出 EOS 只证明“模型认为该停了”,不证明任务完成;结构完成只证明“格式上完整”,不证明内容正确;预算停止是兜底,不是成功;外部判定最可靠,但需要额外的验证成本。

Agent 架构必须记录停止原因,而不只是记录“已停止”。同样是结束,model_eos、max_steps、verifier_passed、budget_exceeded 对应完全不同的后续处理:前两者可能需要重试或人工接管,第三者可以进入下一步,第四者应该告警。只记录一个布尔值 finished=true,等于把四种情况压成一种,线上无法区分“正常完成”和“预算耗尽”。

最小实验:bigram 生成器

下面的实验用一个加一平滑的 bigram 模型,把条件分布、温度、top-p 和停止条件放在同一个最小实现里。它不是语言模型,只是用来观察机制:给定当前 token,模型输出下一个 token 的分布;采样器从分布里选;遇到停止符就结束。

# file: agp_lab/autoregressive.py | write
# tier: 2
# verify: python3 -m unittest tests.test_autoregressive
"""自回归生成的最小模型:条件分布、采样与停止。"""
from __future__ import annotations

import math
import random

CORPUS = (
    ("<s>", "agent", "uses", "tool", "observes", "stops", "</s>"),
    ("<s>", "agent", "observes", "tool", "stops", "</s>"),
    ("<s>", "agent", "uses", "tool", "stops", "</s>"),
    ("<s>", "agent", "observes", "stops", "</s>"),
)


class BigramModel:
    """带加一平滑的二阶近似:只看当前 token 预测下一个。"""

    def __init__(self, corpus=CORPUS):
        self.counts: dict[str, dict[str, int]] = {}
        self.vocab = sorted({token for row in corpus for token in row})
        for row in corpus:
            for current, following in zip(row, row[1:]):
                bucket = self.counts.setdefault(current, {})
                bucket[following] = bucket.get(following, 0) + 1

    def distribution(self, context: str) -> dict[str, float]:
        bucket = self.counts.get(context, {})
        total = sum(bucket.values()) + len(self.vocab)
        return {
            token: (bucket.get(token, 0) + 1) / total
            for token in self.vocab
        }


def reweight(probs: dict[str, float], temperature: float) -> dict[str, float]:
    """温度只改变形状,不改变支持集。"""
    if temperature <= 0:
        raise ValueError("temperature 必须为正")
    powered = {
        token: probability ** (1.0 / temperature)
        for token, probability in probs.items()
        if probability > 0
    }
    total = sum(powered.values())
    return {token: value / total for token, value in powered.items()}


def truncate(probs: dict[str, float], top_p: float) -> dict[str, float]:
    """nucleus sampling:保留累计概率达到 top_p 的最小集合。"""
    if not 0 < top_p <= 1:
        raise ValueError("top_p 必须在 (0, 1] 内")
    ordered = sorted(probs.items(), key=lambda item: (-item[1], item[0]))
    kept: dict[str, float] = {}
    cumulative = 0.0
    for token, probability in ordered:
        kept[token] = probability
        cumulative += probability
        if cumulative >= top_p:
            break
    total = sum(kept.values())
    return {token: value / total for token, value in kept.items()}


def sample(rng: random.Random, probs: dict[str, float]) -> str:
    threshold = rng.random()
    cumulative = 0.0
    for token in sorted(probs):
        cumulative += probs[token]
        if threshold <= cumulative:
            return token
    return max(probs, key=probs.get)


def generate(
    model: BigramModel,
    prompt: tuple[str, ...],
    rng: random.Random,
    max_tokens: int = 8,
    temperature: float = 1.0,
    top_p: float = 1.0,
    stop: str = "</s>",
) -> tuple[str, ...]:
    tokens = list(prompt)
    for _ in range(max_tokens):
        probs = truncate(reweight(model.distribution(tokens[-1]), temperature), top_p)
        nxt = sample(rng, probs)
        tokens.append(nxt)
        if nxt == stop:
            break
    return tuple(tokens)


if __name__ == "__main__":
    model = BigramModel()
    probs = model.distribution("agent")
    print("next(agent):")
    for token, probability in sorted(probs.items(), key=lambda kv: -kv[1]):
        print(f"  {token:<10} {probability:.3f}")
    print("greedy:", generate(model, ("<s>",), random.Random(7), temperature=0.01))
    print("sample:", generate(model, ("<s>",), random.Random(7), temperature=1.0))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.autoregressive

输出:

next(agent):
  observes   0.273
  uses       0.273
  </s>       0.091
  <s>        0.091
  agent      0.091
  stops      0.091
  tool       0.091
greedy: ('<s>', 'agent', 'observes', 'stops', '</s>')
sample: ('<s>', 'agent', '<s>', 'observes', '</s>')

输出里有三件事值得注意。

第一,next(agent) 的分布只依赖当前 token,所以 observes 和 uses 并列最高。这是 bigram 的局限,不是语言模型的局限;真实模型会读取完整前文。实验想说明的是机制,不是效果。

第二,贪心生成得到 agent → observes → stops → </s>,采样生成得到 agent → <s> → observes → </s>。后者把 <s> 接在了 agent 后面,语义上不合理,但概率上并非不可能。这就是采样多样性的代价:低概率路径会被走到。生产系统如果要求结构稳定,就不能只看“采样能跑通”,还要看“低概率路径会不会破坏格式”。

第三,两条轨迹都在 </s> 停止。停止符的概率来自语料统计,不是任务判定。如果把 </s> 换成“我完成了”,模型同样会在某个时刻生成它,但这句话不证明任务真的完成。停止符是符号,不是验证器。

架构含义

自回归机制对 Agent 架构有四个直接约束:

约束原因架构动作
记录每步 logprob采样结果需要可分析、可比较在事件日志里保存 token 或动作的 logprob
显式停止原因EOS、预算、验证器含义不同用枚举而不是布尔值记录终止
分离生成与执行模型只生成动作,不保证动作合法在执行前做 schema 校验与权限检查
预算先于生成模型不会自己遵守成本预算在调用前设置 max tokens、步数、时间

第一和第二条最容易被省略。很多系统只记录最终答案,不记录每步的 logprob 和停止原因;出问题时只能重跑,无法回答“当时模型有多确定”“为什么停在这里”。这两项记录的成本很低,但对调试和评测的价值很高。

第三条是安全边界:模型生成的动作是提议,不是执行。工具调用必须先经过参数校验、权限检查和沙箱;否则模型的一个低概率 token 就可能变成一次真实副作用。第四条是成本边界:预算必须在外层强制,不能指望模型“自己知道该停”。

架构判据

判据合格的样子不合格的样子
分布可观测记录每步 top-k 或 logprob只存最终文本
停止可区分终止原因是枚举,含 EOS/预算/验证器只有 finished 布尔值
动作先校验工具参数在执行前校验 schema 与权限模型输出直接执行
预算外层强制max tokens/步数/时间在调用前设定依赖提示词说“请简短”
采样参数可复现记录温度、top-p、seed(若支持)参数散落在代码里

这些判据不需要全部满足才能上线,但 W2 和 W3 至少要做到“停止可区分”和“动作先校验”。W1 的只读问答可以放宽分布记录,但仍然应该记录停止原因,否则无法区分“答完了”和“超时了”。

小结

  • 自回归模型用链式法则把一条轨迹拆成条件概率的乘积;它优化局部似然,不直接优化任务成功率。
  • Agent 的动作可以被 token 化,所以下一个 token 预测器可以当策略;但局部连贯不等于全局正确。
  • 贪心、温度采样和 top-p 只改变“怎么选”,不改变“分布里有什么”;采样是选择机制,不是能力机制。
  • 停止有四类来源:模型 EOS、结构完成、外部预算、外部判定;它们的可靠性不同,必须分别记录。
  • 模型生成的动作是提议,不是执行;执行前必须做 schema 校验、权限检查和沙箱隔离。
  • 预算必须在外层强制;模型不会因为提示词说“请简短”就可靠地遵守成本约束。

阅读导航:上一节:1.3 三条工作负载与本书的判据格式 · 下一节:2.2 温度、top-p 与策略多样性 。

常见错误与边界

  1. 把生成结束当任务完成。 EOS 只证明模型认为该停了;任务是否完成需要验证器或人工判定。
  2. 把采样当能力。 温度、top-p 只能在已有分布里选,不能创造模型没有的知识或技能。
  3. 只记录最终文本。 没有 logprob 和中间动作,失败无法归因,评测也无法复现。
  4. 用提示词代替预算。 “请简短”“最多三步”不是强制约束;max tokens、步数和超时必须由外层代码执行。
  5. 让模型输出直接执行。 工具参数未经 schema 校验和权限检查就执行,等于把注入面直接接到副作用上。
  6. 忽略停止原因的差异。 EOS、预算耗尽和验证通过对应不同处理;压成一个布尔值会掩盖故障。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图