《AI Agent 技术原理与架构·模型、推理与能力边界》7.1 CoT:显式推理的收益与代价

思维链把一次生成拆成多步显式推理,可能提高复杂任务的成功率,也把 token、延迟和错误累积一起放大。本节用“直接作答”和“三步/六步/十二步 CoT”的对比实验,说明收益何时为正、何时为负,讨论自一致性与推理忠实性,并给出推理长度预算与验证点的架构判据。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

思维链(Chain of Thought, CoT)的核心不是“让模型说出想法”,而是把一次难以直接命中的生成,拆成多个更容易命中的中间步骤。Wei et al. 2022 报告了在算术、常识和符号推理任务上,显式中间步骤能显著改善大模型的表现;后续工作又把 CoT 扩展到自一致性、树搜索和工具调用。

但 CoT 不是免费的能力开关。它把输出长度乘以步数,把延迟和成本一起放大;更重要的是,每一步都可能出错,而错误会沿着链累积。 一个 90% 准确率的步骤,走 12 步后全对的概率只有 28%。所以“更多推理”不必然“更正确”,关键要看任务是否可分解、步骤是否可验证、以及预算是否值得。

CoT 在优化什么

直接作答可以看成一次条件生成:

$$
a \sim \pi(\cdot \mid x)
$$

CoT 引入中间序列 $z_1, z_2, \dots, z_n$,再基于中间序列生成答案:

$$
z_i \sim \pi(\cdot \mid x, z_{<i}), \quad a \sim \pi(\cdot \mid x, z_{\le n})
$$

每一步的生成空间比“一次给出最终答案”小,模型更容易命中;但整条链的联合概率是各步概率的乘积。如果各步独立且每步准确率为 $p$,全链准确率约为 $p^n$。这就是收益与代价的基本矛盾:

  • 分解降低了单步难度,$p$ 可能上升;
  • 步数 $n$ 增加了累积失败的概率;
  • token 成本随 $n$ 线性增长。

CoT 有效的条件,是单步难度的下降幅度大于累积误差的增加幅度。对多步算术、需要检索多个约束的规划、需要显式检查的代码修复,这个条件经常成立;对单点事实问答或简单分类,分解反而可能引入不必要的错误。

最小实验:步数、准确率与每千 token 收益

下面的实验用三个参数描述策略:单步准确率、步数、每步 token 数。它不训练模型,只计算“全链正确率”和“每多花 1000 token 换来多少准确率”。

# file: agp_lab/cot.py | write
# tier: 3
# verify: python3 -m unittest tests.test_cot
"""CoT 的收益与代价:正确率、token 成本与收益递减。"""
from __future__ import annotations

from dataclasses import dataclass


@dataclass(frozen=True)
class Policy:
    name: str
    step_accuracy: float
    steps: int
    tokens_per_step: int


def direct_accuracy(p: float) -> float:
    if not 0 <= p <= 1:
        raise ValueError("概率必须在 [0, 1] 内")
    return p


def cot_accuracy(step_accuracy: float, steps: int) -> float:
    """所有步骤都正确才算成功;用于展示长链的误差累积。"""
    if not 0 <= step_accuracy <= 1:
        raise ValueError("概率必须在 [0, 1] 内")
    if steps < 0:
        raise ValueError("步数不能为负")
    return step_accuracy ** steps


def token_cost(policy: Policy) -> int:
    return policy.steps * policy.tokens_per_step


def gain_per_1k_tokens(base: Policy, cot: Policy) -> float:
    base_acc = direct_accuracy(base.step_accuracy)
    cot_acc = cot_accuracy(cot.step_accuracy, cot.steps)
    extra = token_cost(cot) - token_cost(base)
    if extra <= 0:
        return 0.0
    return (cot_acc - base_acc) / (extra / 1000)


DIRECT = Policy("direct", 0.60, 1, 10)
COT_3 = Policy("cot-3", 0.90, 3, 100)
COT_6 = Policy("cot-6", 0.90, 6, 100)
COT_12 = Policy("cot-12", 0.90, 12, 100)

if __name__ == "__main__":
    print("policy   accuracy  tokens  gain_per_1k")
    for policy in (DIRECT, COT_3, COT_6, COT_12):
        accuracy = (direct_accuracy(policy.step_accuracy)
                    if policy.steps == 1
                    else cot_accuracy(policy.step_accuracy, policy.steps))
        gain = gain_per_1k_tokens(DIRECT, policy)
        print(f"{policy.name:<8} {accuracy:>8.3f} {token_cost(policy):>7} {gain:>12.3f}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.cot

输出:

policy   accuracy  tokens  gain_per_1k
direct      0.600      10        0.000
cot-3       0.729     300        0.445
cot-6       0.531     600       -0.116
cot-12      0.282    1200       -0.267

direct 是基线:一步 10 token,准确率 0.60。cot-3 把单步准确率提高到 0.90,走 3 步,全链准确率 0.729,比基线高 12.9 个百分点,代价是 290 个额外 token;折算下来每千 token 收益 0.445,仍然是正的。

cot-6 的单步准确率没变,但步数翻倍,全链准确率降到 0.531,低于直接作答。cot-12 更差,只有 0.282。这个结果不是“CoT 没用”,而是说明:当单步准确率不足以支撑长链时,增加步数会让结果变坏。 真实系统里,单步准确率不会固定;有的步骤容易,有的步骤难,长链的失败往往集中在少数难点上。

gain_per_1k 是一个显式的取舍指标。它把准确率增益除以额外 token,单位是“每千 token 的准确率提升”。这个指标不完美,但比“CoT 涨点了”更有决策价值:如果增益为负,继续加长推理就是花钱买更差的结果。

收益什么时候为正

CoT 的收益取决于三个条件:

条件收益为正收益为负
可分解性任务能拆成相对独立的子问题任务是一个整体判断
单步可靠性每步准确率明显高于直接作答每步和直接作答差不多
可验证性中间步骤能被检查或工具验证步骤无法验证,错了也不知道

第三个条件最容易被忽略。可验证的 CoT 可以在中途停下、重试或换路径;不可验证的 CoT 只是一段更长的文本,错了也只能在最后发现。对 Agent 来说,可验证性通常来自工具:算数用计算器、代码用测试、检索用引用核对。没有验证点的长链,风险随步数增长。

成本不只是 token

CoT 的成本至少有四项:

  1. 生成成本:token 数增加,prefill/decode 都变贵。
  2. 延迟:用户等待第一个可用结果的时间变长。
  3. 上下文占用:推理轨迹会挤占后续步骤的上下文预算。
  4. 暴露风险:轨迹可能包含敏感信息或可被利用的内部细节。

第三项在 Agent 里经常被低估。一个长 CoT 可能占掉几千 token,导致后续工具结果被截断;这时“更长的推理”反而降低了整体任务成功率。架构上要区分“内部推理预算”和“对外输出预算”,不能共用同一个上限。

架构含义

CoT 对架构有四个直接约束:

  1. 按任务类型启用。 简单分类、单点事实不需要长链;多步规划、代码修复、约束满足更适合。
  2. 给推理设预算。 步数、token、时间都要有上限;超过上限要停止或降级。
  3. 在关键步骤加验证。 工具结果、测试、引用核对都可以作为链中的检查点。
  4. 区分内部与外部输出。 推理轨迹不必全部展示给用户;对外输出应该简洁、可核验。

第 2 条是底线。没有预算的 CoT 会在困难样本上无限延长,把一次请求变成一次成本事故;而困难样本恰恰是最需要稳定延迟的那一类。

架构判据

判据合格的样子不合格的样子
任务匹配按任务类型决定是否 CoT所有请求都加长链
预算明确步数/token/时间有上限让模型自由发挥
步骤可验证关键步骤有工具或规则检查整条链无人校验
收益可量化有基线、增益和成本对比只说“效果更好”
失败可停止超预算或验证失败能中止继续生成直到结束

这些判据里,“收益可量化”决定 CoT 是否值得上线。没有基线的 CoT 实验,无法区分“推理带来的提升”和“模型版本变化带来的提升”;两者混在一起,结论不可信。

一个代码修复的例子

假设任务是修复一个失败的单元测试。直接作答可能让模型凭直觉改一行;三步 CoT 则是:

  1. 读测试失败信息,定位断言。
  2. 读相关实现,提出假设。
  3. 修改并运行测试。

第三步是验证点:测试通过与否是外部信号,不依赖模型自我评估。如果第三步失败,链可以回到第二步换假设,而不是继续往下编。这个结构比“让模型写一大段分析再改代码”更可靠,因为每一步都有可检查的输入输出。

反过来,如果任务是“这段文案是否合适”,中间步骤很难验证,长 CoT 往往只是把主观判断写得更长。此时更应该用评分 rubric 或多候选对比,而不是无限推理。

自一致性:多条链投票

自一致性(self-consistency)采样多条推理链,对最终答案投票。它不要求每条链都对,只要求正确答案在多数链里出现。收益依赖两个条件:单条链的正确率不能太低,错误不能高度相关。

如果所有链都在同一步犯错,投票只会稳定地选出同一个错误答案。真正的多样性需要不同的起点、不同的分解方式或不同的工具路径;仅仅提高温度,往往只是增加表面差异。

CoT 的忠实性

模型生成的推理轨迹不一定是它实际的计算过程。模型可能先得出答案,再补一段看起来合理的推理;也可能在轨迹里省略关键跳跃。Anthropic 等机构的研究反复提示:可读的 CoT 不等于忠实的 CoT。

对架构来说,这意味着不能把 CoT 当审计证据。要验证结论,应该看外部证据:测试、引用、工具结果、数据核对。CoT 可以帮助定位问题,但不能单独证明答案正确。

一个预算策略

一个可执行的推理预算可以分三档:

档位步数上限适用超限动作
快速1–3分类、抽取、简单问答直接返回
标准4–8多步检索、常规代码修复请求澄清
深度9–20复杂规划、疑难诊断转人工或离线

预算不是固定值,应该按任务类型和风险等级配置。关键是超限时要有明确动作,而不是让模型继续生成到自然结束。

CoT 与工具调用的关系

CoT 解决“怎么想”,工具调用解决“怎么验证”。两者组合时,常见模式是“推理—调用—观察—继续推理”:模型先提出假设,再调用工具获取事实,基于结果修正假设。

模式适用风险
纯 CoT无外部工具、可分解任务中间步骤无法验证
CoT + 工具需要事实/计算/执行工具延迟与错误回填
工具优先答案可直接查询过度依赖工具,不会推理

工具结果应该被视为“观察”,而不是“结论”。模型仍需判断工具是否成功、结果是否回答了问题;这一步本身又需要推理。把工具调用当成 CoT 的替代品,会在工具失败时失去纠偏能力。

小结

  • CoT 把一次生成拆成多步,降低单步难度,但联合成功率是各步准确率的乘积。
  • 步数增加会放大累积误差;单步准确率不够高时,更长的链可能更差。
  • CoT 收益取决于可分解性、单步可靠性和可验证性;三者缺一,长链都可能变成成本。
  • 成本不只是 token,还包括延迟、上下文占用和轨迹暴露。
  • 架构上要按任务启用、设预算、加验证点,并区分内部推理与对外输出。
  • 没有基线和增益/成本对比,不能宣称 CoT 有效。

阅读导航:上一节:6.3 工具选择错误的分类与评测 · 下一节:7.2 推理模型:RLVR、GRPO 与可验证奖励 。

常见错误与边界

  1. 所有任务都上 CoT。 简单任务加长链只会增加成本和错误面。
  2. 只看最终准确率。 不看步数、token 和延迟,无法判断收益是否值得。
  3. 忽略累积误差。 单步 90% 走 12 步只剩 28%;长链需要更高的单步可靠性或验证点。
  4. 没有预算。 困难样本会无限延长,造成延迟和成本事故。
  5. 把 CoT 当解释。 生成的推理轨迹不一定是模型真实计算过程,不能直接当因果解释。
  6. 不设验证点。 不可验证的长链错了也只能在最后发现,无法中途纠偏。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图