《AI Agent 技术原理与架构·模型、推理与能力边界》7.3 测试时计算:何时更多 token 有用

加 token、多采样、投票、搜索,都是测试时计算的不同形式;它们不是同一件事,收益条件也不同。本节用 pass@k 与多数投票的对比实验说明:没有验证器时,多采样只提高“至少有一次正确”的概率;多数投票则要求单次正确率过半且错误相互独立。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

“多给模型一些 token,它就会更聪明”是一个危险的简化。测试时计算有很多种形式:延长思维链、采样多个候选、对候选投票、做树搜索、调用工具验证。它们的收益条件完全不同,混在一起讨论会得出错误结论。

最典型的混淆是 pass@k 和多数投票。pass@k 衡量“k 个候选里至少有一个正确”,它假设有一个验证器能挑出正确的那一个;多数投票衡量“k 个候选里正确的那一类占多数”,它不假设验证器,但要求单次正确率过半、错误相互独立。两者都叫“多采样”,结论却可能相反。

测试时计算的几种形式

形式做什么需要什么主要成本
长 CoT一条链走更多步可分解、可验证延迟、累积误差
Best-of-N采 N 个候选,用验证器选独立验证器采样 + 验证
多数投票采 N 个候选,按答案投票答案可归一化采样
树搜索展开多条路径并剪枝价值估计/验证器搜索与回滚
工具验证执行工具核对结果工具与权限执行延迟

这些形式的共同点是“用计算换质量”,但兑换率差别很大。Best-of-N 的质量上限由验证器决定;多数投票的上限由单次正确率和错误相关性决定;长 CoT 的上限由单步可靠性决定。没有验证器时,增加采样只能提高“存在正确答案”的概率,不能保证你选得出来。

最小实验:pass@k 与多数投票

下面的实验计算两个量:k 个候选里至少一个正确的概率(pass@k),以及 k 个候选中正确类占多数的概率(多数投票)。它用同一个单次正确率 $p=0.4$ 做对比。

# file: agp_lab/test_time.py | write
# tier: 3
# verify: python3 -m unittest tests.test_test_time
"""测试时计算:pass@k、多数投票与边际收益。"""
from __future__ import annotations

import math
from collections import Counter


def pass_at_k(p: float, k: int) -> float:
    if not 0 <= p <= 1:
        raise ValueError("概率必须在 [0, 1] 内")
    if k < 0:
        raise ValueError("k 不能为负")
    return 1.0 - (1.0 - p) ** k


def majority_vote(candidates: list[str]) -> str:
    if not candidates:
        raise ValueError("候选不能为空")
    counts = Counter(candidates)
    return max(counts, key=lambda item: (counts[item], item))


def majority_accuracy(p: float, k: int) -> float:
    """k 为奇数时,正确候选严格过半即胜出。"""
    if k % 2 == 0:
        raise ValueError("k 必须为奇数")
    return sum(
        math.comb(k, correct) * p ** correct * (1 - p) ** (k - correct)
        for correct in range(k // 2 + 1, k + 1)
    )


def marginal_gain(p: float, k: int) -> float:
    if k <= 1:
        return majority_accuracy(p, 1)
    return majority_accuracy(p, k) - majority_accuracy(p, k - 2)


if __name__ == "__main__":
    p = 0.4
    print("k  pass@k  majority  marginal")
    for k in (1, 3, 5, 9):
        majority = p if k == 1 else majority_accuracy(p, k)
        marginal = p if k == 1 else marginal_gain(p, k)
        print(f"{k:<2} {pass_at_k(p, k):>6.3f} {majority:>9.3f} {marginal:>9.3f}")
    print("vote:", majority_vote(["A", "B", "A", "C", "A"]))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.test_time

输出:

k  pass@k  majority  marginal
1   0.400     0.400     0.400
3   0.784     0.352    -0.048
5   0.922     0.317    -0.035
9   0.990     0.267    -0.023
vote: A

pass@k 随 k 快速上升:k=9 时达到 0.990。这个数字经常被误读成“多采样让模型准确率到 99%”。它实际说的是:如果有一个完美的验证器能从 9 个候选里挑出正确的那一个,那么至少有一个正确的概率是 99%。 没有验证器,这个 99% 不可兑现。

多数投票的结果相反:k=3 时 0.352,低于单次的 0.400;k=9 时只有 0.267。原因是单次正确率 0.4 低于 0.5,错误答案占多数,投票会系统性地选错。marginal 为负,说明增加候选数在这个条件下是负收益。

vote: A 是一个简单示例:候选 ["A", "B", "A", "C", "A"] 中 A 出现三次,投票选 A。真实系统还要处理答案归一化:"42"、"42.0"、"四十二" 应该被视为同一个答案,否则投票会被表面差异打散。

多数投票什么时候有用

多数投票的收益依赖三个条件:

  1. 单次正确率大于 0.5。 低于 0.5 时,错误类占多数,投票越投越错。
  2. 错误相互独立。 如果模型每次都以同样的方式错,投票不会消除错误,只会稳定地选错。
  3. 答案可归一化。 同一个答案的不同表达要能合并,否则“多数”没有意义。

第二点最容易被违反。同一个模型、同一个提示、同一个温度,采样出的错误往往高度相关;它们不是独立投票者,而是同一个偏差的多次复制。这种情况下,增加 k 的边际收益远低于独立假设下的预测。

什么时候值得增加计算

场景建议原因
有可靠验证器Best-of-N验证器能把正确候选挑出来
单次正确率 > 0.6多数投票错误类不占多数
任务可分解长 CoT + 中间验证单步更容易命中
答案空间小投票/枚举归一化和比较成本低
无验证器且正确率低先改模型/提示加采样只会放大错误

最后一行是关键。很多团队在低正确率任务上加大采样,希望“量变引起质变”;但如果没有验证器,增加的只是候选数量,不是可兑现的准确率。正确的顺序是先提升单次质量,再考虑测试时计算。

成本与延迟

测试时计算的成本不是线性的:

  • 采样 N 个候选,生成成本约 N 倍;
  • 投票需要额外的比较和归一化;
  • Best-of-N 需要验证器,验证本身也有成本;
  • 长 CoT 增加延迟,且占用上下文预算。

延迟目标通常决定了能用哪种形式。交互式 Agent 可能只能承受一次生成加一次验证;离线批处理可以用大 N 和搜索。把离线实验的最优配置直接搬到线上,往往会超时。

架构含义

测试时计算对架构有四个直接约束:

  1. 先问有没有验证器。 没有验证器时,多采样的收益不能按 pass@k 计算。
  2. 按单次正确率选策略。 高于 0.5 才考虑多数投票;低于 0.5 先改模型或提示。
  3. 检查错误相关性。 同模型同提示的多次采样不是独立投票者;需要多样性来源或不同模型。
  4. 给计算设预算。 N、步数、验证次数都要有上限,并与延迟目标对齐。

第 3 条是多数投票最容易被高估的地方。真正的多样性需要不同提示、不同温度、不同模型或不同工具路径;仅仅重复采样同一个配置,往往只是重复同一个偏差。

架构判据

判据合格的样子不合格的样子
验证器明确Best-of-N 有独立验证器采 N 个让模型自己选
正确率达标投票前确认单次正确率 > 0.5低正确率硬投票
错误可独立有多样性来源或相关性评估同配置重复采样
答案可归一有归一化和等价判断字符串直接比较
预算有上限N、步数、验证次数受限无限采样

这些判据里,“验证器明确”决定 pass@k 是否能兑现。没有验证器时,pass@k 只是一个理论上界,不是系统准确率;把它写进报表,会系统性高估能力。

一个代码修复的例子

假设代码修复 Agent 单次测试通过率 0.4。采 9 个补丁,如果没有验证器,只能随机选一个,期望通过率仍是 0.4;如果有一个能运行测试的验证器,选第一个通过的,成功率接近 pass@9 的 0.99(假设测试可靠且候选独立)。差别不在采样,而在验证。

如果测试本身不可靠(比如只覆盖部分行为),Best-of-N 会选出“通过测试但没修好”的补丁。这时验证器成了新的瓶颈:它定义了什么算正确,模型会优化它。测试覆盖、隐藏用例和代码审查,仍然是必需的。

Best-of-N 的成本账

Best-of-N 的成本由三部分组成:采样 N 次、验证 N 次、失败后的重试。它的收益上限由验证器质量决定:

验证器质量表现结果
完美总能挑出正确候选接近 pass@N
有漏检偶尔放过错误候选低于 pass@N
有误杀偶尔拒绝正确候选需要更多候选
可被利用模型学会通过验证但没解决问题奖励黑客

第三、四行是常见盲点。验证器不是“有就行”,它的漏检率、误杀率和抗利用性都要评估;否则 Best-of-N 只是把模型的错误转移给了验证器。

验证器的质量上限

假设验证器对正确候选的召回率是 0.9,对错误候选的误放率是 0.1。N 增大时,“至少有一个正确候选”很快接近 1,但“验证器选中正确候选”的概率会被召回率和误放率限制。继续加 N 的边际收益迅速下降,成本却线性上升。

因此,Best-of-N 的调优顺序应该是:先提升验证器质量,再增加 N。反过来做,通常是在为验证器的缺陷付采样费。

一个客服 Agent 的例子

客服 Agent 要判断“是否应该退款”。单次正确率 0.75,答案只有“退/不退”两类。采 5 个候选投票,理论上多数投票能提升准确率;但如果模型对某一类用户系统性偏向“退款”,5 个候选会一致偏向,投票无效。

这时增加采样没有用,需要的是:换提示、加入反事实样本、用规则校验退款政策、对高风险金额人工审批。测试时计算只能放大已有的判断分布,不能修正系统性偏差。

采样温度与多样性

提高温度能增加表面多样性,但不一定增加“有效多样性”。温度太高,候选变成噪声;温度太低,候选几乎相同。多数投票需要的是“错误方式不同”,而不是“措辞不同”。

一个可操作的检查是:统计候选答案的分布。如果 90% 的候选是同一个答案,投票没有意义;如果答案分布很散,说明模型不确定,投票也可能没有稳定多数。两种情况下,都应该先回到单次质量或验证器,而不是继续加采样。

离线与在线的差别

离线实验可以采 100 个候选、跑昂贵验证器、慢慢投票;线上请求有延迟和成本预算。把离线最优配置直接搬上线,常见的后果是首字延迟超标、GPU 排队、成本翻倍。

上线前要按线上预算重跑一遍:N 降到多少、验证器能否在 SLA 内完成、失败重试是否可控。离线提升 2 个百分点、线上延迟翻倍,通常不是一笔划算的交易。

什么时候不该增加计算

信号说明更好的动作
单次正确率低于 0.4错误类占多数改模型、提示或任务分解
候选高度同质错误相关,投票无效引入多样性来源
无验证器pass@k 不可兑现先建验证器
延迟已超 SLA加采样只会更慢减 N 或改离线
错误是系统性的每次都错在同一处修数据/规则,不是加采样

这张表的共同结论是:测试时计算是放大器,不是修复器。它能放大已有的正确率,也能放大已有的偏差;在错误的分布上增加计算,只会更稳定地得到错误答案。

小结

  • 测试时计算有多种形式:长 CoT、Best-of-N、多数投票、树搜索、工具验证;收益条件不同。
  • pass@k 衡量“至少一个正确”,需要验证器才能兑现;没有验证器时不是系统准确率。
  • 多数投票要求单次正确率过半、错误相互独立、答案可归一化;低于 0.5 时会越投越错。
  • 同模型同配置的重复采样不是独立投票者,错误往往高度相关。
  • 低正确率任务应先改模型或提示,再加采样;否则只是放大错误。
  • N、步数、验证次数都要有预算,并与延迟目标对齐。

阅读导航:上一节:7.2 推理模型:RLVR、GRPO 与可验证奖励 · 下一节:8.1 幻觉分类:事实、引用、执行 。

常见错误与边界

  1. 把 pass@k 当准确率。 没有验证器时,pass@k 只是上界,不是可兑现的系统指标。
  2. 低正确率硬投票。 单次低于 0.5 时错误类占多数,投票会系统性选错。
  3. 假设采样独立。 同模型同提示的错误高度相关,增加 k 的收益远低于理论值。
  4. 不做答案归一化。 同一答案的不同表达会打散投票,导致多数失效。
  5. 无限加采样。 N 增加带来线性成本和延迟,必须设预算。
  6. 忽略验证器质量。 Best-of-N 的上限由验证器决定;测试不可靠会选出“假通过”的补丁。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图