以下工作负载、预算与数字均为教学假设,不构成对任何真实产品、供应商或生产系统的承诺。
上一节说采样是选择机制,不是能力机制。这一节把这个判断量化:温度改变分布的熵,top-p 改变保留的尾部大小,distinct-n 和 pass@k 度量生成结果的多样性。三个量合起来,能回答一个很实际的问题:多花几倍 token 去采样多个候选,什么时候值得?
先给结论:多样性只有在有验证器的时候才值得付费。没有验证器,多采样只是在更多错误候选里随机挑一个;有验证器,多采样才变成“用算力换成功率”。这个区别决定了 Agent 架构该不该开多候选、该开多少、该在哪里停。
温度:改变分布的陡峭程度
给定 logits $z_i$,softmax 温度采样定义为:
$$
p_i(T) = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}
$$
$T < 1$ 让分布更陡,高概率 token 更占优势;$T > 1$ 让分布更平,低概率 token 获得更多机会;$T \to 0$ 退化为贪心。温度不改变支持集(概率为零的 token 仍然为零),只改变形状。
衡量形状的量是熵:
$$
H(p) = -\sum_i p_i \log p_i
$$
熵越高,分布越分散,采样结果越难预测。温度升高,熵通常升高;温度降低,熵通常降低。但熵只描述不确定性,不描述正确性。一个均匀分布和另一个均匀分布的熵一样高,不代表它们包含的正确答案一样多。
top-p:保留多少尾部
nucleus sampling(Holtzman et al. 2020)先按概率降序排列,保留累计概率达到 $p$ 的最小集合,再在这个集合里重新归一化采样。$p=0.9$ 意味着丢掉尾部 10% 的概率质量;$p=1.0$ 等价于不截断。
top-p 和温度的作用不同:
| 参数 | 作用对象 | 主要风险 |
|---|---|---|
| 温度 | 所有 token 的相对概率 | 高温放大错误 token,低温退化为重复 |
| top-p | 保留的 token 集合 | p 太小删掉正确但罕见的 token |
两者可以组合,但组合效果不是线性的。低温加小 top-p 会把分布压得很窄,适合结构化输出;高温加大 top-p 会保留大量候选,适合探索。最危险的组合是“低温 + 大 top-p”:温度把概率差距拉大,top-p 又保留了很多低概率 token,结果是小概率 token 被采样到的机会仍然存在,但整体分布看起来“很确定”。
多样性怎么度量
三个常用量:
- distinct-n:不同 n-gram 数除以总 n-gram 数。越高说明重复越少。
- pass@k:n 个样本中至少一个正确的概率估计。Chen et al. 2021 给出无偏估计:
$$
\widehat{\text{pass@k}} = 1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}
$$
其中 $c$ 是正确样本数,$n$ 是总样本数,$k$ 是允许尝试的次数。
- self-consistency:多个样本的最终答案一致率。一致率高不一定正确,但可以作为“是否需要更多采样”的信号。
这三个量都有边界。distinct-n 可以被无意义的多样性刷高:模型输出一堆不重复的胡说,distinct-n 很漂亮,任务成功率很低。pass@k 依赖独立采样和可靠验证器:如果样本不独立,或者验证器把错误答案判对,pass@k 会高估真实能力。self-consistency 依赖答案可归一化:同一个意思的不同表述会被当成不同答案。
最小实验:采样参数与多样性
下面的实验把 softmax 温度、熵、nucleus 集合、distinct-n 和 pass@k 放在一个模块里。它不调用模型,只对固定 logits 和固定 token 序列做计算,方便观察参数变化的方向。
# file: agp_lab/sampling.py | write
# tier: 2
# verify: python3 -m unittest tests.test_sampling
"""温度、top-p 与策略多样性的度量。"""
from __future__ import annotations
import math
def softmax(logits: list[float], temperature: float = 1.0) -> list[float]:
if temperature <= 0:
raise ValueError("temperature 必须为正")
scaled = [value / temperature for value in logits]
top = max(scaled)
weights = [math.exp(value - top) for value in scaled]
total = sum(weights)
return [weight / total for weight in weights]
def entropy(probs: list[float]) -> float:
return -sum(p * math.log(p) for p in probs if p > 0)
def nucleus(probs: list[float], top_p: float) -> tuple[list[int], list[float]]:
"""返回保留的下标与重新归一化的概率。"""
if not 0 < top_p <= 1:
raise ValueError("top_p 必须在 (0, 1] 内")
order = sorted(range(len(probs)), key=lambda index: (-probs[index], index))
kept: list[int] = []
cumulative = 0.0
for index in order:
kept.append(index)
cumulative += probs[index]
if cumulative >= top_p:
break
mass = sum(probs[index] for index in kept)
return kept, [probs[index] / mass for index in kept]
def distinct_n(tokens: list[str], n: int) -> float:
if n <= 0 or len(tokens) < n:
return 0.0
grams = [tuple(tokens[index:index + n]) for index in range(len(tokens) - n + 1)]
return len(set(grams)) / len(grams)
def pass_at_k(n: int, c: int, k: int) -> float:
"""Chen et al. 2021 的无偏 pass@k 估计;n 个样本中 c 个正确。"""
if not 0 <= c <= n or k <= 0 or k > n:
raise ValueError("需要 0 <= c <= n 且 1 <= k <= n")
if n - c < k:
return 1.0
return 1.0 - math.comb(n - c, k) / math.comb(n, k)
if __name__ == "__main__":
logits = [2.0, 1.0, 0.0, -1.0]
print("temp top1 entropy top_p kept")
for temperature in (0.5, 1.0, 2.0):
probs = softmax(logits, temperature)
kept, _ = nucleus(probs, 0.8)
print(f"{temperature:<5} {max(probs):.3f} {entropy(probs):.3f} "
f"0.8 {len(kept)}")
print("pass@1..5 (n=10, c=2):",
[round(pass_at_k(10, 2, k), 3) for k in range(1, 6)])
tokens = ["a", "b", "a", "b", "a", "c"]
print("distinct-1:", round(distinct_n(tokens, 1), 3),
"distinct-2:", round(distinct_n(tokens, 2), 3))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.sampling
输出:
temp top1 entropy top_p kept
0.5 0.865 0.455 0.8 1
1.0 0.644 0.948 0.8 2
2.0 0.455 1.245 0.8 3
pass@1..5 (n=10, c=2): [0.2, 0.378, 0.533, 0.667, 0.778]
distinct-1: 0.5 distinct-2: 0.6
三行温度对应三种采样行为:$T=0.5$ 时 top-1 概率 0.865,top-p=0.8 的 nucleus 只保留 1 个 token,几乎等价于贪心;$T=1.0$ 时保留 2 个;$T=2.0$ 时保留 3 个,熵从 0.455 升到 1.245。温度升高不是让模型更聪明,而是让候选集合更大。
pass@k 的数字更值得注意:n=10、c=2 时,pass@1 是 0.2,pass@5 是 0.778。也就是说,如果允许试 5 次,至少一次成功的估计概率接近 78%。这个数字很有诱惑力,但它成立的前提是:10 个样本独立、验证器可靠、5 次尝试的成本可接受。三个前提缺一个,pass@k 就不能直接用于架构决策。
distinct-1=0.5、distinct-2=0.6 是对固定序列 a b a b a c 的计算结果。它只说明这个序列里 unigram 和 bigram 的重复程度,不说明内容质量。多样性指标是描述性的,不是评价性的。
什么时候值得多采样
把上面的量放进架构决策,可以用一张表:
| 条件 | 多采样是否值得 | 原因 |
|---|---|---|
| 有可靠验证器(测试、健康检查、引用核对) | 值得,直到边际收益低于成本 | 验证器把多样性转成成功率 |
| 没有验证器,只有人工抽检 | 谨慎,最多少量候选 | 人工成本随候选数线性增长 |
| 任务要求确定性(W3 审批动作) | 不值得 | 多候选增加选择困难和审计负担 |
| 任务需要探索(W2 修复方案) | 值得,但必须限制候选数与预算 | 不同方案可能触发不同测试结果 |
| 只读问答(W1) | 通常不值得 | 延迟预算紧,验证主要靠引用核对 |
这张表的核心是“验证器”一列。没有验证器时,多采样的收益无法确认,成本却确定增加;有验证器时,多采样相当于把算力换成“至少一次正确”的概率。Agent 架构应该先问“我有没有验证器”,再问“我要采几个”。
对三条负载,教学建议如下(不是实测结论):
| 负载 | 温度 | top-p | 候选数 | 停止条件 |
|---|---|---|---|---|
| W1 | 0.2 | 0.9 | 1 | 引用核对通过 |
| W2 | 0.7 | 0.9 | 2–3 | 指定测试通过或预算耗尽 |
| W3 | 0.0 | 0.9 | 1 | 审批通过 + 健康检查通过 |
W3 用温度 0 不是因为它一定最好,而是因为不可逆操作需要可审计的单一决策路径;多候选会让“为什么选这个动作”变得更难解释。W2 允许 2–3 个候选,是因为测试提供了一个相对可靠的验证器;W1 不采样,是因为延迟预算和引用核对已经足够。
架构含义
采样参数不是“调参”,而是架构契约的一部分。四个直接约束:
- 参数必须随请求记录。 温度、top-p、候选数、seed(若支持)要写进事件日志;否则同一条轨迹无法复现,评测也无法比较。
- 候选生成与验证必须分离。 多采样只在有验证器的阶段开启;验证器不存在时,候选数应该为 1。
- 预算必须包含候选成本。 3 个候选意味着 3 倍生成成本,可能还意味着 3 倍工具调用成本;预算要按候选总数计算。
- 采样参数按负载固定,不按情绪调整。 W3 不应因为“今天想稳一点”临时改温度;参数变更应该走配置和评审。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 参数可追溯 | 每次调用记录温度、top-p、候选数 | 参数硬编码且无日志 |
| 候选有验证 | 多候选只在有测试/核对时开启 | 无验证器也开 5 个候选 |
| 成本可计算 | 预算按候选总数计算 | 只算单次生成成本 |
| 多样性有基线 | distinct-n/pass@k 有对照版本 | 只看单次演示的多样性 |
| 负载有区分 | W1/W2/W3 使用不同采样策略 | 所有场景共用一组参数 |
这些判据里,“候选有验证”是最容易被违反的一条。很多团队看到 pass@k 的数字后直接开多候选,却没有意识到 pass@k 的分母是“验证器判定正确”的样本;验证器不可靠时,多采样只是让错误答案更多样。
采样参数的变更管理
采样参数一旦进入生产,就不应该由个人随手调整。建议把它们当成配置项管理:
| 变更 | 需要什么 | 为什么 |
|---|---|---|
| 调整温度 | 对照评测 + 负载标注 | 温度改变失败分布,不只是“风格” |
| 调整 top-p | 候选覆盖率检查 | 可能删掉正确但罕见的 token |
| 增加候选数 | 成本预算 + 验证器确认 | 候选数线性增加生成与工具成本 |
| 更换 seed 策略 | 重放能力评估 | seed 影响可复现性 |
变更管理的核心不是“禁止调参”,而是“调参必须留下证据”。没有对照评测的温度调整,本质上是在用生产流量做实验;有对照评测,才能知道变化来自参数还是来自流量波动。
小结
- 温度改变分布的陡峭程度,top-p 改变保留的尾部;两者都不改变模型拥有的知识。
- 温度升高通常提高熵和多样性,但不提高正确率;低温降低多样性,也可能退化为重复。
- distinct-n 描述重复程度,pass@k 估计多次尝试的成功概率,self-consistency 描述答案一致率;三者都不是质量本身。
- 多采样只在有可靠验证器时值得付费;没有验证器时,它只是制造更多错误候选。
- 采样参数必须随请求记录,预算必须按候选总数计算,参数变更应该走配置与评审。
- W3 这类不可逆负载应优先保证单一、可审计的决策路径,而不是追求候选多样性。
阅读导航:上一节:2.1 自回归生成:条件概率、采样与停止 · 下一节:2.3 供应商非确定性与可重放边界 。
常见错误与边界
- 把温度当能力开关。 温度只能改变分布形状,不能增加模型没有的知识;高温不会让模型“更聪明”。
- 用 distinct-n 证明质量。 多样性可以被无意义输出刷高;它只描述重复程度,不描述正确性。
- 无验证器也开多候选。 没有可靠验证器时,pass@k 的高估没有意义,多采样只是增加成本。
- 忽略候选的工具成本。 多候选可能触发多次工具调用;预算必须按候选总数计算,而不是按单次生成计算。
- 参数不记录。 温度、top-p、候选数和 seed 不写日志,轨迹无法复现,评测无法比较。
- 所有负载共用参数。 W1 的延迟预算、W2 的探索需求和 W3 的审计要求不同,采样策略应该分开。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。