以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
“我很确定”是模型生成的文本,不是概率保证。一个模型可能以 0.9 的置信度输出答案,实际正确率只有 0.6;也可能以 0.6 的置信度输出,实际正确率 0.8。校准(calibration)衡量的就是这两者是否一致:当模型说 90% 时,是不是真的有 90% 是对的。
校准对 Agent 比对人机对话更重要。Agent 需要决定是否调用工具、是否重试、是否升级人工、是否执行不可逆动作。这些决策依赖“我有多确定”,而不是“答案读起来有多自信”。一个过度自信的模型会把不确定性藏起来,让编排器在该停的时候继续执行。
置信度的三个来源
| 来源 | 例子 | 优点 | 局限 |
|---|---|---|---|
| 词概率 | 生成答案 token 的平均 logprob | 直接、连续 | 只反映语言概率,不反映事实 |
| 采样一致性 | 多次采样的答案分布 | 黑盒可用 | 成本高,相关性影响大 |
| 模型自述 | “我有 80% 把握” | 易读 | 常过度自信,不可校准 |
词概率不是事实概率。模型可以很流畅地生成一个错误事实,词概率很高;也可以在一个正确但生僻的答案上概率很低。采样一致性更接近“模型内部的稳定程度”,但同模型同提示的采样高度相关,一致性高不代表正确。
模型自述的置信度最不可靠,因为它也是生成的文本,可能受提示、语气和训练数据影响。它可以作为交互信号,但不应该作为自动化决策的唯一依据。
Brier 与 ECE
Brier score 衡量置信度与结果的均方误差:
$$
\text{Brier} = \frac{1}{n}\sum_{i=1}^{n}(c_i - y_i)^2
$$
其中 $c_i$ 是置信度,$y_i \in {0,1}$ 是是否正确。越小越好;0.25 大约相当于“总是说 0.5”。
期望校准误差(ECE)把置信度分桶,比较每个桶的平均置信度和平均正确率:
$$
\text{ECE} = \sum_{b=1}^{B}\frac{n_b}{n}\left|\text{acc}(b) - \text{conf}(b)\right|
$$
ECE 更直观,但对分桶敏感;Brier 更平滑,但会被极端错误放大。两者应该一起看,不能只报一个。
最小实验:校准与弃权
下面的实验用 6 个(置信度,是否正确)样本计算 Brier、ECE,并在不同阈值下计算覆盖率和覆盖样本的准确率。
# file: agp_lab/calibration.py | write
# tier: 3
# verify: python3 -m unittest tests.test_calibration
"""校准:Brier、ECE 与按置信度弃权。"""
from __future__ import annotations
PAIRS = [
(0.90, 1),
(0.80, 1),
(0.70, 0),
(0.60, 0),
(0.55, 1),
(0.40, 0),
]
def brier(pairs: list[tuple[float, int]]) -> float:
if not pairs:
raise ValueError("样本不能为空")
return sum((confidence - outcome) ** 2 for confidence, outcome in pairs) / len(pairs)
def ece(pairs: list[tuple[float, int]], bins: int = 2) -> float:
if bins <= 0:
raise ValueError("bins 必须为正")
buckets: list[list[tuple[float, int]]] = [[] for _ in range(bins)]
for confidence, outcome in pairs:
index = min(int(confidence * bins), bins - 1)
buckets[index].append((confidence, outcome))
total = len(pairs)
error = 0.0
for bucket in buckets:
if not bucket:
continue
avg_conf = sum(confidence for confidence, _ in bucket) / len(bucket)
avg_acc = sum(outcome for _, outcome in bucket) / len(bucket)
error += abs(avg_conf - avg_acc) * len(bucket) / total
return error
def selective_accuracy(pairs: list[tuple[float, int]],
threshold: float) -> tuple[float, float]:
"""返回 (覆盖率, 覆盖样本上的准确率)。"""
if not 0 <= threshold <= 1:
raise ValueError("阈值必须在 [0, 1] 内")
kept = [(confidence, outcome) for confidence, outcome in pairs
if confidence >= threshold]
if not kept:
return 0.0, 0.0
coverage = len(kept) / len(pairs)
accuracy = sum(outcome for _, outcome in kept) / len(kept)
return coverage, accuracy
if __name__ == "__main__":
print("brier:", round(brier(PAIRS), 4))
print("ece:", round(ece(PAIRS, bins=2), 4))
for threshold in (0.5, 0.75, 0.85):
coverage, accuracy = selective_accuracy(PAIRS, threshold)
print(f"threshold={threshold:.2f} coverage={coverage:.1%} accuracy={accuracy:.1%}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.calibration
输出:
brier: 0.2104
ece: 0.1583
threshold=0.50 coverage=83.3% accuracy=60.0%
threshold=0.75 coverage=33.3% accuracy=100.0%
threshold=0.85 coverage=16.7% accuracy=100.0%
Brier 0.2104 比“总是 0.5”的 0.25 好,但仍有明显误差。ECE 0.1583 说明平均置信度和实际正确率差了约 16 个百分点;模型整体偏自信。
阈值 0.50 时,覆盖 83.3% 的样本,准确率 60%;阈值 0.75 时,只保留两个高置信样本,准确率 100%,但覆盖率降到 33.3%。这就是选择性预测的权衡:提高阈值能提高准确率,但会让更多问题无人回答。
阈值 0.85 和 0.75 的结果相同,因为样本里最高的两个置信度是 0.90 和 0.80,没有落在 0.80 到 0.85 之间的样本。这个细节说明阈值的效果依赖置信度分布;在真实系统里,阈值应该按任务和风险校准,而不是拍一个统一数字。
风险—覆盖率曲线
选择性预测不应该只看一个阈值,而应该看整条风险—覆盖率曲线:
| 覆盖率 | 含义 | 适合场景 |
|---|---|---|
| 100% | 全部回答 | 低风险、可容错 |
| 80% | 弃权最难的部分 | 常规问答 |
| 50% | 只答高置信 | 高风险决策 |
| 10% | 只答极少数 | 自动执行、其余人工 |
曲线上的每个点对应一个阈值。架构选择的是“在可接受的错误率下,最大化覆盖率”,而不是“追求最高准确率”。一个只答 10% 但 100% 正确的系统,可能比答 100% 但 80% 正确的系统更有用,也可能因为弃权太多而不可用;取决于业务。
还有一个容易被忽略的点:风险—覆盖率曲线必须按任务分别画。把退款问答和代码修复混在一条曲线上,得到的平均覆盖率没有操作意义,因为两类任务的错误代价、可接受的延迟和人工兜底能力都不同。架构上应该为每个任务维护自己的曲线和自己的阈值,再把结果汇总成运营指标。
校准从哪里来
对白盒模型,可以用温度缩放、Platt scaling 等方法在验证集上校准;对黑盒 API,通常只能:
- 用采样一致性估计不确定性;
- 用历史准确率按任务/工具分层校准;
- 用外部验证器给答案打分;
- 用规则把高风险请求强制转人工。
这些方法可以叠加使用:采样一致性给出连续分数,历史分层给出先验修正,外部验证器在关键动作前做最后一道检查。单用任何一种都容易在分布变化时失效,叠加后至少有一层能兜住。
分层校准很重要。同一个模型在事实问答上可能过度自信,在代码修复上可能偏保守;用一个全局阈值会把两类任务都处理错。按任务类型、工具、输入长度分层,才能得到可用的置信度。
温度缩放与黑盒替代
温度缩放(temperature scaling)是最简单的后处理校准:在验证集上找一个温度 $T$,把 logits 除以 $T$ 后再做 softmax。它不改变排序,只改变概率的陡峭程度;$T>1$ 会软化分布,降低过度自信,$T<1$ 则相反。
温度缩放的前提是能拿到 logits,并且验证集与线上分布接近。对只暴露文本的黑盒 API,常见替代是:
- 用多次采样的答案一致率作为置信度;
- 用检索证据的覆盖度作为置信度;
- 用一个小型评分模型给答案和证据打分;
- 按历史分层统计直接查表。
这些方法都不是“真概率”,但只要能单调地区分“更可能对”和“更可能错”,就足以支撑阈值决策。校准的目标不是得到物理意义上的概率,而是得到可用于排序和取舍的分数。
校准与幻觉的关系
校准和幻觉相关,但不是同一个问题。一个模型可以整体校准良好,却在某个细分领域系统性编造;也可以整体过度自信,但错误集中在少数长尾问题。校准告诉你“置信度能不能信”,幻觉分类告诉你“错在哪一类”。
两者结合才有用:按幻觉类型分别统计校准,才能发现“事实类过度自信、引用类偏保守”这样的结构。把所有样本混在一起算一个 ECE,会把不同方向的偏差相互抵消,看起来校准不错,实际每一类都不可用。
架构含义
校准对架构有四个直接约束:
- 置信度要可计算。 不能只依赖模型自述;要有词概率、采样一致性或外部评分。
- 阈值要分层。 按任务、工具和风险等级设置不同阈值。
- 弃权要有出口。 弃权不是失败,而是转人工、补检索或请求澄清的入口。
- 校准要持续监控。 模型版本、数据分布变化都会让校准漂移;阈值需要定期重估。
第 3 条是产品设计问题。如果界面把弃权显示成“系统故障”,用户会反感,团队也会倾向于关掉弃权。把弃权设计成“需要更多信息”或“转人工处理”,它才能成为一个可持续的安全机制。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 置信度有来源 | 词概率/一致性/外部评分 | 只用“我很确定” |
| 指标有报告 | Brier、ECE、风险—覆盖率 | 只报准确率 |
| 阈值分层 | 按任务/风险配置 | 全局一个阈值 |
| 弃权有出口 | 转人工/补检索/澄清 | 弃权即报错 |
| 校准有监控 | 定期重估并记录漂移 | 上线后不再检查 |
这些判据里,“阈值分层”决定校准是否能落地。全局阈值在低风险任务上过度弃权,在高风险任务上又不够保守;分层是唯一能同时满足两类需求的做法。
一个运维 Agent 的例子
运维 Agent 要决定是否自动重启服务。它输出“服务异常,建议重启”,置信度 0.72。不同动作需要不同阈值:
| 动作 | 风险 | 阈值建议 |
|---|---|---|
| 生成诊断报告 | 低 | 0.5 |
| 创建工单 | 中 | 0.7 |
| 自动重启 | 高 | 0.9 + 审批 |
| 回滚版本 | 极高 | 0.95 + 双人审批 |
同一个 0.72 的置信度,足以生成报告和创建工单,不足以自动重启。把置信度和动作风险绑定,比追求一个“整体校准更好”的模型更实际。
小结
- 校准衡量置信度与实际正确率是否一致;“说 90%”不等于“90% 正确”。
- 置信度可以来自词概率、采样一致性或模型自述;自述最不可靠。
- Brier 和 ECE 应一起看;一个平滑,一个直观,都有分桶/极端值敏感问题。
- 选择性预测用阈值换准确率;要看风险—覆盖率曲线,不只看单点。
- 阈值应按任务、工具和风险分层;全局阈值会同时过度弃权和不够保守。
- 弃权要有产品出口,校准要持续监控;模型和分布变化都会让阈值失效。
阅读导航:上一节:8.1 幻觉分类:事实、引用、执行 · 下一节:8.3 参数知识 vs 检索知识 。
常见错误与边界
- 把模型自述当概率。 “我有 90% 把握”是生成文本,不是校准过的概率。
- 只报准确率。 不报 Brier/ECE/覆盖率,无法知道置信度是否可用。
- 全局一个阈值。 低风险任务过度弃权,高风险任务不够保守。
- 把弃权当故障。 弃权是安全出口;产品要给它一个可接受的呈现。
- 上线后不重估。 模型版本和数据分布变化会让校准漂移,阈值会失效。
- 用词概率当事实概率。 流畅的错误事实也可能高概率;事实仍需外部验证。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。