以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
“新模型平均分高了 3 分,上线吧。”这句话至少缺三样东西:这 3 分是不是噪声、样本够不够、有没有别的指标变差。模型评测和 A/B 测试的目的不是得到一个分数,而是判断“差异是否真实、是否值得”。
这一节讨论配对评测的基本统计:均值差、标准差、置信区间和样本量,以及线上 A/B 特有的陷阱。重点不是公式推导,而是知道每个数字在决策里扮演什么角色。
配对设计
比较两个模型,最有效的方式是让它们回答同一批问题,再逐题比较:
- 同一评测集、同一提示、同一评分标准;
- 对每个问题计算 A 的得分减 B 的得分;
- 对差值序列做统计,而不是分别看两组均值。
配对设计消除了“题目难度不同”带来的方差。如果 A 和 B 回答的是不同题目,分数差异可能来自题目本身,而不是模型。配对后,每题自己和自己比,难度被抵消。
最小实验:差值、区间与样本量
下面的实验用 8 道题的配对得分计算:平均差值、差值标准差、95% 置信区间,以及要把误差控制在 0.05 以内需要多少样本。
# file: agp_lab/ab_test.py | write
# tier: 3
# verify: python3 -m unittest tests.test_ab_test
"""模型差异量化:配对差值、置信区间与样本量。"""
from __future__ import annotations
import math
def paired_diff(a: list[float], b: list[float]) -> list[float]:
if len(a) != len(b):
raise ValueError("两组样本必须等长")
return [left - right for left, right in zip(a, b)]
def mean(values: list[float]) -> float:
if not values:
raise ValueError("样本不能为空")
return sum(values) / len(values)
def std(values: list[float]) -> float:
if len(values) < 2:
return 0.0
average = mean(values)
return math.sqrt(sum((value - average) ** 2 for value in values) / (len(values) - 1))
def confidence_interval(values: list[float], z: float = 1.96) -> tuple[float, float]:
average = mean(values)
error = z * std(values) / math.sqrt(len(values))
return average - error, average + error
def required_sample_size(effect: float, sigma: float, z: float = 1.96) -> int:
if effect == 0:
raise ValueError("效应不能为 0")
return math.ceil(2 * (z * sigma / abs(effect)) ** 2)
if __name__ == "__main__":
model_a = [0.80, 0.75, 0.90, 0.70, 0.85, 0.78, 0.82, 0.88]
model_b = [0.75, 0.72, 0.86, 0.68, 0.80, 0.74, 0.79, 0.84]
differences = paired_diff(model_a, model_b)
print("mean_diff:", round(mean(differences), 4))
print("std_diff:", round(std(differences), 4))
print("ci:", tuple(round(value, 4) for value in confidence_interval(differences)))
print("n_for_0.05:", required_sample_size(0.05, std(differences)))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.ab_test
输出:
mean_diff: 0.0375
std_diff: 0.0104
ci: (0.0303, 0.0447)
n_for_0.05: 1
8 道题上,A 平均比 B 高 0.0375。差值标准差 0.0104,说明每道题的差异比较稳定,没有大起大落。95% 置信区间是 (0.0303, 0.0447),不包含 0,所以在这次评测里,A 优于 B 的结论是统计上站得住的。
n_for_0.05: 1 是一个容易误读的数字。它表示:如果真实效应是 0.05、差值标准差是 0.0104,那么理论上 1 个样本就足以把置信区间半宽压到 0.05 以内。这个结果是“给定观测方差的下界”,不是“做 1 个样本就够”的建议。8 个样本估出的标准差本身不稳定,正态近似在小样本下也偏乐观;真实评测应该用更多样本,并优先使用配对或分层设计。
置信区间怎么读
置信区间给出的是“如果我们重复采样,均值差落在哪个范围”。它不是“真实效应有 95% 概率落在这个区间”,也不是“区间外的结果不可能”。
读区间时看三点:
- 是否包含 0:包含 0 表示差异可能不存在;
- 区间宽度:宽表示估计不确定,窄表示样本信息多;
- 实际意义:统计显著不等于业务重要,0.5 分的提升可能不值得迁移成本。
第三点最常被忽略。大样本下,0.1 分的差异也可能“显著”;但如果迁移、运维和回归测试的成本远大于收益,这个差异不值得上线。
换句话说,统计显著回答的是“差异是否可能为噪声”,业务显著回答的是“这个差异是否值得行动”。两个问题都答完,A/B 才算完整。
如果只回答第一个,团队容易陷入“显著就上线”的惯性;只回答第二个,又可能把噪声当成趋势。两者缺一不可。
样本量怎么估
样本量与效应大小、方差和置信水平有关。一个常用的近似是:
$$
n \approx \frac{2(z_{\alpha/2} + z_\beta)^2 \sigma^2}{\Delta^2}
$$
其中 $\Delta$ 是希望检测到的最小效应,$\sigma$ 是差值标准差。效应越小、方差越大,需要的样本越多。实验里的 required_sample_size 只用了 $z=1.96$ 的简化形式,没有包含检验功效($\beta$),所以结果偏小;真实设计应该同时指定功效,通常取 0.8。
样本量估算应该在实验前做,而不是事后用观测到的效应反推。事后估算会给出“刚好够”的假象,掩盖原本设计不足的问题。
离线评测与线上 A/B
两者回答的问题不同:
| 维度 | 离线评测 | 线上 A/B |
|---|---|---|
| 样本 | 固定评测集 | 真实流量 |
| 指标 | 准确率、引用、格式 | 任务完成率、留存、成本 |
| 干扰 | 无 | 用户、缓存、流量分布 |
| 速度 | 快 | 慢,需要等待 |
| 风险 | 低 | 影响真实用户 |
离线评测适合快速筛选,线上 A/B 适合确认业务效果。离线赢了线上不一定赢:评测集可能不代表真实分布,线上还有延迟、成本和用户行为。反过来,线上赢了也不能说明模型能力提升,可能只是文案或交互变化。
线上 A/B 的陷阱
| 陷阱 | 表现 | 应对 |
|---|---|---|
| 提前偷看 | 每天看,显著就停 | 预先定样本量和停止规则 |
| 多重比较 | 看十几个指标,总有一个显著 | 预注册主指标,校正次要指标 |
| 分流不均 | 两组用户分布不同 | 随机分流,检查协变量 |
| 污染 | 同一用户跨组 | 按用户 ID 分流,不按请求 |
| 新奇效应 | 新版本短期更好 | 观察足够长的周期 |
| 护栏缺失 | 主指标升,错误率也升 | 预设护栏指标 |
“提前偷看”最普遍。实验做到一半看到 p<0.05 就停,会系统性高估效应;因为随机波动总会有一个时刻看起来显著。正确做法是预先确定样本量和停止条件,或者使用序贯检验方法。
指标怎么选
一个模型评测至少要有三类指标:
| 类型 | 例子 | 作用 |
|---|---|---|
| 主指标 | 任务完成率、答案正确率 | 判断是否更好 |
| 护栏指标 | 错误率、延迟、成本、拒答率 | 防止变差 |
| 诊断指标 | 工具调用准确率、引用命中率 | 解释为什么变 |
只看主指标会漏掉“正确率升了但成本翻倍”或“完成率升了但错误操作也升了”。护栏指标的作用是给“更好”加约束;诊断指标的作用是当主指标变化时,能解释变化来自哪里。
指标的选择还应该和动作风险匹配。自动执行的场景,错误操作率是护栏;只读问答的场景,拒答率和引用命中率更重要。用同一套指标评估所有场景,会把高风险场景的问题平均掉。
评测集的质量
统计再严谨,评测集有偏也会得出错误结论:
- 题目太简单,两个模型都接近满分,区分度低;
- 题目太偏,只覆盖长尾,不代表主流量;
- 评分标准模糊,人工评分一致性低;
- 数据泄漏,模型训练时见过题目。
评测集应该分层:简单、中等、困难,各占一定比例;评分标准要能复现,最好有双人标注和一致性检查;训练数据与评测数据要做去重。
分层还能让结论更有解释力。如果新模型只在困难题上提升,说明它增强了推理能力;如果只在简单题上提升,可能只是格式更稳定。混在一起看平均分,会把这些结构差异抹平。
评测集还需要定期更新。模型和产品都在变化,两年前的题目可能已经不代表当前任务;但更新频率太高,又会让历史结果无法比较。常见的做法是保留一个固定的“锚点集”用于纵向比较,另加一个滚动更新的“当前集”用于反映最新分布。
架构含义
A/B 测试对架构有四个直接约束:
- 评测要配对。 同题、同提示、同评分,减少方差。
- 结论要带区间。 只报均值差,无法判断是否噪声。
- 指标要分层。 主指标、护栏、诊断,缺一不可。
- 实验要预注册。 样本量、主指标、停止规则在开始前定好。
第 4 条是实验可信度的基础。事后挑指标、事后定样本量,几乎总能得到“显著”的结论,但这种结论不可复现,也无法指导上线决策。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 配对设计 | 同题比较差值 | 两组不同题目 |
| 区间报告 | 均值 + CI + n | 只报平均分 |
| 护栏完整 | 质量/成本/延迟 | 只看准确率 |
| 预注册 | 样本量与停止规则 | 边跑边看 |
| 分流正确 | 按用户随机 | 按请求分流 |
这些判据里,“区间报告”是最低要求。没有置信区间,3 分的提升可能只是 8 道题上的随机波动;有了区间,团队才能判断这个提升是否值得迁移。
一个提示版本对比的例子
假设要比较两个系统提示版本。做法可以是:
- 选 200 道分层评测题,固定模型和参数;
- 两个版本各跑一遍,逐题配对;
- 主指标是任务完成率,护栏是错误操作率、平均 token、尾延迟;
- 计算配对差值、95% 置信区间;
- 如果区间下界大于业务阈值,且护栏没有变差,才进入线上小流量。
这个流程比“跑一遍看分数”慢,但它能回答“提升是否真实、是否值得、有没有副作用”。对模型迁移这种高成本决策,慢一点是值得的。
小结
- 配对评测消除题目难度差异,比两组均值比较更有效。
- 置信区间判断差异是否可能为噪声;还要看实际意义,不只看显著性。
- 样本量应在实验前估算,包含效应大小、方差和检验功效。
- 离线评测筛选,线上 A/B 确认业务效果;两者不能互相替代。
- 线上实验要防提前偷看、多重比较、分流不均和污染。
- 指标分主指标、护栏、诊断三层;评测集要分层且无泄漏。
阅读导航:上一节:12.2 级联与集成:用多次调用换可靠性 · 下一节:13.1 能力卡:把模型边界写成可比较的文档 。
常见错误与边界
- 只报平均分。 没有置信区间和样本量,无法判断差异是否真实。
- 提前偷看。 看到显著就停,会系统性高估效应。
- 多重比较。 看十几个指标,总有一个显著;应预注册主指标。
- 按请求分流。 同一用户跨组会污染实验;应按用户 ID 分流。
- 只看主指标。 成本、延迟、错误率变差同样会影响上线决策。
- 事后估样本量。 会给出“刚好够”的假象,掩盖设计不足。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。