《AI Agent 技术原理与架构·模型、推理与能力边界》12.3 模型间差异的量化与 A/B

新模型更好,不能只看平均分。配对评测、置信区间、样本量和护栏指标,决定结论是否可信。本节用配对差值实验演示均值差、标准差、置信区间与所需样本量,并讨论离线评测与线上 A/B 的差异,以及多次比较、提前偷看、分流污染与护栏指标等常见陷阱与偏差。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

“新模型平均分高了 3 分,上线吧。”这句话至少缺三样东西:这 3 分是不是噪声、样本够不够、有没有别的指标变差。模型评测和 A/B 测试的目的不是得到一个分数,而是判断“差异是否真实、是否值得”。

这一节讨论配对评测的基本统计:均值差、标准差、置信区间和样本量,以及线上 A/B 特有的陷阱。重点不是公式推导,而是知道每个数字在决策里扮演什么角色。

配对设计

比较两个模型,最有效的方式是让它们回答同一批问题,再逐题比较:

  • 同一评测集、同一提示、同一评分标准;
  • 对每个问题计算 A 的得分减 B 的得分;
  • 对差值序列做统计,而不是分别看两组均值。

配对设计消除了“题目难度不同”带来的方差。如果 A 和 B 回答的是不同题目,分数差异可能来自题目本身,而不是模型。配对后,每题自己和自己比,难度被抵消。

最小实验:差值、区间与样本量

下面的实验用 8 道题的配对得分计算:平均差值、差值标准差、95% 置信区间,以及要把误差控制在 0.05 以内需要多少样本。

# file: agp_lab/ab_test.py | write
# tier: 3
# verify: python3 -m unittest tests.test_ab_test
"""模型差异量化:配对差值、置信区间与样本量。"""
from __future__ import annotations

import math


def paired_diff(a: list[float], b: list[float]) -> list[float]:
    if len(a) != len(b):
        raise ValueError("两组样本必须等长")
    return [left - right for left, right in zip(a, b)]


def mean(values: list[float]) -> float:
    if not values:
        raise ValueError("样本不能为空")
    return sum(values) / len(values)


def std(values: list[float]) -> float:
    if len(values) < 2:
        return 0.0
    average = mean(values)
    return math.sqrt(sum((value - average) ** 2 for value in values) / (len(values) - 1))


def confidence_interval(values: list[float], z: float = 1.96) -> tuple[float, float]:
    average = mean(values)
    error = z * std(values) / math.sqrt(len(values))
    return average - error, average + error


def required_sample_size(effect: float, sigma: float, z: float = 1.96) -> int:
    if effect == 0:
        raise ValueError("效应不能为 0")
    return math.ceil(2 * (z * sigma / abs(effect)) ** 2)


if __name__ == "__main__":
    model_a = [0.80, 0.75, 0.90, 0.70, 0.85, 0.78, 0.82, 0.88]
    model_b = [0.75, 0.72, 0.86, 0.68, 0.80, 0.74, 0.79, 0.84]
    differences = paired_diff(model_a, model_b)
    print("mean_diff:", round(mean(differences), 4))
    print("std_diff:", round(std(differences), 4))
    print("ci:", tuple(round(value, 4) for value in confidence_interval(differences)))
    print("n_for_0.05:", required_sample_size(0.05, std(differences)))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.ab_test

输出:

mean_diff: 0.0375
std_diff: 0.0104
ci: (0.0303, 0.0447)
n_for_0.05: 1

8 道题上,A 平均比 B 高 0.0375。差值标准差 0.0104,说明每道题的差异比较稳定,没有大起大落。95% 置信区间是 (0.0303, 0.0447),不包含 0,所以在这次评测里,A 优于 B 的结论是统计上站得住的。

n_for_0.05: 1 是一个容易误读的数字。它表示:如果真实效应是 0.05、差值标准差是 0.0104,那么理论上 1 个样本就足以把置信区间半宽压到 0.05 以内。这个结果是“给定观测方差的下界”,不是“做 1 个样本就够”的建议。8 个样本估出的标准差本身不稳定,正态近似在小样本下也偏乐观;真实评测应该用更多样本,并优先使用配对或分层设计。

置信区间怎么读

置信区间给出的是“如果我们重复采样,均值差落在哪个范围”。它不是“真实效应有 95% 概率落在这个区间”,也不是“区间外的结果不可能”。

读区间时看三点:

  1. 是否包含 0:包含 0 表示差异可能不存在;
  2. 区间宽度:宽表示估计不确定,窄表示样本信息多;
  3. 实际意义:统计显著不等于业务重要,0.5 分的提升可能不值得迁移成本。

第三点最常被忽略。大样本下,0.1 分的差异也可能“显著”;但如果迁移、运维和回归测试的成本远大于收益,这个差异不值得上线。

换句话说,统计显著回答的是“差异是否可能为噪声”,业务显著回答的是“这个差异是否值得行动”。两个问题都答完,A/B 才算完整。

如果只回答第一个,团队容易陷入“显著就上线”的惯性;只回答第二个,又可能把噪声当成趋势。两者缺一不可。

样本量怎么估

样本量与效应大小、方差和置信水平有关。一个常用的近似是:

$$
n \approx \frac{2(z_{\alpha/2} + z_\beta)^2 \sigma^2}{\Delta^2}
$$

其中 $\Delta$ 是希望检测到的最小效应,$\sigma$ 是差值标准差。效应越小、方差越大,需要的样本越多。实验里的 required_sample_size 只用了 $z=1.96$ 的简化形式,没有包含检验功效($\beta$),所以结果偏小;真实设计应该同时指定功效,通常取 0.8。

样本量估算应该在实验前做,而不是事后用观测到的效应反推。事后估算会给出“刚好够”的假象,掩盖原本设计不足的问题。

离线评测与线上 A/B

两者回答的问题不同:

维度离线评测线上 A/B
样本固定评测集真实流量
指标准确率、引用、格式任务完成率、留存、成本
干扰无用户、缓存、流量分布
速度快慢,需要等待
风险低影响真实用户

离线评测适合快速筛选,线上 A/B 适合确认业务效果。离线赢了线上不一定赢:评测集可能不代表真实分布,线上还有延迟、成本和用户行为。反过来,线上赢了也不能说明模型能力提升,可能只是文案或交互变化。

线上 A/B 的陷阱

陷阱表现应对
提前偷看每天看,显著就停预先定样本量和停止规则
多重比较看十几个指标,总有一个显著预注册主指标,校正次要指标
分流不均两组用户分布不同随机分流,检查协变量
污染同一用户跨组按用户 ID 分流,不按请求
新奇效应新版本短期更好观察足够长的周期
护栏缺失主指标升,错误率也升预设护栏指标

“提前偷看”最普遍。实验做到一半看到 p<0.05 就停,会系统性高估效应;因为随机波动总会有一个时刻看起来显著。正确做法是预先确定样本量和停止条件,或者使用序贯检验方法。

指标怎么选

一个模型评测至少要有三类指标:

类型例子作用
主指标任务完成率、答案正确率判断是否更好
护栏指标错误率、延迟、成本、拒答率防止变差
诊断指标工具调用准确率、引用命中率解释为什么变

只看主指标会漏掉“正确率升了但成本翻倍”或“完成率升了但错误操作也升了”。护栏指标的作用是给“更好”加约束;诊断指标的作用是当主指标变化时,能解释变化来自哪里。

指标的选择还应该和动作风险匹配。自动执行的场景,错误操作率是护栏;只读问答的场景,拒答率和引用命中率更重要。用同一套指标评估所有场景,会把高风险场景的问题平均掉。

评测集的质量

统计再严谨,评测集有偏也会得出错误结论:

  • 题目太简单,两个模型都接近满分,区分度低;
  • 题目太偏,只覆盖长尾,不代表主流量;
  • 评分标准模糊,人工评分一致性低;
  • 数据泄漏,模型训练时见过题目。

评测集应该分层:简单、中等、困难,各占一定比例;评分标准要能复现,最好有双人标注和一致性检查;训练数据与评测数据要做去重。

分层还能让结论更有解释力。如果新模型只在困难题上提升,说明它增强了推理能力;如果只在简单题上提升,可能只是格式更稳定。混在一起看平均分,会把这些结构差异抹平。

评测集还需要定期更新。模型和产品都在变化,两年前的题目可能已经不代表当前任务;但更新频率太高,又会让历史结果无法比较。常见的做法是保留一个固定的“锚点集”用于纵向比较,另加一个滚动更新的“当前集”用于反映最新分布。

架构含义

A/B 测试对架构有四个直接约束:

  1. 评测要配对。 同题、同提示、同评分,减少方差。
  2. 结论要带区间。 只报均值差,无法判断是否噪声。
  3. 指标要分层。 主指标、护栏、诊断,缺一不可。
  4. 实验要预注册。 样本量、主指标、停止规则在开始前定好。

第 4 条是实验可信度的基础。事后挑指标、事后定样本量,几乎总能得到“显著”的结论,但这种结论不可复现,也无法指导上线决策。

架构判据

判据合格的样子不合格的样子
配对设计同题比较差值两组不同题目
区间报告均值 + CI + n只报平均分
护栏完整质量/成本/延迟只看准确率
预注册样本量与停止规则边跑边看
分流正确按用户随机按请求分流

这些判据里,“区间报告”是最低要求。没有置信区间,3 分的提升可能只是 8 道题上的随机波动;有了区间,团队才能判断这个提升是否值得迁移。

一个提示版本对比的例子

假设要比较两个系统提示版本。做法可以是:

  1. 选 200 道分层评测题,固定模型和参数;
  2. 两个版本各跑一遍,逐题配对;
  3. 主指标是任务完成率,护栏是错误操作率、平均 token、尾延迟;
  4. 计算配对差值、95% 置信区间;
  5. 如果区间下界大于业务阈值,且护栏没有变差,才进入线上小流量。

这个流程比“跑一遍看分数”慢,但它能回答“提升是否真实、是否值得、有没有副作用”。对模型迁移这种高成本决策,慢一点是值得的。

小结

  • 配对评测消除题目难度差异,比两组均值比较更有效。
  • 置信区间判断差异是否可能为噪声;还要看实际意义,不只看显著性。
  • 样本量应在实验前估算,包含效应大小、方差和检验功效。
  • 离线评测筛选,线上 A/B 确认业务效果;两者不能互相替代。
  • 线上实验要防提前偷看、多重比较、分流不均和污染。
  • 指标分主指标、护栏、诊断三层;评测集要分层且无泄漏。

阅读导航:上一节:12.2 级联与集成:用多次调用换可靠性 · 下一节:13.1 能力卡:把模型边界写成可比较的文档 。

常见错误与边界

  1. 只报平均分。 没有置信区间和样本量,无法判断差异是否真实。
  2. 提前偷看。 看到显著就停,会系统性高估效应。
  3. 多重比较。 看十几个指标,总有一个显著;应预注册主指标。
  4. 按请求分流。 同一用户跨组会污染实验;应按用户 ID 分流。
  5. 只看主指标。 成本、延迟、错误率变差同样会影响上线决策。
  6. 事后估样本量。 会给出“刚好够”的假象,掩盖设计不足。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图