以下数字均为教学假设,不构成对任何真实系统或供应商的承诺。基线成功率、容忍幅度、退化与改进场景、样本量都只用于展示回归门的计算方式,不代表任何生产环境的发布标准。
数据飞轮把反馈变成训练数据,训练把数据变成候选模型,候选模型要上线,必须经过最后一道关卡:回归门。门只做一件事:在有限的评测样本上,判断候选是否比基线差。它看起来只是一个阈值,实际上是一个统计决策问题;样本量、阈值和规则三者共同决定它会犯哪种错误。
这一节把回归门拆成两个错误:误放(候选真的退化了,门却放行)和误拒(候选其实更好,门却拒绝)。实验用二项分布精确计算两种规则在不同样本量下的错误率,不依赖随机模拟。结论会有点反直觉:一个看起来很严格的下界门,在样本不足时会把与基线完全相同的候选拒掉大半。
门的输入、规则与两类错误
设评测集有 $n$ 条样本,候选在每条样本上的成功与否服从成功率为 $p$ 的二项分布,观测到 $x$ 条成功。门的规则是一个函数 $A(x,n)\in{0,1}$。三个关键概率是:
$$
\text{误放率} = P\left(A=1 \mid p=p_{\text{degraded}}\right)
$$
$$
\text{误拒率} = 1 - P\left(A=1 \mid p=p_{\text{improved}}\right)
$$
$$
\text{基线通过率} = P\left(A=1 \mid p=p_{\text{baseline}}\right)
$$
第三个量最容易被忽略。它衡量“候选与基线没有差别时,门能不能稳定放行”。如果这个值很低,门会把每一次发布都变成一次抽签,团队迟早会绕过它。
实验比较两种规则。点估计门直接看观测成功率:
$$
A_{\text{point}}(x,n) = \left[\frac{x}{n} \ge p_{\text{baseline}} - \delta\right]
$$
Wilson 下界门要求成功率的置信下界仍然达标:
$$
A_{\text{wilson}}(x,n) = \left[L(x,n) \ge p_{\text{baseline}} - \delta\right]
$$
其中 $L(x,n)$ 是 Wilson 置信下界,$\delta$ 是允许的退化幅度。直觉上,下界门更保守,应该更少误放;但保守的代价是更多误拒,样本不足时尤其明显。
最小实验:精确计算误判率
参数:基线成功率 0.85,容忍幅度 0.05,所以门的阈值是 0.80;退化候选的真实成功率 0.75,改进候选 0.90;Wilson 使用 $z=1.96$。样本量取 20、50、100、200 四档。
对每个样本量和规则,实验枚举所有可能的成功数 $x=0,\dots,n$,用二项概率加权,精确算出放行概率。没有随机数,也没有置信区间近似。
# file: agp_lab/regression_gate.py | write
# tier: 3
# verify: python3 -m unittest tests.test_regression_gate
"""回归门:阈值、样本量与放行规则的精确误判计算。
候选策略在一个固定评测集上跑 n 条样本,观测到 x 条成功。门做一次二元
判断:放行或拒绝。这里不模拟随机数,而是用二项分布精确算出:
- 误放率:候选真实能力已经退化,门却放行的概率;
- 误拒率:候选真实能力其实更好,门却拒绝的概率;
- 基线通过率:候选与基线相同时,门随机抖动的幅度。
两种规则对比:点估计门直接看 x/n;Wilson 下界门要求置信下界仍然达标。
"""
from __future__ import annotations
from math import comb, sqrt
BASELINE = 0.85
TOLERANCE = 0.05
DEGRADED = 0.75
IMPROVED = 0.90
Z = 1.96
def _validate_probability(value: float, name: str) -> None:
if not 0.0 <= value <= 1.0:
raise ValueError(f"{name} 必须在 [0, 1] 内")
def binomial_pmf(n: int, k: int, p: float) -> float:
"""P(X = k),X ~ Binomial(n, p)。"""
if n <= 0:
raise ValueError("n 必须为正")
if not 0 <= k <= n:
raise ValueError("k 必须在 [0, n] 内")
_validate_probability(p, "p")
return comb(n, k) * (p ** k) * ((1.0 - p) ** (n - k))
def prob_at_least(n: int, k: int, p: float) -> float:
"""P(X >= k)。"""
if k <= 0:
return 1.0
if k > n:
return 0.0
return sum(binomial_pmf(n, observed, p) for observed in range(k, n + 1))
def wilson_lower(successes: int, n: int, z: float = Z) -> float:
"""成功率的 Wilson 置信下界。"""
if n <= 0:
raise ValueError("n 必须为正")
if not 0 <= successes <= n:
raise ValueError("successes 必须在 [0, n] 内")
if z <= 0.0:
raise ValueError("z 必须为正")
phat = successes / n
denominator = 1.0 + z * z / n
center = phat + z * z / (2.0 * n)
margin = z * sqrt(phat * (1.0 - phat) / n + z * z / (4.0 * n * n))
return (center - margin) / denominator
def accepts(
rule: str,
successes: int,
n: int,
baseline: float = BASELINE,
tolerance: float = TOLERANCE,
z: float = Z,
) -> bool:
"""门是否放行。"""
_validate_probability(baseline, "baseline")
_validate_probability(tolerance, "tolerance")
threshold = baseline - tolerance
if rule == "point":
return successes / n >= threshold
if rule == "wilson":
return wilson_lower(successes, n, z) >= threshold
raise ValueError(f"未知规则: {rule}")
def accept_probability(
n: int,
rule: str,
p: float,
baseline: float = BASELINE,
tolerance: float = TOLERANCE,
z: float = Z,
) -> float:
"""真实成功率为 p 时,门放行的概率。"""
return sum(
binomial_pmf(n, successes, p) * accepts(rule, successes, n, baseline, tolerance, z)
for successes in range(n + 1)
)
def evaluate(n: int, rule: str) -> dict[str, float]:
"""返回误放率、误拒率与基线通过率。"""
false_accept = accept_probability(n, rule, DEGRADED)
false_reject = 1.0 - accept_probability(n, rule, IMPROVED)
baseline_pass = accept_probability(n, rule, BASELINE)
return {
"false_accept": false_accept,
"false_reject": false_reject,
"baseline_pass": baseline_pass,
}
def minimum_samples(
rule: str,
max_false_accept: float = 0.05,
max_false_reject: float = 0.10,
min_baseline_pass: float = 0.95,
sizes=range(20, 1001, 10),
) -> int:
"""同时满足误放、误拒与基线通过率的最小样本量;找不到时返回 0。
第三个约束不可省:如果候选与基线完全相同都被大量拒绝,这道门会挡住
所有发布,团队最终只能绕过它。
"""
_validate_probability(max_false_accept, "max_false_accept")
_validate_probability(max_false_reject, "max_false_reject")
_validate_probability(min_baseline_pass, "min_baseline_pass")
for n in sizes:
metrics = evaluate(n, rule)
if (
metrics["false_accept"] <= max_false_accept
and metrics["false_reject"] <= max_false_reject
and metrics["baseline_pass"] >= min_baseline_pass
):
return n
return 0
if __name__ == "__main__":
print(f"{'样本量':<8}{'规则':<10}{'误放率':>10}{'误拒率':>10}{'基线通过率':>14}")
for sample_size in (20, 50, 100, 200):
for gate_rule in ("point", "wilson"):
metrics = evaluate(sample_size, gate_rule)
print(
f"{sample_size:<8}{gate_rule:<10}"
f"{metrics['false_accept']:>10.3f}{metrics['false_reject']:>10.3f}"
f"{metrics['baseline_pass']:>14.3f}"
)
for gate_rule in ("point", "wilson"):
needed = minimum_samples(gate_rule)
print(f"{gate_rule} 规则最小样本量={needed}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.regression_gate
输出:
样本量 规则 误放率 误拒率 基线通过率
20 point 0.415 0.043 0.830
20 wilson 0.003 0.878 0.039
50 point 0.262 0.009 0.880
50 wilson 0.002 0.569 0.112
100 point 0.149 0.001 0.934
100 wilson 0.001 0.198 0.247
200 point 0.058 0.000 0.978
200 wilson 0.000 0.027 0.391
point 规则最小样本量=220
wilson 规则最小样本量=760
先看 20 条样本的点估计门:误放率 41.5%。也就是说,一个真实成功率只有 0.75 的退化候选,有四成概率被放行。它的误拒率很低(4.3%),因为规则太松;但松不是优点,是把风险推给了线上。
再看 20 条样本的 Wilson 门:误放率几乎为零,但误拒率 87.8%,基线通过率只有 3.9%。一个与基线完全相同的候选,只有不到 4% 的概率能通过。这不是回归门,这是“几乎全拒门”。样本太少时,置信下界宽得没有区分力。
样本量增加到 200,情况分化得更清楚:
- 点估计门:误放率 5.8%,误拒率接近 0,基线通过率 97.8%。它已经接近可用,但误放率仍略高于 5%。
- Wilson 门:误放率接近 0,误拒率 2.7%,但基线通过率只有 39.1%。一个没有变差的候选,仍有约六成概率被拒。
最后一行给出在三个约束(误放 ≤ 0.05、误拒 ≤ 0.10、基线通过率 ≥ 0.95)下需要的最小样本量:点估计门 220 条,Wilson 门 760 条。Wilson 的统计更严格,但代价是 3.5 倍的评测样本;如果每次发布都要跑 760 条,评测成本本身就会成为瓶颈。
为什么“更严格”不等于“更好”
这个实验最重要的结论不是“选 Wilson”或“选点估计”,而是:门的规则必须和你要检测的效应量、能接受的错误、能支付的样本量一起设计。
点估计门在 220 条样本下够用,是因为退化场景(0.75)比阈值(0.80)低了 0.05,信号足够大,点估计能看见。如果必须检测的退化只有 0.01,点估计门要么漏掉,要么需要大得多的样本;这时下界门或配对检验才划算。反过来,如果退化幅度很大,下界门只是为了“显得严谨”而浪费样本。
还有一个容易被忽略的统计问题:基线通过率是门的负对照。 一个合格的门应该先通过“候选等于基线”的测试;如果这一关都过不了,门就不是在检测回归,而是在检测样本量不足。发布门上线前,应该拿一个与基线相同的候选跑一遍,确认它能稳定通过。
多个指标会放大错误。如果门同时看成功率、引用准确率、延迟、成本、风险事件五个指标,每个指标单独用 5% 的误放率,至少一个指标误放的联合概率会远高于 5%。要么对指标做多重比较校正,要么指定一个主指标、其余作为硬约束。指标越多,越需要预注册规则,而不是看到结果再挑。
边界:统计门管不到的东西
回归门是必要条件,不是充分条件。它管不到四件事:
- 评测集代表性。 样本再多,如果评测集不覆盖真实流量里的长尾,门也测不出那部分退化。评测集的分布要单独审计。
- 评测集泄漏。 同一批题反复用于调参和验收,分数会虚高;需要隔离训练集、调参集和验收集。
- 在线分布变化。 门通过只代表“在评测集上不比基线差”,不代表上线后不会遇到新输入。灰度与在线监控仍然必需。
- 评审噪声。 如果成功与否由 LLM 评审或人工打分,标签本身有噪声;门要把评审一致性纳入计算,否则是在精确地测量噪声。
还有一个操作层面的陷阱:边跑边看。如果每来一条样本就看一次门是否通过,并在通过时停止,误放率会显著高于按固定样本量计算的值。门的样本量、规则和停止条件必须事先写死。
把回归门写进学习闭环
学习闭环的完整路径是:线上反馈 → 数据筛选 → 训练 → 回归门 → 灰度 → 监控 → 新反馈。回归门是其中唯一做“放行/拒绝”数值决策的环节,它必须和其他环节一样被工程化:
- 预注册门参数。 样本量、阈值、指标、随机种子、停止条件在跑评测前写死,不能看到结果再调。
- 固定负对照。 每次发布同时跑一个“与基线相同”的对照,确认基线通过率达标;这是门自身的健康检查。
- 按负载设错误预算。 W3 运维处置不可逆,误放代价高,应该用更大样本和人工审批换取更低的误放;W1 检索问答只读可重试,误拒的代价更高,可以放宽误放、收紧误拒;W2 代码修复介于两者之间,测试是客观标签,适合配对比较。
- 记录每次判定。 保存候选版本、评测集版本、样本量、观测成功数、规则输出和放行理由;没有记录,事后无法复盘“为什么这次退化没被挡住”。
- 门后还有灰度。 门通过不等于全量;先小流量,观察旧任务与新任务指标,设置自动回滚阈值。门是过滤器,不是保险丝。
| 检查项 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 门参数 | 预注册、可复现 | 看到结果再调阈值 |
| 负对照 | 基线候选能稳定通过 | 从未测试过“不变”的情况 |
| 样本量 | 按效应量与错误预算推导 | 拍脑袋定 100 条 |
| 多指标 | 主指标 + 硬约束或校正 | 五个指标各看各的 |
| 门后动作 | 灰度 + 回滚 + 记录 | 门过即全量 |
把三节连起来看:13.1 说明反馈样本有偏,13.2 说明混合比例会带来遗忘,13.3 说明发布判定本身也有错误率。三者共同构成本卷的收口:学习闭环的每一环都会引入偏差,架构的作用是让这些偏差可测量、可比较、可回滚,而不是假设它们不存在。
小结
- 回归门是一个统计决策:样本量、阈值、规则共同决定误放率、误拒率和基线通过率。
- 20 条样本的点估计门误放率 41.5%;同样样本量的 Wilson 门误拒率 87.8%,两者都不可用。
- 200 条样本下,Wilson 门把与基线相同的候选拒掉约六成;严格的规则在没有足够样本时会变成随机拒绝。
- 在误放 ≤ 0.05、误拒 ≤ 0.10、基线通过率 ≥ 0.95 的约束下,实验中的点估计门需要 220 条,Wilson 门需要 760 条。
- 门的参数必须由效应量和错误预算推导,并预注册;负对照、多指标校正、评测集隔离缺一不可。
- 门通过只是放行条件,不是上线保证;灰度、监控和回滚仍然是学习闭环的一部分。
阅读导航:上一节:13.2 能力漂移与灾难性遗忘 · 下一节:目录与学习路径 。
常见错误与边界
- 把阈值当门。 只写“成功率不低于 0.80”而不写样本量和规则,等于没有门;同样的阈值在不同样本量下错误率差一个数量级。
- 样本量拍脑袋。 20 条样本无法支撑任何回归判断;样本量应由要检测的退化幅度和错误预算反推。
- 只看误放,不看误拒。 过严的门会挡住真实改进,团队最终会绕过流程;误拒率和基线通过率必须一起报告。
- 忽略负对照。 从未测试“候选等于基线”的情况,就无法知道门是在检测回归还是在检测噪声。
- 多指标各自为政。 每个指标单独设 5% 误放率,联合误放率会显著上升;需要主指标、硬约束或校正。
- 门后直接全量。 统计门只能覆盖评测集,覆盖不了线上新分布;没有灰度与回滚,门通过只是一次局部证据。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。