以下胜率与样本量数值均为教学假设,不构成对任何真实系统、供应商或生产环境的承诺。“差异要检验、样本量要算、结论要有区间"这三条不变,具体显著性水平按业务要求选。
12.2 讲了断言,这一节回答"要跑多少次、差异算不算数”。评估新 prompt、新 agent 最常见的错误是跑 20 次就下结论。统计有效性把评估从感觉变成证据:样本量、误差界、显著性三个工具各管一段。
跑 20 次就下结论的问题
20 次样本里,一次两次的运气就会翻转结论。样本量太小,误差吞掉了差异。胜率 70% 对 64%,只跑了 50 次,这个 6% 的差异是真实的还是样本噪声?统计要回答的正是这个问题。
| 样本量 | 误差界(胜率 0.7) | 能分辨的差异 |
|---|---|---|
| 50 | ±0.127 | 只能分辨大差异 |
| 500 | ±0.040 | 可分辨 8% 级差异 |
| 2000 | ±0.020 | 可分辨 4% 级差异 |
误差界随样本量收缩。 500 次的误差界是 ±0.04,也就是说 70% 的真实胜率可能落在 66% 到 74% 之间。要分辨 6% 的差异,误差界得小于 6%——所以 500 次还不够稳,样本量公式会给出答案。
三件工具
| 工具 | 回答 | 用途 |
|---|---|---|
| 胜率 + 标准误 | 估计值多准 | 给区间 |
| 两比例 z 检验 | 差异显著吗 | 给结论 |
| 样本量公式 | 要跑多少次 | 给计划 |
最小实验:胜率、z 检验与样本量
实验提供 winrate/standard_error、z_test(两比例显著性)、margin_of_error(误差界)、min_sample_size(每组样本量)。
# file: agp_lab/statistical_validity.py | write
# tier: 3
# verify: python3 -m unittest tests.test_statistical_validity
"""统计有效性:两个版本的胜率差异不是靠感觉,而是靠区间与样本量。
评估新 prompt / 新 agent 时最常见的错误是"跑 20 次就下结论"。
本模块实现三个基础工具:胜率与标准误、两比例 z 检验、
以及给定最小可检测差异时的每组样本量估计。
"""
from __future__ import annotations
import math
from typing import Any
def winrate(wins: int, total: int) -> float:
return round(wins / total, 4) if total else 0.0
def standard_error(p: float, n: int) -> float:
return math.sqrt(p * (1 - p) / n) if n else 0.0
def z_test(a_wins: int, a_total: int, b_wins: int, b_total: int) -> float:
if not a_total or not b_total:
return 0.0
p_a = a_wins / a_total
p_b = b_wins / b_total
p = (a_wins + b_wins) / (a_total + b_total)
se = math.sqrt(p * (1 - p) * (1 / a_total + 1 / b_total))
return round((p_a - p_b) / se, 3) if se else 0.0
def margin_of_error(rate: float, n: int, z: float = 1.96) -> float:
return round(z * standard_error(rate, n), 4)
def min_sample_size(
delta: float, z_alpha: float = 1.96, z_power: float = 0.84
) -> int:
"""每组样本量:约 95% 置信 + 80% 功效,p=0.5 最坏情况。"""
p = 0.5
n = (z_alpha + z_power) ** 2 * p * (1 - p) / (delta ** 2)
return math.ceil(n)
def demo() -> dict[str, Any]:
return {
"a_winrate_500": winrate(350, 500),
"b_winrate_500": winrate(320, 500),
"z_score": z_test(350, 500, 320, 500),
"margin_a_500": margin_of_error(0.7, 500),
"sample_per_group_5pct": min_sample_size(0.05),
"sample_per_group_10pct": min_sample_size(0.10),
}
if __name__ == "__main__":
for key, value in demo().items():
print(f"{key}: {value}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.statistical_validity
输出:
a_winrate_500: 0.7
b_winrate_500: 0.64
z_score: 2.018
margin_a_500: 0.0402
sample_per_group_5pct: 784
sample_per_group_10pct: 196
六条输出对应六件事:
- a_winrate_500 / b_winrate_500:A 胜率 0.7、B 胜率 0.64,各 500 次。表面差异 6%——这是要检验的起点。
- z_score:z 分数 2.018。超过 1.96 的显著性临界值——在 5% 显著性水平下,A 优于 B 的差异是统计显著的,不是样本噪声。
- margin_a_500:A 的误差界 ±0.040。70% 的真实值可能在 66% 到 74% 之间——6% 的差异刚好能被 500 次分辨。
- sample_per_group_5pct:要分辨 5% 差异,每组需 784 次。误差界是平方律——想要更小的可检测差异,样本量涨得飞快。
- sample_per_group_10pct:分辨 10% 差异只需 196 次。差异越大越容易确认——大差异小样本就够,小差异要大样本。
一个值得点破的细节:z_score: 2.018 恰好刚过 1.96 的临界线——“刚好显著"的结论最脆弱。2.018 和 1.95 只差一点点,多跑几轮可能就翻到不显著。统计结论要配上区间看(margin 0.04),而不是只看一个点估计:70% 对 64%,真实差异可能在 -2% 到 +14% 之间,这个区间比"显著"两个字更诚实。而 sample_per_group_5pct: 784 说明——想确认 6% 的差异,500 次还不够,要接近 800 次每组。
显著性水平的选择
1.96 对应 5% 显著性水平,这是默认,但不是唯一选项。显著性水平决定"多严格”——要求 1%(z 2.58),误判概率更低但要更多样本;放宽到 10%(z 1.645),样本省了但更容易把噪声当真。显著性水平是业务决策:误判"A 比 B 好"的代价大,就用 1%;只是内部调优,5% 足够。
| 显著性 | z 临界 | 误判代价 |
|---|---|---|
| 10% | 1.645 | 高,易把噪声当真 |
| 5% | 1.96 | 常用默认 |
| 1% | 2.58 | 低,但要更多样本 |
样本量的平方律
样本量公式暴露一个残酷规律:可检测差异减半,样本量翻四倍。从 10% 差异(196 次)到 5% 差异(784 次),样本量翻了 4 倍;到 2.5% 差异要 3136 次。“多跑一点"是不够的——要跑的是平方倍。
| 可检测差异 | 每组样本量 | 相对 10% |
|---|---|---|
| 10% | 196 | 1× |
| 5% | 784 | 4× |
| 2.5% | 3136 | 16× |
统计与 12.2、11 章的接口
统计有效性让评估可信,也连接容错与成本。12.2 的断言通过率是统计的对象——通过率 90% 与 85% 的差异,要按样本量检验而不是凭感觉;12.1 的追踪提供评估运行的成本记录——评估要跑到 784 次,每次都有 token 成本,成本要纳入评估计划。统计给了"结论要跑多少"的答案,追踪给了"跑这些要花多少"的账单——评估不是免费的,样本量公式也是预算公式。
置信区间的使用
置信区间比点估计诚实。70% 的胜率配 ±4% 的区间,说的是"真实值大概率在 66% 到 74% 之间”——比"70% 就是 70%“诚实。区间还能比较两个版本:A 的区间与 B 的区间重叠,差异就不显著;区间不重叠,差异可信。
| 比较 | 含义 |
|---|---|
| 区间重叠 | 差异不显著 |
| 区间分离 | 差异可信 |
区间是决策的工具,不是装饰。 两个版本的区间大幅重叠,结论是"分不出来”,别硬选;区间分离,才谈得上"B 确实更好"。区间把"差异显著性"画出来,比一个 z 分数更好读。
显著性误读的坑
显著性不是确定性。“5% 显著性水平下显著"不等于"95% 概率 B 更好”——它说的是"如果 A 和 B 一样好,看到这个差异的概率不到 5%"。两者差一个条件概率,误读会过度自信。p 值小只能说"差异不太可能是巧合",不能说"差异一定真实"。
| 误读 | 正读 |
|---|---|
| “95% B 更好” | “差异不太像巧合” |
| “显著=重要” | “显著≠实际意义” |
显著性也不等于实际意义。 500 次样本检验出 6% 差异显著,但 6% 的业务价值可能不值得改——统计显著性管"是不是真的",业务意义管"值不值得做"。两者分开看,别让 p 值替业务拍板。
评估管道
统计是评估管道的一环。完整管道:断言(12.2)→ 样本量(12.3)→ 运行 → 检验(12.3)→ 回归。每次变更跑一遍管道:改 prompt、换模型,断言集跑起来,样本量够不够先算,结果检验显著不显著,通过率对比基线守不守住。
| 环节 | 工具 |
|---|---|
| 验收标准 | 断言(12.2) |
| 样本计划 | 样本量(12.3) |
| 结论判定 | z 检验(12.3) |
| 趋势 | 追踪(12.1) |
管道是 12 章的整合。 断言、样本量、检验、追踪,各管一段,合起来是"变更可信度"的完整流程。评估不是一次跑分,是持续守门——每次变更过一遍管道,质量才有基线。
效应量
显著性之外要效应量。z 检验说"差异显著",效应量说"差异多大"——两个版本胜率差 0.06,效应量就是这 0.06。显著性管"是不是真的",效应量管"大到值不值得"。6% 的胜率提升,业务上可能是大事,也可能是噪声里的小数。
| 指标 | 回答 |
|---|---|
| p 值 / z | 差异是否真实 |
| 效应量 | 差异有多大 |
| 样本量 | 要跑多少次 |
效应量是业务翻译。 “显著"没有业务含义,“提升 6%“有。评估报告要把三个数一起给:差异、显著性、效应量——决策者读效应量,统计者读显著性。
最小样本与最小差异
样本量公式的逆用:给定样本预算,能分辨的最小差异是多少。只有 196 次样本,能分辨 10% 差异,分辨不了 5%——预算限制了判断力。这个逆用让评估计划现实化:预算定了,能回答的问题边界也定了。
| 样本预算 | 可分辨最小差异 |
|---|---|
| 196 | 10% |
| 784 | 5% |
| 3136 | 2.5% |
预算与判断力挂钩要写进评估计划。 别拿着 196 次样本去宣称"5% 差异没效果”——这超出了样本量给的分辨力。评估结论要声明"以现有样本量,只能分辨 X 以上的差异”。
显著性水平的成本
显著性水平的严格度有成本。从 5% 收紧到 1%,z 临界从 1.96 到 2.58,同样的差异要更多样本才显著。严格度不是免费的——想要更小的误判风险,评估预算就要更大。显著性水平的选择是"误判代价 vs 评估成本"的权衡。
| 显著性 | z | 样本倍数 |
|---|---|---|
| 10% | 1.645 | 基准 |
| 5% | 1.96 | ×1.27 |
| 1% | 2.58 | ×1.62 |
选择要显式并记录。 为什么选 5% 而不是 1%,要写进评估计划——误判代价高的变更用 1%,内部微调用 5%。显著性水平是治理决策,不是随手选的默认值。
架构判据
统计有效性是否合格,用五条判据检查:
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 结论有区间 | 胜率带误差界 | 只报点估计 |
| 差异有检验 | 用 z 检验验证 | 看到差异就宣布 |
| 样本量先算 | 计划前算够样本 | 跑 20 次就下结论 |
| 显著性可选 | 水平是业务决策 | 固定 5% 不商量 |
| 成本并进计划 | 评估成本入预算 | 样本量不管账单 |
判据第一条是"结论要带区间”,判据第三条才是关键:样本量要事先算,而不是事后补——跑 20 次发现不显著再补到 800,等于前期样本全浪费。判据第五条是 12.3 与 12.1 的接缝——评估样本量的账单要并入追踪的成本账。
小结
- 评估结论要带区间,不能只报一个点估计。
- 差异要检验:z 分数过临界才算显著,刚好显著最脆弱。
- 样本量先算:可检测差异减半、样本量翻四倍。
- 显著性水平是业务决策,误判代价决定严格度。
- 评估有成本,样本量公式也是预算公式。
阅读导航:上一节:12.2 确定性评估:把输出变断言 · 下一节:13.1 威胁建模与 STRIDE 。
常见错误与边界
- 跑 20 次就下结论。 样本量太小,误差吞掉差异,结论全是噪声。
- 只报点估计。 70% 不报区间,看不出真实值可能在 66% 到 74%。
- 看到差异就宣布。 6% 差异要过 z 检验,不能凭肉眼。
- 显著性固定 5%。 误判代价大的场景要 1%,5% 不是万能默认。
- 事后补样本。 不显著再补跑,前期样本全浪费,样本量要先算。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。