《AI Agent 技术原理与架构·运行时、协议与系统架构》12.3 统计有效性:样本量与显著性

评估新 prompt 或新 agent 时最常见的错误是跑 20 次就下结论。胜率 70% 对 64% 差异显著吗?要问置信区间与样本量。两比例 z 检验给显著性,误差界给区间,样本量公式告诉你要跑多少次。实验演示 500 次样本的 z 分数 2.018、5% 差异需要每组 784 次,说明统计有效性把评估从感觉变成证据。

以下胜率与样本量数值均为教学假设,不构成对任何真实系统、供应商或生产环境的承诺。“差异要检验、样本量要算、结论要有区间"这三条不变,具体显著性水平按业务要求选。

12.2 讲了断言,这一节回答"要跑多少次、差异算不算数”。评估新 prompt、新 agent 最常见的错误是跑 20 次就下结论。统计有效性把评估从感觉变成证据:样本量、误差界、显著性三个工具各管一段。

跑 20 次就下结论的问题

20 次样本里,一次两次的运气就会翻转结论。样本量太小,误差吞掉了差异。胜率 70% 对 64%,只跑了 50 次,这个 6% 的差异是真实的还是样本噪声?统计要回答的正是这个问题。

样本量误差界(胜率 0.7)能分辨的差异
50±0.127只能分辨大差异
500±0.040可分辨 8% 级差异
2000±0.020可分辨 4% 级差异

误差界随样本量收缩。 500 次的误差界是 ±0.04,也就是说 70% 的真实胜率可能落在 66% 到 74% 之间。要分辨 6% 的差异,误差界得小于 6%——所以 500 次还不够稳,样本量公式会给出答案。

三件工具

工具回答用途
胜率 + 标准误估计值多准给区间
两比例 z 检验差异显著吗给结论
样本量公式要跑多少次给计划

最小实验:胜率、z 检验与样本量

实验提供 winrate/standard_error、z_test(两比例显著性)、margin_of_error(误差界)、min_sample_size(每组样本量)。

# file: agp_lab/statistical_validity.py | write
# tier: 3
# verify: python3 -m unittest tests.test_statistical_validity
"""统计有效性:两个版本的胜率差异不是靠感觉,而是靠区间与样本量。

评估新 prompt / 新 agent 时最常见的错误是"跑 20 次就下结论"。
本模块实现三个基础工具:胜率与标准误、两比例 z 检验、
以及给定最小可检测差异时的每组样本量估计。
"""
from __future__ import annotations

import math
from typing import Any


def winrate(wins: int, total: int) -> float:
    return round(wins / total, 4) if total else 0.0


def standard_error(p: float, n: int) -> float:
    return math.sqrt(p * (1 - p) / n) if n else 0.0


def z_test(a_wins: int, a_total: int, b_wins: int, b_total: int) -> float:
    if not a_total or not b_total:
        return 0.0
    p_a = a_wins / a_total
    p_b = b_wins / b_total
    p = (a_wins + b_wins) / (a_total + b_total)
    se = math.sqrt(p * (1 - p) * (1 / a_total + 1 / b_total))
    return round((p_a - p_b) / se, 3) if se else 0.0


def margin_of_error(rate: float, n: int, z: float = 1.96) -> float:
    return round(z * standard_error(rate, n), 4)


def min_sample_size(
    delta: float, z_alpha: float = 1.96, z_power: float = 0.84
) -> int:
    """每组样本量:约 95% 置信 + 80% 功效,p=0.5 最坏情况。"""
    p = 0.5
    n = (z_alpha + z_power) ** 2 * p * (1 - p) / (delta ** 2)
    return math.ceil(n)


def demo() -> dict[str, Any]:
    return {
        "a_winrate_500": winrate(350, 500),
        "b_winrate_500": winrate(320, 500),
        "z_score": z_test(350, 500, 320, 500),
        "margin_a_500": margin_of_error(0.7, 500),
        "sample_per_group_5pct": min_sample_size(0.05),
        "sample_per_group_10pct": min_sample_size(0.10),
    }


if __name__ == "__main__":
    for key, value in demo().items():
        print(f"{key}: {value}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.statistical_validity

输出:

a_winrate_500: 0.7
b_winrate_500: 0.64
z_score: 2.018
margin_a_500: 0.0402
sample_per_group_5pct: 784
sample_per_group_10pct: 196

六条输出对应六件事:

  1. a_winrate_500 / b_winrate_500:A 胜率 0.7、B 胜率 0.64,各 500 次。表面差异 6%——这是要检验的起点。
  2. z_score:z 分数 2.018。超过 1.96 的显著性临界值——在 5% 显著性水平下,A 优于 B 的差异是统计显著的,不是样本噪声。
  3. margin_a_500:A 的误差界 ±0.040。70% 的真实值可能在 66% 到 74% 之间——6% 的差异刚好能被 500 次分辨。
  4. sample_per_group_5pct:要分辨 5% 差异,每组需 784 次。误差界是平方律——想要更小的可检测差异,样本量涨得飞快。
  5. sample_per_group_10pct:分辨 10% 差异只需 196 次。差异越大越容易确认——大差异小样本就够,小差异要大样本。

一个值得点破的细节:z_score: 2.018 恰好刚过 1.96 的临界线——“刚好显著"的结论最脆弱。2.018 和 1.95 只差一点点,多跑几轮可能就翻到不显著。统计结论要配上区间看(margin 0.04),而不是只看一个点估计:70% 对 64%,真实差异可能在 -2% 到 +14% 之间,这个区间比"显著"两个字更诚实。而 sample_per_group_5pct: 784 说明——想确认 6% 的差异,500 次还不够,要接近 800 次每组。

显著性水平的选择

1.96 对应 5% 显著性水平,这是默认,但不是唯一选项。显著性水平决定"多严格”——要求 1%(z 2.58),误判概率更低但要更多样本;放宽到 10%(z 1.645),样本省了但更容易把噪声当真。显著性水平是业务决策:误判"A 比 B 好"的代价大,就用 1%;只是内部调优,5% 足够。

显著性z 临界误判代价
10%1.645高,易把噪声当真
5%1.96常用默认
1%2.58低,但要更多样本

样本量的平方律

样本量公式暴露一个残酷规律:可检测差异减半,样本量翻四倍。从 10% 差异(196 次)到 5% 差异(784 次),样本量翻了 4 倍;到 2.5% 差异要 3136 次。“多跑一点"是不够的——要跑的是平方倍。

可检测差异每组样本量相对 10%
10%1961×
5%7844×
2.5%313616×

统计与 12.2、11 章的接口

统计有效性让评估可信,也连接容错与成本。12.2 的断言通过率是统计的对象——通过率 90% 与 85% 的差异,要按样本量检验而不是凭感觉;12.1 的追踪提供评估运行的成本记录——评估要跑到 784 次,每次都有 token 成本,成本要纳入评估计划。统计给了"结论要跑多少"的答案,追踪给了"跑这些要花多少"的账单——评估不是免费的,样本量公式也是预算公式。

置信区间的使用

置信区间比点估计诚实。70% 的胜率配 ±4% 的区间,说的是"真实值大概率在 66% 到 74% 之间”——比"70% 就是 70%“诚实。区间还能比较两个版本:A 的区间与 B 的区间重叠,差异就不显著;区间不重叠,差异可信。

比较含义
区间重叠差异不显著
区间分离差异可信

区间是决策的工具,不是装饰。 两个版本的区间大幅重叠,结论是"分不出来”,别硬选;区间分离,才谈得上"B 确实更好"。区间把"差异显著性"画出来,比一个 z 分数更好读。

显著性误读的坑

显著性不是确定性。“5% 显著性水平下显著"不等于"95% 概率 B 更好”——它说的是"如果 A 和 B 一样好,看到这个差异的概率不到 5%"。两者差一个条件概率,误读会过度自信。p 值小只能说"差异不太可能是巧合",不能说"差异一定真实"。

误读正读
“95% B 更好”“差异不太像巧合”
“显著=重要”“显著≠实际意义”

显著性也不等于实际意义。 500 次样本检验出 6% 差异显著,但 6% 的业务价值可能不值得改——统计显著性管"是不是真的",业务意义管"值不值得做"。两者分开看,别让 p 值替业务拍板。

评估管道

统计是评估管道的一环。完整管道:断言(12.2)→ 样本量(12.3)→ 运行 → 检验(12.3)→ 回归。每次变更跑一遍管道:改 prompt、换模型,断言集跑起来,样本量够不够先算,结果检验显著不显著,通过率对比基线守不守住。

环节工具
验收标准断言(12.2)
样本计划样本量(12.3)
结论判定z 检验(12.3)
趋势追踪(12.1)

管道是 12 章的整合。 断言、样本量、检验、追踪,各管一段,合起来是"变更可信度"的完整流程。评估不是一次跑分,是持续守门——每次变更过一遍管道,质量才有基线。

效应量

显著性之外要效应量。z 检验说"差异显著",效应量说"差异多大"——两个版本胜率差 0.06,效应量就是这 0.06。显著性管"是不是真的",效应量管"大到值不值得"。6% 的胜率提升,业务上可能是大事,也可能是噪声里的小数。

指标回答
p 值 / z差异是否真实
效应量差异有多大
样本量要跑多少次

效应量是业务翻译。 “显著"没有业务含义,“提升 6%“有。评估报告要把三个数一起给:差异、显著性、效应量——决策者读效应量,统计者读显著性。

最小样本与最小差异

样本量公式的逆用:给定样本预算,能分辨的最小差异是多少。只有 196 次样本,能分辨 10% 差异,分辨不了 5%——预算限制了判断力。这个逆用让评估计划现实化:预算定了,能回答的问题边界也定了。

样本预算可分辨最小差异
19610%
7845%
31362.5%

预算与判断力挂钩要写进评估计划。 别拿着 196 次样本去宣称"5% 差异没效果”——这超出了样本量给的分辨力。评估结论要声明"以现有样本量,只能分辨 X 以上的差异”。

显著性水平的成本

显著性水平的严格度有成本。从 5% 收紧到 1%,z 临界从 1.96 到 2.58,同样的差异要更多样本才显著。严格度不是免费的——想要更小的误判风险,评估预算就要更大。显著性水平的选择是"误判代价 vs 评估成本"的权衡。

显著性z样本倍数
10%1.645基准
5%1.96×1.27
1%2.58×1.62

选择要显式并记录。 为什么选 5% 而不是 1%,要写进评估计划——误判代价高的变更用 1%,内部微调用 5%。显著性水平是治理决策,不是随手选的默认值。

架构判据

统计有效性是否合格,用五条判据检查:

判据合格的样子不合格的样子
结论有区间胜率带误差界只报点估计
差异有检验用 z 检验验证看到差异就宣布
样本量先算计划前算够样本跑 20 次就下结论
显著性可选水平是业务决策固定 5% 不商量
成本并进计划评估成本入预算样本量不管账单

判据第一条是"结论要带区间”,判据第三条才是关键:样本量要事先算,而不是事后补——跑 20 次发现不显著再补到 800,等于前期样本全浪费。判据第五条是 12.3 与 12.1 的接缝——评估样本量的账单要并入追踪的成本账。

小结

  • 评估结论要带区间,不能只报一个点估计。
  • 差异要检验:z 分数过临界才算显著,刚好显著最脆弱。
  • 样本量先算:可检测差异减半、样本量翻四倍。
  • 显著性水平是业务决策,误判代价决定严格度。
  • 评估有成本,样本量公式也是预算公式。

阅读导航:上一节:12.2 确定性评估:把输出变断言 · 下一节:13.1 威胁建模与 STRIDE 。

常见错误与边界

  1. 跑 20 次就下结论。 样本量太小,误差吞掉差异,结论全是噪声。
  2. 只报点估计。 70% 不报区间,看不出真实值可能在 66% 到 74%。
  3. 看到差异就宣布。 6% 差异要过 z 检验,不能凭肉眼。
  4. 显著性固定 5%。 误判代价大的场景要 1%,5% 不是万能默认。
  5. 事后补样本。 不显著再补跑,前期样本全浪费,样本量要先算。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图