《AI Agent 产品开发·任务定义与能力边界》12.2 指标陷阱:平均值、分母变化与幸存者偏差

同一个 Agent,换一个分母就能把节省率从 73.7% 讲成 90.8%。本节拆三个指标陷阱:平均值没有权重、分母悄悄变化、幸存者偏差,用 C Runner 的转人工和 B Quill 的返工三档各算一遍,并给出可复算的 TypeScript 检查函数。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

指标算对只是第一步。更大的风险发生在解释环节:同一个数,换一种平均方式、换一个分母、换一批样本,就能讲出完全不同的故事。这些故事往往不是编造的,每一个都能找到对应的计算过程,问题在于计算过程被省略了。

这一节拆三个最常见的陷阱。第一个是平均值没有说权重:把 26,400 单的案例和 606 份的案例当成同样重,会得到一个没有业务含义的「平均」。第二个是分母悄悄变化:C Runner 的人工账里少算 3.08 分钟转人工,节省率就从 73.7% 变成 90.8%。第三个是幸存者偏差:只统计一次采纳的报告,会把 B Quill 的审改时间从 1.6 小时压低到 1.25 小时。

三个陷阱的共同点是:错误不在数字本身,而在数字与分母、样本、权重的对应关系。识别的办法不是更仔细地看数,而是要求每个数都附带它的计算过程。

陷阱一:平均值没有说权重

假设有人汇报:「三个案例平均每个任务节省 57.57 分钟。」这个数算得没错:A 节省 2.75 分钟,B 节省 156 分钟,C 节省 13.96 分钟,三者相加除以 3,正好是 57.57。但它没有业务含义,因为三个案例的任务量相差 43 倍:A 月 26,400 单,B 月 606 份,C 月 13,200 个。

算法权重结果回答的问题
简单平均每个案例各 1/357.57 分钟三个产品「平均」长什么样
按任务量加权26,400 / 606 / 13,2008.74 分钟随便抽一个任务,平均省多少
汇报里的说法未说明41 分钟没有可复算的分母

按任务量加权后,每个任务平均只节省 8.74 分钟。差距来自 B:它单份节省 156 分钟,但一个月只有 606 份,在 40,206 个总任务里占 1.5%。简单平均给了 B 三分之一的权重,等于把 606 份报告的影响力放大了几十倍。

「平均节省 41 分钟」更奇怪。它既不是简单平均的 57.57,也不是加权平均的 8.74;用本节的两种合法算法都复算不出来。一个无法复算的平均值,通常意味着权重被手动调过,或者分子分母来自不同的样本。遇到这种数,不要争论 41 是高是低,先问它乘了哪些权重。

平均值陷阱还有一个变体:先平均再比较。比如「A 的人工耗时下降了 78.6%,B 下降了 61.9%,所以 A 的 Agent 更好」。这两个百分比的分母是各自的原人工,任务难度、产出形态都不同;把它们并排比较,等于假设 3.5 分钟的分诊和 4.2 小时的报告是同一种工作。正确做法是比较同一任务在 Agent 前后的变化,而不是跨任务比较变化率。

陷阱二:分母悄悄变化

C Runner 是全书最重要的分母案例。它的人工账有两笔:审计抽检 8%,每次 12 分钟,折合每个任务 0.96 分钟;转人工 22%,每次 14 分钟,折合每个任务 3.08 分钟。两笔相加是 4.04 分钟。漏掉转人工,人工就只剩 0.96 分钟。

口径人工分钟/任务月人工成本月总成本节省率
含转人工(正确)4.0426,664 美元31,214.4 美元73.7%
只算审计(错误)0.966,336 美元10,886.4 美元90.8%
差额3.0820,328 美元20,328 美元17.1 个百分点

月总成本的结构没有变:人工、系统 950.4 美元、维护 3,600 美元。变的只有人工这一项,从 26,664 美元掉到 6,336 美元。系统成本只占原人工的 0.80%,所以人工账一动,节省率就大幅跳动。这也是为什么 Agent 产品的成本汇报必须把人工与系统分列:人工是主体,系统成本很小,任何人工口径的变化都会主导结论。

分母变化还有更隐蔽的形式:把未完成的任务排除在外。如果 C 的 22% 转人工任务在统计时被标记为「已转出」,不计入 Agent 的任务总量,那么成功率会从 78% 升到 100%,人工账里也不会出现 3.08 分钟。数字看起来更好,但任务总量少了 22%,节省的绝对金额也跟着少算。判断方法是核对分母:月初的任务总量、月末的完成总量、转出总量能不能对上。

第三种形式是时间窗变化。A 的试点期只统计工作时间内的工单,全量后包含夜间工单;夜间人工确认更慢,接管率会上升。如果汇报只取试点期的数,再和全量后的成本比,分母里的任务构成已经变了。口径说明必须写清时间窗,否则两个季度的数不可比。

陷阱三:幸存者偏差

B Quill 的审改有三档:一次采纳 63%,平均 1.25 小时;小改 28%,平均 1.95 小时;返工 9%,平均 3.0 小时。加权后是 1.6035 小时,约 1.6 小时。如果只统计「一次采纳」的报告,会得到 1.25 小时,比真实值低 0.3535 小时。

样本审改小时/份月人工小时月人工成本
只算一次采纳(幸存者)1.25757.522,725 美元
三档加权(完整)1.60969.629,088 美元
差额0.35212.16,363 美元

幸存者偏差在这里的表现是:一次采纳的报告最容易被拿来做样本,因为它们完整、干净、审改记录短;小改和返工的报告要么被重写,要么在系统里留下更复杂的修改痕迹,统计时容易被排除。被排除的恰恰是成本最高的 37%。

这个陷阱和返工率直接相关。B 的返工率是 9%,如果统计样本只覆盖「进入审改且顺利发布」的报告,返工的那 9% 就被漏掉了;返工率会变成 0%,审改时间会变成 1.25 小时,节省率会从 58.5% 往上跳。数字变好看了,但它描述的不是同一个产品。

识别幸存者偏差,可以问三个问题:样本是从哪一步开始算的?失败或放弃的任务去了哪里?分母是发出的任务还是完成的任务? B 的正确分母是 606 份月报告,不是「审改后成功发布的报告数」。C 的正确分母是 13,200 个任务,不是「自动完成的任务数」。A 的正确分母是 26,400 单,不是「被采纳的工单数」。

把三个陷阱写进同一个模型

下面这个模型把三个陷阱做成可执行的检查:简单平均与加权平均并列、C 的两种人工口径并列、B 的三档审改与只算一次采纳并列。它不判断哪个数「对」,只把每个数的分母和权重摆出来。

// file: src/metrics/12-2-metric-traps.ts
// tier: L2
// verify: node --test test/metrics/12-2-metric-traps.test.ts

// 三个陷阱:平均值、分母变化、幸存者偏差。
// 每个函数只回答一件事:这个数是怎么被算出来的,换一种算法会差多少。

import { HOUR_CENTS, QUILL, RELAY, RUNNER, type Profile } from "../cases.ts";
import { add, format as formatMoney, type Cents } from "../core/money.ts";
import { divide } from "../core/rate.ts";

/** 单任务人工节省分钟数:原人工减 Agent 后人工,机器时间不参与。 */
export function perTaskSaving(profile: Profile): number {
  return profile.manualMinutes - profile.humanMinutes;
}

export function simpleMean(values: readonly number[]): number {
  if (values.length === 0) return 0;
  return values.reduce((acc, v) => acc + v, 0) / values.length;
}

export function weightedMean(
  values: readonly number[],
  weights: readonly number[],
): number {
  const totalWeight = weights.reduce((acc, w) => acc + w, 0);
  if (totalWeight === 0) return 0;
  return values.reduce((acc, v, i) => acc + v * weights[i], 0) / totalWeight;
}

// 简单平均:每个案例权重相同,但案例的任务量相差 43 倍。
export function simpleSavingPerTask(): number {
  return simpleMean([perTaskSaving(RELAY), perTaskSaving(QUILL), perTaskSaving(RUNNER)]);
}

// 按任务量加权:一个任务一票,这才是「平均每单节省多少」。
export function weightedSavingPerTask(): number {
  return weightedMean(
    [perTaskSaving(RELAY), perTaskSaving(QUILL), perTaskSaving(RUNNER)],
    [RELAY.monthlyTasks, QUILL.monthlyTasks, RUNNER.monthlyTasks],
  );
}

// 「平均节省 41 分钟」既不是简单平均,也不是加权平均。
export function claimReproducible(claim: number): boolean {
  return (
    Math.abs(claim - simpleSavingPerTask()) < 0.01 ||
    Math.abs(claim - weightedSavingPerTask()) < 0.01
  );
}

/** 月成本,美分;humanMinutes 是可替换的人工口径。 */
export function monthlyCostCents(profile: Profile, humanMinutes: number): Cents {
  const humanHours = (profile.monthlyTasks * humanMinutes) / 60;
  const humanCents = Math.round(humanHours * HOUR_CENTS);
  const systemCents = Math.round(
    profile.monthlyTasks * (profile.modelCents + profile.infraCents),
  );
  return add(add(humanCents, systemCents), profile.maintenanceCents);
}

export function baselineCostCents(profile: Profile): Cents {
  const hours = (profile.monthlyTasks * profile.manualMinutes) / 60;
  return Math.round(hours * HOUR_CENTS);
}

/** 节省率,基点:10000 = 100%。 */
export function savingBps(profile: Profile, humanMinutes: number): number {
  const baseline = baselineCostCents(profile);
  const total = monthlyCostCents(profile, humanMinutes);
  return divide(baseline - total, baseline);
}

// C Runner 的人工账:0.96 分钟审计 + 3.08 分钟转人工 = 4.04 分钟。
export const RUNNER_AUDIT_MINUTES = 0.96;
export const RUNNER_HANDOFF_MINUTES = 3.08;

export function runnerLedger(includeHandoff: boolean): {
  readonly humanMinutes: number;
  readonly totalCents: Cents;
  readonly savingBps: number;
} {
  const humanMinutes =
    RUNNER_AUDIT_MINUTES + (includeHandoff ? RUNNER_HANDOFF_MINUTES : 0);
  return {
    humanMinutes,
    totalCents: monthlyCostCents(RUNNER, humanMinutes),
    savingBps: savingBps(RUNNER, humanMinutes),
  };
}

export function handoffGapBps(): number {
  return runnerLedger(false).savingBps - runnerLedger(true).savingBps;
}

export type ReviewBand = {
  readonly share: number;
  readonly hours: number;
  readonly label: string;
};

// B Quill 的审改三档:一次采纳、小改、返工。
// 只统计「一次采纳」的 1.25 小时,等于把慢的和返工的样本排除在外。
export const QUILL_BANDS: readonly ReviewBand[] = [
  { share: 0.63, hours: 1.25, label: "first-pass acceptance" },
  { share: 0.28, hours: 1.95, label: "small edit" },
  { share: 0.09, hours: 3.0, label: "rework" },
];

export function weightedReviewHours(bands: readonly ReviewBand[] = QUILL_BANDS): number {
  return bands.reduce((acc, band) => acc + band.share * band.hours, 0);
}

export function firstPassOnlyHours(): number {
  return QUILL_BANDS[0].hours;
}

export function selectionGapHours(): number {
  return weightedReviewHours() - firstPassOnlyHours();
}

export function quillMonthlyHours(reviewHours: number): number {
  return QUILL.monthlyTasks * reviewHours;
}

export function formatTrapReport(): string {
  const rows = [
    `simple-mean=${simpleSavingPerTask().toFixed(2)} min`,
    `task-weighted=${weightedSavingPerTask().toFixed(2)} min`,
    `claim-41-reproducible=${claimReproducible(41)}`,
    `runner-with-handoff=${formatMoney(runnerLedger(true).totalCents)}`,
    `runner-without-handoff=${formatMoney(runnerLedger(false).totalCents)}`,
    `handoff-gap=${(handoffGapBps() / 100).toFixed(1)} pp`,
    `quill-weighted-review=${weightedReviewHours().toFixed(4)} h`,
    `quill-first-pass-only=${firstPassOnlyHours().toFixed(2)} h`,
    `quill-monthly-hours-gap=${(
      quillMonthlyHours(1.6) - quillMonthlyHours(firstPassOnlyHours())
    ).toFixed(1)} h`,
  ];
  return rows.join("\n");
}

simpleSavingPerTask 与 weightedSavingPerTask 的差,就是平均值陷阱的量化。claimReproducible(41) 返回 false,因为它与两种合法算法都不接近;函数不评价 41 这个数,只回答「能不能复算」。

runnerLedger(true) 与 runnerLedger(false) 的差是 17.1 个百分点。注意代码里没有把 3.08 分钟硬编码进总成本,而是通过 RUNNER_AUDIT_MINUTES + RUNNER_HANDOFF_MINUTES 显式相加,这样任何一次改动都能在类型和测试里被发现。

weightedReviewHours 与 firstPassOnlyHours 的差是 0.3535 小时。quillMonthlyHours(1.6) 得到 969.6 小时,quillMonthlyHours(1.25) 得到 757.5 小时,差 212.1 小时,按 30 美元/小时算是 6,363 美元。这三步就是幸存者偏差的完整复算路径。

模型里有一个刻意的设计:所有比例都保留原始小数,只在输出时格式化。这样测试可以用近似比较检查 1.6035,而不是检查一个已经四舍五入的 1.6。指标审计需要看到未舍入的值,否则无法判断差异是口径造成的还是舍入造成的。

在评审会上拆穿一个数

遇到一个漂亮的指标,不要先问「怎么做到的」,先问「分母是什么」。下面这张检查表可以直接用在评审会上。

检查项要问的问题危险信号
权重这个平均乘了哪些权重只说「平均」,不说样本量
分母分母是全部任务还是完成任务分母随汇报口径变化
样本起点从哪一步开始统计排除了失败、放弃、转人工
时间窗统计的是哪段时间试点期与全量期混用
成本边界人工与系统是否分列把系统成本混进人工,或反之
可复算性能否用给定公式算出同一个数换个算法就得到另一个数

这张表不需要统计学背景,只需要坚持一个习惯:任何比例都要能还原成分子、分母和样本范围。还原不了的比例,不是不能信,而是不能用来做决策。

三个陷阱里,分母变化最危险,因为它不需要任何人撒谎。只要统计口径换一次,同一个产品就能从 73.7% 变成 90.8%。平均值陷阱最容易被发现,因为简单平均和加权平均可以并排算出来。幸存者偏差最难发现,因为被排除的样本往往已经不在系统里了,需要主动去核对任务总量。

小结

  • 平均值必须说明权重:三个案例简单平均节省 57.57 分钟,按任务量加权只有 8.74 分钟。
  • 「平均节省 41 分钟」用两种合法算法都复算不出来,说明它没有可核对的分母。
  • 分母变化能把 C 的节省率从 73.7% 推到 90.8%,差额 17.1 个百分点,全部来自漏算 3.08 分钟转人工。
  • 月总成本里人工是主体,系统成本只占原人工的 0.80%,所以人工口径一动,结论就翻转。
  • 幸存者偏差会把 B 的审改时间从 1.6 小时压低到 1.25 小时,月人工小时少算 212.1 小时。
  • 返工率 9% 只有在样本覆盖全部 606 份报告时才成立;排除返工样本,返工率会变成 0%。
  • 识别陷阱的通用方法:要求每个比例还原成分子、分母和样本范围。
  • 三个陷阱里,分母变化最危险,幸存者偏差最难发现。

阅读导航:上一节:12.1 成功率、接管率、返工率、人机耗时比 · 下一节:12.3 aia-lab:三案例的度量口径与验算 。

常见错误与边界

  1. 把简单平均当成业务平均。 案例数量少的时候,简单平均给每个案例相同权重;任务量相差几十倍时,它回答的是「三个产品平均长什么样」,不是「一个任务平均省多少」。
  2. 只报节省率,不报人工口径。 C 的 73.7% 与 90.8% 用的是同一套系统成本,差别只在人工是否含转人工;不写口径,两个数都「对」。
  3. 用完成样本算成功率。 把转人工或放弃的任务排除,成功率会接近 100%,但分母已经不是全部任务。
  4. 把返工样本排除在审改统计外。 B 的返工率 9% 对应 3.0 小时的审改;排除它们,审改时间会被低估 0.35 小时/份。
  5. 跨任务比较变化率。 A 的 78.6% 和 B 的 61.9% 是各自原人工的压缩率,任务难度不同,不能直接排名。
  6. 把舍入后的数当成原始数。 1.6 小时是 1.6035 的展示值;用 1.6 反推月人工小时会得到 969.6,用 1.6035 会得到 971.7,差异来自舍入,不是口径。

指标陷阱不是统计学问题,是产品治理问题。只要汇报里保留分子、分母和样本范围,大部分陷阱都会在第一时间暴露。下一节把这一章的四个指标和三个陷阱写进 aia-lab,用三案例跑一遍完整对账。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图