以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
指标算对只是第一步。更大的风险发生在解释环节:同一个数,换一种平均方式、换一个分母、换一批样本,就能讲出完全不同的故事。这些故事往往不是编造的,每一个都能找到对应的计算过程,问题在于计算过程被省略了。
这一节拆三个最常见的陷阱。第一个是平均值没有说权重:把 26,400 单的案例和 606 份的案例当成同样重,会得到一个没有业务含义的「平均」。第二个是分母悄悄变化:C Runner 的人工账里少算 3.08 分钟转人工,节省率就从 73.7% 变成 90.8%。第三个是幸存者偏差:只统计一次采纳的报告,会把 B Quill 的审改时间从 1.6 小时压低到 1.25 小时。
三个陷阱的共同点是:错误不在数字本身,而在数字与分母、样本、权重的对应关系。识别的办法不是更仔细地看数,而是要求每个数都附带它的计算过程。
陷阱一:平均值没有说权重
假设有人汇报:「三个案例平均每个任务节省 57.57 分钟。」这个数算得没错:A 节省 2.75 分钟,B 节省 156 分钟,C 节省 13.96 分钟,三者相加除以 3,正好是 57.57。但它没有业务含义,因为三个案例的任务量相差 43 倍:A 月 26,400 单,B 月 606 份,C 月 13,200 个。
| 算法 | 权重 | 结果 | 回答的问题 |
|---|---|---|---|
| 简单平均 | 每个案例各 1/3 | 57.57 分钟 | 三个产品「平均」长什么样 |
| 按任务量加权 | 26,400 / 606 / 13,200 | 8.74 分钟 | 随便抽一个任务,平均省多少 |
| 汇报里的说法 | 未说明 | 41 分钟 | 没有可复算的分母 |
按任务量加权后,每个任务平均只节省 8.74 分钟。差距来自 B:它单份节省 156 分钟,但一个月只有 606 份,在 40,206 个总任务里占 1.5%。简单平均给了 B 三分之一的权重,等于把 606 份报告的影响力放大了几十倍。
「平均节省 41 分钟」更奇怪。它既不是简单平均的 57.57,也不是加权平均的 8.74;用本节的两种合法算法都复算不出来。一个无法复算的平均值,通常意味着权重被手动调过,或者分子分母来自不同的样本。遇到这种数,不要争论 41 是高是低,先问它乘了哪些权重。
平均值陷阱还有一个变体:先平均再比较。比如「A 的人工耗时下降了 78.6%,B 下降了 61.9%,所以 A 的 Agent 更好」。这两个百分比的分母是各自的原人工,任务难度、产出形态都不同;把它们并排比较,等于假设 3.5 分钟的分诊和 4.2 小时的报告是同一种工作。正确做法是比较同一任务在 Agent 前后的变化,而不是跨任务比较变化率。
陷阱二:分母悄悄变化
C Runner 是全书最重要的分母案例。它的人工账有两笔:审计抽检 8%,每次 12 分钟,折合每个任务 0.96 分钟;转人工 22%,每次 14 分钟,折合每个任务 3.08 分钟。两笔相加是 4.04 分钟。漏掉转人工,人工就只剩 0.96 分钟。
| 口径 | 人工分钟/任务 | 月人工成本 | 月总成本 | 节省率 |
|---|---|---|---|---|
| 含转人工(正确) | 4.04 | 26,664 美元 | 31,214.4 美元 | 73.7% |
| 只算审计(错误) | 0.96 | 6,336 美元 | 10,886.4 美元 | 90.8% |
| 差额 | 3.08 | 20,328 美元 | 20,328 美元 | 17.1 个百分点 |
月总成本的结构没有变:人工、系统 950.4 美元、维护 3,600 美元。变的只有人工这一项,从 26,664 美元掉到 6,336 美元。系统成本只占原人工的 0.80%,所以人工账一动,节省率就大幅跳动。这也是为什么 Agent 产品的成本汇报必须把人工与系统分列:人工是主体,系统成本很小,任何人工口径的变化都会主导结论。
分母变化还有更隐蔽的形式:把未完成的任务排除在外。如果 C 的 22% 转人工任务在统计时被标记为「已转出」,不计入 Agent 的任务总量,那么成功率会从 78% 升到 100%,人工账里也不会出现 3.08 分钟。数字看起来更好,但任务总量少了 22%,节省的绝对金额也跟着少算。判断方法是核对分母:月初的任务总量、月末的完成总量、转出总量能不能对上。
第三种形式是时间窗变化。A 的试点期只统计工作时间内的工单,全量后包含夜间工单;夜间人工确认更慢,接管率会上升。如果汇报只取试点期的数,再和全量后的成本比,分母里的任务构成已经变了。口径说明必须写清时间窗,否则两个季度的数不可比。
陷阱三:幸存者偏差
B Quill 的审改有三档:一次采纳 63%,平均 1.25 小时;小改 28%,平均 1.95 小时;返工 9%,平均 3.0 小时。加权后是 1.6035 小时,约 1.6 小时。如果只统计「一次采纳」的报告,会得到 1.25 小时,比真实值低 0.3535 小时。
| 样本 | 审改小时/份 | 月人工小时 | 月人工成本 |
|---|---|---|---|
| 只算一次采纳(幸存者) | 1.25 | 757.5 | 22,725 美元 |
| 三档加权(完整) | 1.60 | 969.6 | 29,088 美元 |
| 差额 | 0.35 | 212.1 | 6,363 美元 |
幸存者偏差在这里的表现是:一次采纳的报告最容易被拿来做样本,因为它们完整、干净、审改记录短;小改和返工的报告要么被重写,要么在系统里留下更复杂的修改痕迹,统计时容易被排除。被排除的恰恰是成本最高的 37%。
这个陷阱和返工率直接相关。B 的返工率是 9%,如果统计样本只覆盖「进入审改且顺利发布」的报告,返工的那 9% 就被漏掉了;返工率会变成 0%,审改时间会变成 1.25 小时,节省率会从 58.5% 往上跳。数字变好看了,但它描述的不是同一个产品。
识别幸存者偏差,可以问三个问题:样本是从哪一步开始算的?失败或放弃的任务去了哪里?分母是发出的任务还是完成的任务? B 的正确分母是 606 份月报告,不是「审改后成功发布的报告数」。C 的正确分母是 13,200 个任务,不是「自动完成的任务数」。A 的正确分母是 26,400 单,不是「被采纳的工单数」。
把三个陷阱写进同一个模型
下面这个模型把三个陷阱做成可执行的检查:简单平均与加权平均并列、C 的两种人工口径并列、B 的三档审改与只算一次采纳并列。它不判断哪个数「对」,只把每个数的分母和权重摆出来。
// file: src/metrics/12-2-metric-traps.ts
// tier: L2
// verify: node --test test/metrics/12-2-metric-traps.test.ts
// 三个陷阱:平均值、分母变化、幸存者偏差。
// 每个函数只回答一件事:这个数是怎么被算出来的,换一种算法会差多少。
import { HOUR_CENTS, QUILL, RELAY, RUNNER, type Profile } from "../cases.ts";
import { add, format as formatMoney, type Cents } from "../core/money.ts";
import { divide } from "../core/rate.ts";
/** 单任务人工节省分钟数:原人工减 Agent 后人工,机器时间不参与。 */
export function perTaskSaving(profile: Profile): number {
return profile.manualMinutes - profile.humanMinutes;
}
export function simpleMean(values: readonly number[]): number {
if (values.length === 0) return 0;
return values.reduce((acc, v) => acc + v, 0) / values.length;
}
export function weightedMean(
values: readonly number[],
weights: readonly number[],
): number {
const totalWeight = weights.reduce((acc, w) => acc + w, 0);
if (totalWeight === 0) return 0;
return values.reduce((acc, v, i) => acc + v * weights[i], 0) / totalWeight;
}
// 简单平均:每个案例权重相同,但案例的任务量相差 43 倍。
export function simpleSavingPerTask(): number {
return simpleMean([perTaskSaving(RELAY), perTaskSaving(QUILL), perTaskSaving(RUNNER)]);
}
// 按任务量加权:一个任务一票,这才是「平均每单节省多少」。
export function weightedSavingPerTask(): number {
return weightedMean(
[perTaskSaving(RELAY), perTaskSaving(QUILL), perTaskSaving(RUNNER)],
[RELAY.monthlyTasks, QUILL.monthlyTasks, RUNNER.monthlyTasks],
);
}
// 「平均节省 41 分钟」既不是简单平均,也不是加权平均。
export function claimReproducible(claim: number): boolean {
return (
Math.abs(claim - simpleSavingPerTask()) < 0.01 ||
Math.abs(claim - weightedSavingPerTask()) < 0.01
);
}
/** 月成本,美分;humanMinutes 是可替换的人工口径。 */
export function monthlyCostCents(profile: Profile, humanMinutes: number): Cents {
const humanHours = (profile.monthlyTasks * humanMinutes) / 60;
const humanCents = Math.round(humanHours * HOUR_CENTS);
const systemCents = Math.round(
profile.monthlyTasks * (profile.modelCents + profile.infraCents),
);
return add(add(humanCents, systemCents), profile.maintenanceCents);
}
export function baselineCostCents(profile: Profile): Cents {
const hours = (profile.monthlyTasks * profile.manualMinutes) / 60;
return Math.round(hours * HOUR_CENTS);
}
/** 节省率,基点:10000 = 100%。 */
export function savingBps(profile: Profile, humanMinutes: number): number {
const baseline = baselineCostCents(profile);
const total = monthlyCostCents(profile, humanMinutes);
return divide(baseline - total, baseline);
}
// C Runner 的人工账:0.96 分钟审计 + 3.08 分钟转人工 = 4.04 分钟。
export const RUNNER_AUDIT_MINUTES = 0.96;
export const RUNNER_HANDOFF_MINUTES = 3.08;
export function runnerLedger(includeHandoff: boolean): {
readonly humanMinutes: number;
readonly totalCents: Cents;
readonly savingBps: number;
} {
const humanMinutes =
RUNNER_AUDIT_MINUTES + (includeHandoff ? RUNNER_HANDOFF_MINUTES : 0);
return {
humanMinutes,
totalCents: monthlyCostCents(RUNNER, humanMinutes),
savingBps: savingBps(RUNNER, humanMinutes),
};
}
export function handoffGapBps(): number {
return runnerLedger(false).savingBps - runnerLedger(true).savingBps;
}
export type ReviewBand = {
readonly share: number;
readonly hours: number;
readonly label: string;
};
// B Quill 的审改三档:一次采纳、小改、返工。
// 只统计「一次采纳」的 1.25 小时,等于把慢的和返工的样本排除在外。
export const QUILL_BANDS: readonly ReviewBand[] = [
{ share: 0.63, hours: 1.25, label: "first-pass acceptance" },
{ share: 0.28, hours: 1.95, label: "small edit" },
{ share: 0.09, hours: 3.0, label: "rework" },
];
export function weightedReviewHours(bands: readonly ReviewBand[] = QUILL_BANDS): number {
return bands.reduce((acc, band) => acc + band.share * band.hours, 0);
}
export function firstPassOnlyHours(): number {
return QUILL_BANDS[0].hours;
}
export function selectionGapHours(): number {
return weightedReviewHours() - firstPassOnlyHours();
}
export function quillMonthlyHours(reviewHours: number): number {
return QUILL.monthlyTasks * reviewHours;
}
export function formatTrapReport(): string {
const rows = [
`simple-mean=${simpleSavingPerTask().toFixed(2)} min`,
`task-weighted=${weightedSavingPerTask().toFixed(2)} min`,
`claim-41-reproducible=${claimReproducible(41)}`,
`runner-with-handoff=${formatMoney(runnerLedger(true).totalCents)}`,
`runner-without-handoff=${formatMoney(runnerLedger(false).totalCents)}`,
`handoff-gap=${(handoffGapBps() / 100).toFixed(1)} pp`,
`quill-weighted-review=${weightedReviewHours().toFixed(4)} h`,
`quill-first-pass-only=${firstPassOnlyHours().toFixed(2)} h`,
`quill-monthly-hours-gap=${(
quillMonthlyHours(1.6) - quillMonthlyHours(firstPassOnlyHours())
).toFixed(1)} h`,
];
return rows.join("\n");
}
simpleSavingPerTask 与 weightedSavingPerTask 的差,就是平均值陷阱的量化。claimReproducible(41) 返回 false,因为它与两种合法算法都不接近;函数不评价 41 这个数,只回答「能不能复算」。
runnerLedger(true) 与 runnerLedger(false) 的差是 17.1 个百分点。注意代码里没有把 3.08 分钟硬编码进总成本,而是通过 RUNNER_AUDIT_MINUTES + RUNNER_HANDOFF_MINUTES 显式相加,这样任何一次改动都能在类型和测试里被发现。
weightedReviewHours 与 firstPassOnlyHours 的差是 0.3535 小时。quillMonthlyHours(1.6) 得到 969.6 小时,quillMonthlyHours(1.25) 得到 757.5 小时,差 212.1 小时,按 30 美元/小时算是 6,363 美元。这三步就是幸存者偏差的完整复算路径。
模型里有一个刻意的设计:所有比例都保留原始小数,只在输出时格式化。这样测试可以用近似比较检查 1.6035,而不是检查一个已经四舍五入的 1.6。指标审计需要看到未舍入的值,否则无法判断差异是口径造成的还是舍入造成的。
在评审会上拆穿一个数
遇到一个漂亮的指标,不要先问「怎么做到的」,先问「分母是什么」。下面这张检查表可以直接用在评审会上。
| 检查项 | 要问的问题 | 危险信号 |
|---|---|---|
| 权重 | 这个平均乘了哪些权重 | 只说「平均」,不说样本量 |
| 分母 | 分母是全部任务还是完成任务 | 分母随汇报口径变化 |
| 样本起点 | 从哪一步开始统计 | 排除了失败、放弃、转人工 |
| 时间窗 | 统计的是哪段时间 | 试点期与全量期混用 |
| 成本边界 | 人工与系统是否分列 | 把系统成本混进人工,或反之 |
| 可复算性 | 能否用给定公式算出同一个数 | 换个算法就得到另一个数 |
这张表不需要统计学背景,只需要坚持一个习惯:任何比例都要能还原成分子、分母和样本范围。还原不了的比例,不是不能信,而是不能用来做决策。
三个陷阱里,分母变化最危险,因为它不需要任何人撒谎。只要统计口径换一次,同一个产品就能从 73.7% 变成 90.8%。平均值陷阱最容易被发现,因为简单平均和加权平均可以并排算出来。幸存者偏差最难发现,因为被排除的样本往往已经不在系统里了,需要主动去核对任务总量。
小结
- 平均值必须说明权重:三个案例简单平均节省 57.57 分钟,按任务量加权只有 8.74 分钟。
- 「平均节省 41 分钟」用两种合法算法都复算不出来,说明它没有可核对的分母。
- 分母变化能把 C 的节省率从 73.7% 推到 90.8%,差额 17.1 个百分点,全部来自漏算 3.08 分钟转人工。
- 月总成本里人工是主体,系统成本只占原人工的 0.80%,所以人工口径一动,结论就翻转。
- 幸存者偏差会把 B 的审改时间从 1.6 小时压低到 1.25 小时,月人工小时少算 212.1 小时。
- 返工率 9% 只有在样本覆盖全部 606 份报告时才成立;排除返工样本,返工率会变成 0%。
- 识别陷阱的通用方法:要求每个比例还原成分子、分母和样本范围。
- 三个陷阱里,分母变化最危险,幸存者偏差最难发现。
阅读导航:上一节:12.1 成功率、接管率、返工率、人机耗时比 · 下一节:12.3 aia-lab:三案例的度量口径与验算 。
常见错误与边界
- 把简单平均当成业务平均。 案例数量少的时候,简单平均给每个案例相同权重;任务量相差几十倍时,它回答的是「三个产品平均长什么样」,不是「一个任务平均省多少」。
- 只报节省率,不报人工口径。 C 的 73.7% 与 90.8% 用的是同一套系统成本,差别只在人工是否含转人工;不写口径,两个数都「对」。
- 用完成样本算成功率。 把转人工或放弃的任务排除,成功率会接近 100%,但分母已经不是全部任务。
- 把返工样本排除在审改统计外。 B 的返工率 9% 对应 3.0 小时的审改;排除它们,审改时间会被低估 0.35 小时/份。
- 跨任务比较变化率。 A 的 78.6% 和 B 的 61.9% 是各自原人工的压缩率,任务难度不同,不能直接排名。
- 把舍入后的数当成原始数。 1.6 小时是 1.6035 的展示值;用 1.6 反推月人工小时会得到 969.6,用 1.6035 会得到 971.7,差异来自舍入,不是口径。
指标陷阱不是统计学问题,是产品治理问题。只要汇报里保留分子、分母和样本范围,大部分陷阱都会在第一时间暴露。下一节把这一章的四个指标和三个陷阱写进 aia-lab,用三案例跑一遍完整对账。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。