《AI Agent 产品开发·任务定义与能力边界》12.1 成功率、接管率、返工率、人机耗时比

成功率、接管率、返工率、人机耗时比各回答一个问题,也各有自己的分母。本节给出四个指标的定义、采集点与口径,用 A Relay、B Quill、C Runner 各算一遍,说明少看一个为什么会算错账,并给出可运行的 TypeScript 计算函数。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

Agent 上线一个月,团队通常会被要求汇报一个数字。最常见的是「成功率 92%」,其次是「节省了 40% 的时间」。这两个数字都可能是真的,也都可能在同一份汇报里互相矛盾。原因不是有人撒谎,而是每个指标都有自己的分母,而汇报只留下了分子。

判断一个 Agent 是否真的有用,不能只看一个数,也不能把四个数简单相加。成功率、接管率、返工率、人机耗时比分别回答四个不同的问题:它有多常被直接接受、人多常被迫接手、接手后还要重做多少、一个任务总共占用多少时间。四个指标必须一起看,缺一个就会把某一类成本藏起来。

这一节先把四个指标拆开,逐个给定义、采集点和口径,再用 A Relay、B Quill、C Runner 三个案例各算一遍。最后给出一个可运行的模型,把四个指标固定在同一份数据结构里,避免每次汇报都换一套算法。

四个指标分别回答什么问题

四个指标不是四种「好坏程度」,而是四个观察角度。把它们写成表格,比写成口号更有用。

指标回答的问题采集点口径要点
成功率人没有纠正就接受的比例是多少人工确认或审改动作结束时必须与接管率互补
接管率人多常被迫接手、修改或转人工同一个动作节点包含修改、重做、转人工
返工率接手之后仍然要重做或出错的比例审改记录、审计记录口径随案例不同,不能横比
人机耗时比一个任务总共占用多少人与机器时间任务开始到结束分子含机器时间,分母是原人工

成功率的定义看起来最直白,实际最容易偷换。它指的不是「模型返回了结果」,而是「人没有纠正就接受」。A Relay 的采纳率是 78%,所以成功率是 78.0%;B Quill 的一次采纳率是 63%,成功率就是 63.0%;C Runner 的自动完成率是 78%,成功率也是 78.0%。三个 78% 和 63% 背后是完全不同的责任分配:A 是人确认后生效,B 是人审改后发布,C 是自动执行后抽检。

接管率是成功率的补集,但只有在同一个采集点上才成立。A 的 22% 是被修改或不采纳,B 的 37% 是小改 28% 加返工 9%,C 的 22% 是转人工。如果把 A 的「修改」和 C 的「转人工」当成同一种接管,就会忽略一个事实:A 的接管仍然发生在同一条工单流程里,C 的接管意味着任务离开了 Agent 的自动通道,人工要从头接上下文。

返工率是最容易被跨案例比较的指标,也是最不该跨案例比较的。A 的 2.9% 是「采纳后仍出错率」,错误已经通过了人的确认;B 的 9% 是「改动超过 50% 的返工率」,衡量的是草稿整体不可用;C 的 1.7% 是「审计发现错误率」,分母是抽检样本。三个数都叫返工或错误,却不是同一种错。把它们放在一张图上排名,等于把三种不同的测量混成一种。

人机耗时比回答的是「一个任务总共占用多少时间」,分子必须同时包含人工和机器。A 是 1.05 分钟除以 3.5 分钟,得 30.0%;B 是 107 分钟除以 252 分钟,得 42.5%;C 是 6.44 分钟除以 18 分钟,得 35.8%。如果只算人工,A 是 21.4%,B 是 38.1%,C 是 22.4%。两组数的差就是机器时间占比,不能混用。

还有一个更细的口径:人工时间与机器时间必须分列。A 的 1.05 分钟里,0.30 分钟是模型与系统耗时,0.75 分钟是人确认;C 的 6.44 分钟里,2.40 分钟是 Agent 执行,4.04 分钟是人工。把机器时间算进人工,会高估人力成本;把机器时间完全忽略,会低估任务的实际等待时间。

用三个案例各算一遍

把三个案例代入同一套公式,结果如下。表格里的每个数都能从案例事实表复算。

指标A RelayB QuillC Runner
月任务量26,40060613,200
原人工(分钟/任务)3.50252.0018.00
Agent 后人工(分钟/任务)0.7596.004.04
机器时间(分钟/任务)0.3011.002.40
成功率78.0%63.0%78.0%
接管率22.0%37.0%22.0%
返工率2.9%9.0%1.7%
人机耗时比30.0%42.5%35.8%
纯人工耗时比21.4%38.1%22.4%

先看 A。它的成功率和接管率是 78% 与 22%,加起来正好 100%。返工率 2.9% 是采纳之后仍然出错的残留比例,不能和接管率相加。人机耗时比 30.0% 说明一个原本 3.5 分钟的任务,现在总共只要 1.05 分钟;但其中 0.30 分钟是机器在跑,人只花了 0.75 分钟。如果汇报只写「人工下降 78.6%」,它说的是纯人工压缩率,不是总耗时比。

B 的数字最能说明「成功率不能单独看」。一次采纳率 63% 看起来不算高,但它的返工率只有 9%,大部分报告只需要小改。真正的问题是审改时间:1.6 小时一份,606 份就是 969.6 小时。人机耗时比 42.5%,在三个案例里最高,因为报告生成只要 11 分钟,而人审改要 96 分钟,机器省下的时间被审改吃掉了大半。

C 的数字最容易骗人。成功率 78%、返工率 1.7%,两个数都漂亮;但接管率 22% 对应的是转人工,每次平均 14 分钟,折合每个任务 3.08 分钟。人机耗时比 35.8% 里,人工部分 4.04 分钟已经包含这 3.08 分钟。如果只算审计的 0.96 分钟,C 的纯人工耗时比会从 22.4% 掉到 5.3%,节省率从 73.7% 夸大到 90.8%。这个差下一节会专门拆。

为什么四个指标必须一起看

四个指标的组合,比任何单指标都更接近真相。可以用三组对照来说明。

第一组:成功率高,不代表人轻松。 C 的成功率是 78%,和 A 一样;但 C 的人工是 4.04 分钟,A 只有 0.75 分钟。原因是 C 的成功率只统计自动完成的任务,转人工的 22% 被排除在分子之外。只看成功率,会以为两个产品的接管负担相同;加上接管率和人工时间,才能看到 C 的 22% 是「离开自动通道」,A 的 22% 是「在同一屏里改一下」。

第二组:返工率低,不代表返工成本低。 C 的返工率 1.7% 低于 A 的 2.9%,但 C 的一次返工可能涉及价格、库存或客户通知,处理成本远高于改一个工单队列。返工率只回答「多常发生」,不回答「发生一次多贵」。要判断成本,必须把返工率与接管成本、不可回滚比例放在一起。

第三组:人机耗时比低,不代表节省率高。 B 的人机耗时比 42.5%,看起来比 A 的 30.0% 差;但 B 的原任务是 4.2 小时,节省的绝对时间远大于 A。反过来,A 的耗时比更低,但它的任务只有 3.5 分钟,单任务节省 2.75 分钟。比率适合比较流程效率,绝对时间适合比较业务价值,两者不能互相替代。

把四个指标放在同一张表里,还能发现一个常见矛盾:成功率与接管率互补,但返工率与它们不互补。A 的成功率 78% 加接管率 22% 等于 100%,但返工率 2.9% 是另一个维度的残留错误;C 也一样。互补关系只存在于成功率和接管率之间,把返工率也塞进这个加法,会得到一个超过 100% 的数。

三种常见读法及各自漏掉的东西

同一组数,换一个读法就会得到不同的结论。下面三种读法在实际汇报里都出现过,每一种都只对了一半。

读法看到的结论漏掉的东西会误导谁
只看成功率B 的 63% 不如 A 的 78%B 的返工率只有 9%,且单份价值高只比较产品「聪明程度」的人
只看节省率C 的 73.7% 高于 B 的 58.5%C 的人工含 3.08 分钟转人工只看财务数字的人
只看人机耗时比A 的 30.0% 最优A 的任务只有 3.5 分钟,绝对值最小只看流程效率的人

第一种读法把成功率当成质量排名。B 的 63% 确实低于 A 的 78%,但 B 的任务是 12 到 20 页的客户报告,一次采纳已经意味着结构和事实基本可用;A 的任务是分诊,78% 的采纳率背后还有 2.9% 的残留错误。两者的成功不是同一种成功,直接排名会把任务难度差异算到产品头上。

第二种读法把节省率当成唯一价值。C 的 73.7% 高于 B 的 58.5%,但 C 的原人工成本是 118,800 美元,B 是 76,356 美元;C 节省的绝对金额更大,不代表它的流程更高效。更重要的是,C 的节省率只有在把 3.08 分钟转人工算进人工时才成立。漏算转人工,同一个产品会从 73.7% 变成 90.8%,这不是精度问题,是口径问题。

第三种读法把人机耗时比当成速度排名。A 的 30.0% 确实最低,但它的原任务只有 3.5 分钟,节省 2.75 分钟;B 的 42.5% 看起来更高,却节省了 156 分钟。比率适合回答「流程压缩了多少」,绝对时间适合回答「业务省下了多少」。产品负责人需要同时看两个尺度,而不是选一个更漂亮的。

三种读法有一个共同点:都只取了一个分子,却没有说明分母。防御方法不是记住更多指标,而是每次看到比例时,先要求对方给出分子、分母和样本范围。给不出这三样,比例就只是一个形容词。

还有一个边界需要提前说明:四个指标描述的是已上线任务的运行状态,不包含培训、部署和集成的一次性投入。
把一次性投入摊进单任务,会得出另一个节省率,那不是本节的口径,也不能拿来和纯人工月成本直接比较。

把四个指标写成一个函数

下面这个模型把四个指标固定在同一份数据结构里。输入是案例的事实表与接管、返工口径,输出是五个比例:成功率、接管率、返工率、人机耗时比、纯人工耗时比。三个案例的口径写在同一张常量表里,避免每次汇报临时解释。

// file: src/metrics/12-1-four-metrics.ts
// tier: L2
// verify: node --test test/metrics/12-1-four-metrics.test.ts

// 四个指标必须一起看:成功率、接管率、返工率、人机耗时比。
// 成功率与接管率互补;返工率口径随案例不同;耗时比把机器时间也算进分子。

import { RELAY, QUILL, RUNNER, type Profile } from "../cases.ts";
import { formatBps } from "../core/rate.ts";

export type CaseKey = "A" | "B" | "C";

export type MetricInput = {
  readonly key: CaseKey;
  /** 人工纠正过的任务占比:A 为修改,B 为小改加返工,C 为转人工 */
  readonly takeoverRate: number;
  /** 返工或出错率,口径随案例不同,不能跨案例直接比较 */
  readonly reworkRate: number;
  readonly reworkNote: string;
};

export const METRIC_INPUT: Record<CaseKey, MetricInput> = {
  A: {
    key: "A",
    takeoverRate: 0.22,
    reworkRate: 0.029,
    reworkNote: "采纳后仍出错率",
  },
  B: {
    key: "B",
    takeoverRate: 0.37,
    reworkRate: 0.09,
    reworkNote: "改动超过 50% 的返工率",
  },
  C: {
    key: "C",
    takeoverRate: 0.22,
    reworkRate: 0.017,
    reworkNote: "审计发现错误率",
  },
};

export type Metrics = {
  readonly key: CaseKey;
  /** 人未纠正即可接受的比例,等于 1 − 接管率 */
  readonly successRate: number;
  readonly takeoverRate: number;
  readonly reworkRate: number;
  /** (人工 + 机器) ÷ 原人工,回答「一个任务总共占用多少时间」 */
  readonly humanMachineRatio: number;
  /** 人工 ÷ 原人工,回答「人还剩下多少活」 */
  readonly humanOnlyRatio: number;
};

export function metricsFor(profile: Profile, input: MetricInput): Metrics {
  const totalMinutes = profile.humanMinutes + profile.machineMinutes;
  return {
    key: profile.key,
    successRate: 1 - input.takeoverRate,
    takeoverRate: input.takeoverRate,
    reworkRate: input.reworkRate,
    humanMachineRatio: totalMinutes / profile.manualMinutes,
    humanOnlyRatio: profile.humanMinutes / profile.manualMinutes,
  };
}

export function caseMetrics(key: CaseKey): Metrics {
  if (key === "A") return metricsFor(RELAY, METRIC_INPUT.A);
  if (key === "B") return metricsFor(QUILL, METRIC_INPUT.B);
  return metricsFor(RUNNER, METRIC_INPUT.C);
}

export function pct(value: number): string {
  return formatBps(Math.round(value * 10_000));
}

export function formatMetrics(m: Metrics): string {
  return [
    `${m.key} success=${pct(m.successRate)}`,
    `takeover=${pct(m.takeoverRate)}`,
    `rework=${pct(m.reworkRate)}`,
    `time=${pct(m.humanMachineRatio)}`,
    `human-only=${pct(m.humanOnlyRatio)}`,
  ].join(" ");
}

// 成功率与接管率必须互补;不互补说明两个数采自不同分母。
export function complementHolds(m: Metrics): boolean {
  return Math.abs(m.successRate + m.takeoverRate - 1) < 1e-9;
}

// 返工率不能单独解释价值:A 的 2.9% 是采纳后的残留错误,
// B 的 9% 是整份草稿返工,二者不是同一种「错」。
export function reworkComparable(a: Metrics, b: Metrics): boolean {
  return METRIC_INPUT[a.key].reworkNote === METRIC_INPUT[b.key].reworkNote;
}

metricsFor 只做除法,不判断好坏。它把「原人工」「Agent 后人工」「机器时间」三个基础量固定下来,四个指标都从这三个量派生。这样做的价值不是代码优雅,而是防止口径漂移:任何人想改成功率,都必须同时改接管率,否则 complementHolds 会返回 false。

pct 把小数转成一位小数的百分比。formatMetrics 的输出可以直接贴进周报,例如 A 的那一行是 success=78.0% takeover=22.0% rework=2.9% time=30.0% human-only=21.4%。reworkComparable 则明确回答「这两个返工率能不能比」:只有口径说明相同才返回 true,三个案例之间都是 false。

模型里没有把返工率做成成功率的补集,这是有意的。成功率与接管率共享同一个分母「全部任务」,返工率的分母是「已接管或已抽检的任务」,两者不是同一批样本。把不同分母的比例放进同一个加法,是任务度量里最常见的错误。

采集点放在哪里

指标算得对,前提是采得到。四个指标对应四个采集点,产品设计时就要把它们埋进流程,而不是上线后从日志里猜。

指标采集点必须记录常见缺口
成功率人确认或审改结束是否修改、修改幅度只记「已采纳」,不记「改了多少」
接管率同上接管类型:修改、重做、转人工把转人工记成「任务关闭」
返工率审改或审计记录返工原因、影响范围只记次数,不记是否可回滚
人机耗时比任务开始与结束人工时长、机器时长分开把等待时间算进人工

A 的采集点最轻:工单页上的一次确认或修改,就能同时得到成功率和接管率。B 的采集点在审改环节,必须记录改动幅度,否则 28% 的小改和 9% 的返工会被混成「改过」。C 的采集点最重:审计记录要能回答每个动作的前后值、是否可回滚、转人工从哪一步开始。

一个可执行的检查是:四个指标里,至少有三个能从同一份任务记录直接算出。如果每个指标都要单独跑一次数据,口径迟早会分叉。A 和 B 都能做到三个以上;C 需要审计日志与转人工记录对齐,这正是它必须建任务中心的原因。这些采集点的工程实现依赖运行追踪:任务记录能否直接算出三个指标,取决于追踪事件是否覆盖工具调用与人工介入,可对照 运行追踪 。

小结

  • 成功率回答「人没纠正就接受的比例」,必须与接管率互补,二者共享全部任务这个分母。
  • 接管率要区分修改、重做和转人工;A 的 22% 与 C 的 22% 不是同一种接管。
  • 返工率的定义随案例不同:A 是采纳后残留错误,B 是整份返工,C 是审计错误,不能跨案例排名。
  • 人机耗时比的分子必须含机器时间;A 是 30.0%,B 是 42.5%,C 是 35.8%。
  • 纯人工耗时比是另一个数:A 21.4%、B 38.1%、C 22.4%,它回答「人还剩多少活」。
  • 四个指标必须一起看:C 的成功率和 A 一样,但人工是 A 的 5 倍多。
  • 采集点要在流程里设计好,至少三个指标能由同一份任务记录直接算出。
  • 任何一个指标单独出现时,先问它的分母是什么,再问它排除了哪些样本。

阅读导航:上一节:11.3 数据飞轮什么时候才转起来 · 下一节:12.2 指标陷阱:平均值、分母变化与幸存者偏差 。

常见错误与边界

  1. 把成功率当成模型准确率。 成功率的分母是全部任务,分子是人未纠正就接受的任务;模型准确率的分母是标注样本。两者不能互换,也不能用后者证明前者。
  2. 把返工率与接管率相加。 接管率的分母是全部任务,返工率的分母是已接管或已抽检的任务;相加会超过 100%,也会重复计算同一批错误。
  3. 用纯人工耗时比代替人机耗时比。 A 的纯人工耗时比是 21.4%,人机耗时比是 30.0%;前者回答「人还剩多少活」,后者回答「任务总共多快」。
  4. 把机器时间算进人工。 机器时间影响等待与吞吐,不影响人力成本;混在一起会让节省率看起来更低或更高,取决于你想讲哪个故事。
  5. 只采集次数,不采集幅度。 B 的 28% 小改和 9% 返工,如果只记「改过」,会被合并成 37% 的接管率,审改成本就被抹平了。
  6. 跨案例比较返工率。 A 的 2.9%、B 的 9%、C 的 1.7% 是三种测量,排名没有意义;要比较成本,必须回到接管成本与不可回滚比例。

四个指标只是第一层。它们都能被正确地算出来,也都能被错误地解释。下一节要拆的是三个更隐蔽的陷阱:平均值、分母变化和幸存者偏差。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图