《AI Agent 产品开发·任务定义与能力边界》1.2 能力演示与接手一段工作的差别

能力演示回答它能做什么,接手工作回答这件事以后谁负责。本节拆开 demo 与产品的成功标准,给出可验收、可接管、可退出三个前提,并用 C Runner 的 22% 转人工率复算 4.04 分钟真实人工成本,说明只算审计会把节省率从 73.7% 夸大到 90.8%。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

一个演示可以在十一分钟内生成一份看起来不错的客户月报。观众看到的是「它能写报告」,于是很容易得出「报告团队可以少一个人」的结论。但 Meridian 每月要出 606 份报告,每份人工基线 4.2 小时;生成只是其中一步,审改、事实核查、客户沟通、发布责任都还在。演示结束时掌声响起,产品的工作才刚刚开始:从下一份报告起,这件事由谁负责?

能力演示回答「它能做什么」,接手工作回答「这件事以后谁负责」。产品卖的是后者。这两句话听起来像口号,落到预算和排期上却非常具体:演示只需要一次成功,接手需要每一次失败都有人接得住。

演示的成功标准与产品相反

演示优化的是峰值,产品优化的是分布和尾部。同一个功能,用两套标准评价,结论可能完全相反。

维度能力演示接手工作
时间尺度一次任务、几分钟一个月、一个季度、持续运行
成功标准最好的一次有多好最差的一次会不会出事
失败处理重来一次或换个例子谁发现、谁止损、谁复盘
评价者观众和采购方使用者、客户、审计
边界可以被主持人控制由真实输入和权限面决定

演示可以挑输入。产品不能。B Quill(Meridian 的客户报告起草 Agent)在演示里可以选一份数据干净、模板熟悉的报告;上线后它要面对 606 份报告里那些缺字段、口径变化、客户临时改需求的样本。案例设定里,B 的一次采纳率是 63%,小改率 28%,返工率 9%,事实错误率 4.6%。这四个数字放在一起才构成产品的真实分布:大多数时候能用,但大约每十一份里就有一份需要大改,事实错误则大约每二十二份出现一次,而且可能直接进入客户视野。

演示还天然隐藏了「谁按下发布键」。演示里发布键由主持人按,出错就切回上一页;产品里发布键由某个具体的人按,按下去之后客户会看到。这个动作一旦发生,责任就从模型转移到了人。产品设计要回答的不是「模型能不能写」,而是「人愿不愿意为它按这个键」。

接手的三个前提

一段工作能不能交给 Agent,不看它平均表现多好,而看三个前提是否同时成立:可验收、可接管、可退出。缺一个,接手就不成立。

前提要回答的问题不满足的后果
可验收至少两条标准能由机器或人在几分钟内判定好坏只能靠感觉,审改无法收敛
可接管人从半途接回来,耗时不高于自己从头做人宁愿自己做,Agent 变成额外负担
可退出能退回旧流程,数据和权限可以带走出事后被锁死,只能继续加人兜底

可验收不是「答得好」,而是「能判定」。B 的验收可以写成:草稿 12–20 页、每张图能追到数据包、发布前附事实核查清单。三条都能在审改时逐条打勾。反过来,「报告要有洞察」无法验收,因为它没有判定人、判定材料和判定阈值。可验收的标准数量不需要多,但至少要两条,一条管形式,一条管事实。

可接管是接手成本的核心。C Runner(Kettle 的电商运营任务执行 Agent)的转人工平均耗时是 14 分钟,而纯人工完成一个任务是 18 分钟。14 分钟低于 18 分钟,接管才成立:人接回来仍然比自己从头做省一点。如果接管超过 18 分钟,人就会绕过 Agent 直接做,Agent 自动完成率再高也没有意义。接管成本必须和人工基线比较,不能只看绝对分钟数;第 7 章 会给出完整的拆解。

可退出经常被忽略,因为它不影响顺利时的指标。可退出的意思是:停掉 Agent 之后,旧流程还能跑,任务数据能导出,权限能收回,客户不会因为切换而受损。一个把工单状态、报告版本、操作日志都锁在 Agent 内部的产品,退出成本会高到没人敢停;这不是粘性,是绑架。C 的每条动作都保留回滚句柄,既是失败处理,也是退出路径的一部分。

三个前提里,可验收决定「能不能开始」,可接管决定「值不值得用」,可退出决定「敢不敢停」。产品评审时,三个问题要分开问,不能用一个「效果不错」一起回答。

三个前提的顺序也不能反。没有可验收就先谈接管,会得到「人反正会看」的借口;没有可接管就先谈退出,会得到一份没人执行的预案。先证明能验收,再证明接得回来,最后证明停得下来,每一步都有独立的证据,接手才不是一句口号。

C Runner 的接手账

执行档最容易犯的错,是把「自动完成」当成「不需要人」。C Runner 月任务量 13,200 个,纯人工 18 分钟一个,月人工成本 118,800 美元。Agent 介入后,自动完成率 78%,其余 22% 转人工,转人工平均 14 分钟。审计抽检比例 8%,单次复核 12 分钟。

先算审计摊销:8% × 12 分钟 = 0.96 分钟/任务。再算转人工摊销:22% × 14 分钟 = 3.08 分钟/任务。实际人工是两者之和:0.96 + 3.08 = 4.04 分钟/任务。模型执行耗时 2.4 分钟是机器时间,不进人工账。

只算审计和算上转人工,会得到两张完全不同的损益表:

项只算审计含转人工
单任务人工0.96 分钟4.04 分钟
月人工小时211.2 小时888.8 小时
月人工成本6,336 美元26,664 美元
月系统成本950.4 美元950.4 美元
月维护摊销3,600 美元3,600 美元
月总成本10,886.4 美元31,214.4 美元
对比纯人工 118,800 美元节省 107,913.6 美元节省 87,585.6 美元
节省率90.8%73.7%

两张表的差是每月 20,328 美元。这不是会计口径的细枝末节,而是「谁在承担剩下 22%」的问题。只算审计,等于假设转人工不需要时间;现实中那 22% 的任务会以 14 分钟一次的频率回到人手里。自动完成率 78% 看起来很高,但它同时意味着每五个任务里有一个要人接,接一次的成本是 14 分钟。

这也是为什么「接管成本」必须写进任务规格,而不是等上线后再测。C 的 14 分钟如果涨到 18 分钟以上,超过人工基线,接手的逻辑就反过来了:人接回来比自己从头做还慢,理性选择是绕过 Agent。那时自动完成率仍然是 78%,但产品已经不再节省时间,只是在制造一次额外的分派。

三案例的接手成本对照

把三个案例放在同一张表里,可以看到「残余人工占比」和「节省率」不是同一个指标,但方向一致:人越难被替代,节省越少。

项A RelayB QuillC Runner
纯人工(分钟/任务)3.5252(4.2 小时)18
Agent 后人工(分钟/任务)0.7596(1.6 小时)4.04
残余人工占比21.4%38.1%22.4%
月纯人工成本46,20076,356118,800
月总成本11,548.831,681.9231,214.4
月节省34,651.244,674.0887,585.6
节省率75.0%58.5%73.7%

B 的残余人工占比最高,38.1%,节省率最低,58.5%。原因不是模型差,而是审改不可压缩:报告要发布给客户,事实错误率 4.6%,人必须逐份看。A 的残余人工占比 21.4%,它的人工主要花在确认和少量修改上,每条建议都要人点一次;这是它选择「建议档」的代价,也是它节省率高于 B 的原因。C 的残余人工占比 22.4%,和 A 接近,但它的绝对节省最大,因为任务量和人工基线都更大。

这里要区分两组数:压缩率是 (人工基线 − Agent 后人工) ÷ 人工基线,三案例分别是 78.6%、61.9%、77.6%;节省率是 (纯人工成本 − 月总成本) ÷ 纯人工成本,分别是 75.0%、58.5%、73.7%。两组数不能混用。压缩率只描述人工时间的变化,节省率还扣掉了系统成本和维护摊销。B 的压缩率 61.9%,节省率 58.5%,差 3.4 个百分点就是系统与维护成本;A 的差 3.6 个百分点,C 的差 3.9 个百分点。差异不大,但足以说明「省了多少人」和「省了多少钱」不是同一个问题。

B 的 1.6 小时是怎么来的

B 的审改耗时 1.6 小时是一个加权平均数,不是最好情况,也不是最坏情况。三档结果各有比例和时长:

审改结果比例平均审改时长加权贡献
一次采纳,无需重写63%1.25 小时0.7875 小时
小改,改动小于 30%28%1.95 小时0.546 小时
返工,改动大于 50%9%3.0 小时0.27 小时
合计100%—1.6035 ≈ 1.6 小时

这张表解释了为什么 B 的节省率最低。返工只占 9%,但一次返工要 3.0 小时,已经接近纯人工的 4.2 小时;也就是说,大约每十一份报告里有一份,Agent 几乎没有省下审改时间。如果只按一次采纳的 1.25 小时估算,会把审改成本低估约 0.35 小时,再乘 606 份,就是每月约 212.1 小时、6,363 美元的缺口。接手的平均成本必须由三档比例加权,缺一档就无法复算。

这也是「可验收」为什么必须包含事实核查。B 的返工往往不是文笔问题,而是数据引用错了、口径变了、图表和正文对不上;这些问题在形式验收里看不出来,只有事实核查能拦住。验收标准少一条,返工比例就会从 9% 往上走,而 3.0 小时的返工成本会迅速吃掉节省。

把接手写成可计算的模型

下面的模型把三个前提和残余人工放在一起。assessHandover 判断可验收、可接管、可退出是否同时成立;residualHuman 复算审计加转人工的真实人工;RUNNER_TRANSFER 固化 C Runner 的转人工参数,避免每次讨论都重新猜。

// file: src/task/01-2-capability-vs-work.ts
// tier: L2
// verify: node --test test/task/01-2-capability-vs-work.test.ts

// 「接手」模型:可验收、可接管、可退出,三者同时成立才算产品接手一段工作。
// 人工耗时只算人的确认、审计与转人工,模型执行时间不进人工。

import { CASES, RUNNER, type Profile } from "../cases.ts";
import { type Bps, FULL, divide } from "../core/rate.ts";

export type Prerequisite = "acceptance" | "takeover" | "exit";

export type HandoverInput = {
  readonly acceptanceCriteria: number; // 可机器或人工判定的验收条数
  readonly takeoverMinutes: number; // 人从半途接回一个任务的平均耗时
  readonly baselineMinutes: number; // 纯人工完成一个任务的耗时
  readonly exitPath: boolean; // 能否退回旧流程或人工流程
};

export type Handover = {
  readonly ready: boolean;
  readonly missing: readonly Prerequisite[];
  readonly takeoverShare: Bps;
};

export function assessHandover(input: HandoverInput): Handover {
  const missing: Prerequisite[] = [];
  if (input.acceptanceCriteria < 2) missing.push("acceptance");
  if (input.takeoverMinutes > input.baselineMinutes) missing.push("takeover");
  if (!input.exitPath) missing.push("exit");
  return {
    ready: missing.length === 0,
    missing,
    takeoverShare: divide(input.takeoverMinutes, input.baselineMinutes),
  };
}

// 转人工摊销 = 转人工比例 × 单次转人工耗时。
export function transferMinutes(
  transferRate: Bps,
  minutesPerTransfer: number,
): number {
  return (transferRate * minutesPerTransfer) / FULL;
}

export type Residual = {
  readonly transfer: number;
  readonly total: number;
  readonly share: Bps;
};

// 残余人工 = 审计摊销 + 转人工摊销。模型耗时不在这个加法里。
export function residualHuman(
  auditMinutes: number,
  transferRate: Bps,
  minutesPerTransfer: number,
  baselineMinutes: number,
): Residual {
  const transfer = transferMinutes(transferRate, minutesPerTransfer);
  const total = auditMinutes + transfer;
  return {
    transfer,
    total,
    share: divide(total, baselineMinutes),
  };
}

// 直接用案例事实表的「Agent 后人工 ÷ 纯人工」算残余比例。
// 它与节省率不是同一组数:分母是原人工,不是原成本。
export function residualShare(profile: Profile): Bps {
  return divide(profile.humanMinutes, profile.manualMinutes);
}

export const RESIDUAL_BY_CASE = CASES.map((profile) => ({
  key: profile.key,
  share: residualShare(profile),
}));

// C Runner 的转人工账:22% × 14 分钟 = 3.08 分钟,
// 加上 8% × 12 分钟 = 0.96 分钟审计,实际人工 4.04 分钟。
export const RUNNER_TRANSFER = {
  rate: 2_200,
  minutesPerTransfer: 14,
  auditMinutes: 0.96,
  baselineMinutes: RUNNER.manualMinutes,
};

运行结果里,C 的转人工摊销是 3.08 分钟,总人工 4.04 分钟,残余占比 2,244 个基点,即 22.4%。三个案例的残余占比分别是 21.4%、38.1%、22.4%,与上表一致。assessHandover 对 C 的输入返回 ready:三条验收、接管 14 分钟低于基线 18 分钟、退出路径存在。把接管时间改到基线以上,或者把退出路径关掉,它就会分别报告 takeover 和 exit 缺失。

模型刻意不把模型执行时间加进 total。C 的 2.4 分钟是机器时间,A 的 0.30 分钟、B 的 11 分钟也是机器时间;它们影响时延和系统成本,不影响人工成本。把机器时间算进人工,会让「节省」看起来更小;把转人工漏掉,会让「节省」看起来更大。两种错误方向相反,但都会让决策失真。

接手前的四张清单

在把一个任务交给 Agent 之前,把下面四张清单各写一页。写不满一页,说明还没准备好接手。

  1. 验收清单。 至少两条标准,一条管形式,一条管事实;每条写清判定人和判定材料。B 的 12–20 页、来源可追、事实核查清单就是三条。
  2. 接管清单。 人从半途接回来要多久,和人工基线比是高还是低;接管的触发条件是什么,谁有权触发。C 的 14 分钟对 18 分钟是一个可接受的比值。
  3. 退出清单。 停掉 Agent 后旧流程怎么跑,任务数据怎么导出,权限怎么收回,客户怎么通知。退出路径要在上线前演练一次,不能等到出事才想。
  4. 责任清单。 谁对最终结果负责,谁做抽检,谁处理投诉,谁决定回滚。C 的审计抽检 8%、单次 12 分钟,背后必须有一个具体的人对这个比例负责。

四张清单不需要很长,但必须能被另一个人读懂并执行。如果只有写清单的人自己看得懂,它就不是交接文档,是个人笔记。

清单的价值在于提前暴露分歧。产品团队觉得「14 分钟可以接受」,运营团队可能觉得「接一次要停下手上的事,实际损失远不止 14 分钟」;这两个判断都合理,但必须在接手前对齐,而不是在上线后用事故对齐。清单写得越具体,分歧出现得越早,修改成本越低。

小结

  • 能力演示回答「它能做什么」,接手工作回答「这件事以后谁负责」;产品卖的是后者。
  • 演示优化峰值,产品优化分布和尾部;最好的一次有多好,不如最差的一次会不会出事。
  • 接手的三个前提是可验收、可接管、可退出,三者必须同时成立。
  • 可验收要能判定,至少两条标准;「有洞察」不是验收标准。
  • 可接管要和人工基线比较:C 的 14 分钟低于 18 分钟,接管才成立。
  • C 的真实人工是 0.96 分钟审计加 3.08 分钟转人工,合计 4.04 分钟;只算审计会把节省率从 73.7% 夸大到 90.8%。
  • 压缩率与节省率不是同一组数,前者只算人工时间,后者还扣系统与维护成本。
  • 可退出不是粘性,是敢不敢停的能力;退出路径要在上线前演练。

阅读导航:上一节:1.1 一个功能叫 Agent 需要跨过哪四条线 · 下一节:1.3 aia-lab:把产品假设写成可校验的任务规格 。

常见错误与边界

  1. 用演示成功率代替接手成本。 演示只要求一次成功,接手要求每次失败都有人接;C 的 78% 自动完成率背后是 22% 的转人工,不能只看前一个数。
  2. 只算审计,不算转人工。 8% × 12 分钟 = 0.96 分钟只是审计摊销,22% × 14 分钟 = 3.08 分钟才是转人工;漏掉后者会把月总成本从 31,214.4 美元算成 10,886.4 美元。
  3. 把模型耗时算进人工。 C 的 2.4 分钟、B 的 11 分钟是机器时间,影响时延和系统成本,不影响人工成本;混入人工会让节省率被低估。
  4. 用绝对分钟判断接管可行性。 接管 14 分钟听起来不长,但只有低于人工基线 18 分钟才成立;基线不同的任务不能直接比较绝对分钟。
  5. 把可退出当成可有可无。 退出路径不影响顺利时的指标,但决定出事后敢不敢停;数据和权限锁在 Agent 内部,会把产品变成绑架。
  6. 混用压缩率与节省率。 压缩率只描述人工时间,节省率还扣系统与维护成本;三案例的压缩率是 78.6%、61.9%、77.6%,节省率是 75.0%、58.5%、73.7%,不能互换。

这一节把「接手」拆成了三个前提和一本时间账。下一节进入 aia-lab,把这些判断写成一个可校验的任务规格结构,让评审时能逐项打勾,而不是靠印象争论。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图