以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
一个演示可以在十一分钟内生成一份看起来不错的客户月报。观众看到的是「它能写报告」,于是很容易得出「报告团队可以少一个人」的结论。但 Meridian 每月要出 606 份报告,每份人工基线 4.2 小时;生成只是其中一步,审改、事实核查、客户沟通、发布责任都还在。演示结束时掌声响起,产品的工作才刚刚开始:从下一份报告起,这件事由谁负责?
能力演示回答「它能做什么」,接手工作回答「这件事以后谁负责」。产品卖的是后者。这两句话听起来像口号,落到预算和排期上却非常具体:演示只需要一次成功,接手需要每一次失败都有人接得住。
演示的成功标准与产品相反
演示优化的是峰值,产品优化的是分布和尾部。同一个功能,用两套标准评价,结论可能完全相反。
| 维度 | 能力演示 | 接手工作 |
|---|---|---|
| 时间尺度 | 一次任务、几分钟 | 一个月、一个季度、持续运行 |
| 成功标准 | 最好的一次有多好 | 最差的一次会不会出事 |
| 失败处理 | 重来一次或换个例子 | 谁发现、谁止损、谁复盘 |
| 评价者 | 观众和采购方 | 使用者、客户、审计 |
| 边界 | 可以被主持人控制 | 由真实输入和权限面决定 |
演示可以挑输入。产品不能。B Quill(Meridian 的客户报告起草 Agent)在演示里可以选一份数据干净、模板熟悉的报告;上线后它要面对 606 份报告里那些缺字段、口径变化、客户临时改需求的样本。案例设定里,B 的一次采纳率是 63%,小改率 28%,返工率 9%,事实错误率 4.6%。这四个数字放在一起才构成产品的真实分布:大多数时候能用,但大约每十一份里就有一份需要大改,事实错误则大约每二十二份出现一次,而且可能直接进入客户视野。
演示还天然隐藏了「谁按下发布键」。演示里发布键由主持人按,出错就切回上一页;产品里发布键由某个具体的人按,按下去之后客户会看到。这个动作一旦发生,责任就从模型转移到了人。产品设计要回答的不是「模型能不能写」,而是「人愿不愿意为它按这个键」。
接手的三个前提
一段工作能不能交给 Agent,不看它平均表现多好,而看三个前提是否同时成立:可验收、可接管、可退出。缺一个,接手就不成立。
| 前提 | 要回答的问题 | 不满足的后果 |
|---|---|---|
| 可验收 | 至少两条标准能由机器或人在几分钟内判定 | 好坏只能靠感觉,审改无法收敛 |
| 可接管 | 人从半途接回来,耗时不高于自己从头做 | 人宁愿自己做,Agent 变成额外负担 |
| 可退出 | 能退回旧流程,数据和权限可以带走 | 出事后被锁死,只能继续加人兜底 |
可验收不是「答得好」,而是「能判定」。B 的验收可以写成:草稿 12–20 页、每张图能追到数据包、发布前附事实核查清单。三条都能在审改时逐条打勾。反过来,「报告要有洞察」无法验收,因为它没有判定人、判定材料和判定阈值。可验收的标准数量不需要多,但至少要两条,一条管形式,一条管事实。
可接管是接手成本的核心。C Runner(Kettle 的电商运营任务执行 Agent)的转人工平均耗时是 14 分钟,而纯人工完成一个任务是 18 分钟。14 分钟低于 18 分钟,接管才成立:人接回来仍然比自己从头做省一点。如果接管超过 18 分钟,人就会绕过 Agent 直接做,Agent 自动完成率再高也没有意义。接管成本必须和人工基线比较,不能只看绝对分钟数;第 7 章 会给出完整的拆解。
可退出经常被忽略,因为它不影响顺利时的指标。可退出的意思是:停掉 Agent 之后,旧流程还能跑,任务数据能导出,权限能收回,客户不会因为切换而受损。一个把工单状态、报告版本、操作日志都锁在 Agent 内部的产品,退出成本会高到没人敢停;这不是粘性,是绑架。C 的每条动作都保留回滚句柄,既是失败处理,也是退出路径的一部分。
三个前提里,可验收决定「能不能开始」,可接管决定「值不值得用」,可退出决定「敢不敢停」。产品评审时,三个问题要分开问,不能用一个「效果不错」一起回答。
三个前提的顺序也不能反。没有可验收就先谈接管,会得到「人反正会看」的借口;没有可接管就先谈退出,会得到一份没人执行的预案。先证明能验收,再证明接得回来,最后证明停得下来,每一步都有独立的证据,接手才不是一句口号。
C Runner 的接手账
执行档最容易犯的错,是把「自动完成」当成「不需要人」。C Runner 月任务量 13,200 个,纯人工 18 分钟一个,月人工成本 118,800 美元。Agent 介入后,自动完成率 78%,其余 22% 转人工,转人工平均 14 分钟。审计抽检比例 8%,单次复核 12 分钟。
先算审计摊销:8% × 12 分钟 = 0.96 分钟/任务。再算转人工摊销:22% × 14 分钟 = 3.08 分钟/任务。实际人工是两者之和:0.96 + 3.08 = 4.04 分钟/任务。模型执行耗时 2.4 分钟是机器时间,不进人工账。
只算审计和算上转人工,会得到两张完全不同的损益表:
| 项 | 只算审计 | 含转人工 |
|---|---|---|
| 单任务人工 | 0.96 分钟 | 4.04 分钟 |
| 月人工小时 | 211.2 小时 | 888.8 小时 |
| 月人工成本 | 6,336 美元 | 26,664 美元 |
| 月系统成本 | 950.4 美元 | 950.4 美元 |
| 月维护摊销 | 3,600 美元 | 3,600 美元 |
| 月总成本 | 10,886.4 美元 | 31,214.4 美元 |
| 对比纯人工 118,800 美元 | 节省 107,913.6 美元 | 节省 87,585.6 美元 |
| 节省率 | 90.8% | 73.7% |
两张表的差是每月 20,328 美元。这不是会计口径的细枝末节,而是「谁在承担剩下 22%」的问题。只算审计,等于假设转人工不需要时间;现实中那 22% 的任务会以 14 分钟一次的频率回到人手里。自动完成率 78% 看起来很高,但它同时意味着每五个任务里有一个要人接,接一次的成本是 14 分钟。
这也是为什么「接管成本」必须写进任务规格,而不是等上线后再测。C 的 14 分钟如果涨到 18 分钟以上,超过人工基线,接手的逻辑就反过来了:人接回来比自己从头做还慢,理性选择是绕过 Agent。那时自动完成率仍然是 78%,但产品已经不再节省时间,只是在制造一次额外的分派。
三案例的接手成本对照
把三个案例放在同一张表里,可以看到「残余人工占比」和「节省率」不是同一个指标,但方向一致:人越难被替代,节省越少。
| 项 | A Relay | B Quill | C Runner |
|---|---|---|---|
| 纯人工(分钟/任务) | 3.5 | 252(4.2 小时) | 18 |
| Agent 后人工(分钟/任务) | 0.75 | 96(1.6 小时) | 4.04 |
| 残余人工占比 | 21.4% | 38.1% | 22.4% |
| 月纯人工成本 | 46,200 | 76,356 | 118,800 |
| 月总成本 | 11,548.8 | 31,681.92 | 31,214.4 |
| 月节省 | 34,651.2 | 44,674.08 | 87,585.6 |
| 节省率 | 75.0% | 58.5% | 73.7% |
B 的残余人工占比最高,38.1%,节省率最低,58.5%。原因不是模型差,而是审改不可压缩:报告要发布给客户,事实错误率 4.6%,人必须逐份看。A 的残余人工占比 21.4%,它的人工主要花在确认和少量修改上,每条建议都要人点一次;这是它选择「建议档」的代价,也是它节省率高于 B 的原因。C 的残余人工占比 22.4%,和 A 接近,但它的绝对节省最大,因为任务量和人工基线都更大。
这里要区分两组数:压缩率是 (人工基线 − Agent 后人工) ÷ 人工基线,三案例分别是 78.6%、61.9%、77.6%;节省率是 (纯人工成本 − 月总成本) ÷ 纯人工成本,分别是 75.0%、58.5%、73.7%。两组数不能混用。压缩率只描述人工时间的变化,节省率还扣掉了系统成本和维护摊销。B 的压缩率 61.9%,节省率 58.5%,差 3.4 个百分点就是系统与维护成本;A 的差 3.6 个百分点,C 的差 3.9 个百分点。差异不大,但足以说明「省了多少人」和「省了多少钱」不是同一个问题。
B 的 1.6 小时是怎么来的
B 的审改耗时 1.6 小时是一个加权平均数,不是最好情况,也不是最坏情况。三档结果各有比例和时长:
| 审改结果 | 比例 | 平均审改时长 | 加权贡献 |
|---|---|---|---|
| 一次采纳,无需重写 | 63% | 1.25 小时 | 0.7875 小时 |
| 小改,改动小于 30% | 28% | 1.95 小时 | 0.546 小时 |
| 返工,改动大于 50% | 9% | 3.0 小时 | 0.27 小时 |
| 合计 | 100% | — | 1.6035 ≈ 1.6 小时 |
这张表解释了为什么 B 的节省率最低。返工只占 9%,但一次返工要 3.0 小时,已经接近纯人工的 4.2 小时;也就是说,大约每十一份报告里有一份,Agent 几乎没有省下审改时间。如果只按一次采纳的 1.25 小时估算,会把审改成本低估约 0.35 小时,再乘 606 份,就是每月约 212.1 小时、6,363 美元的缺口。接手的平均成本必须由三档比例加权,缺一档就无法复算。
这也是「可验收」为什么必须包含事实核查。B 的返工往往不是文笔问题,而是数据引用错了、口径变了、图表和正文对不上;这些问题在形式验收里看不出来,只有事实核查能拦住。验收标准少一条,返工比例就会从 9% 往上走,而 3.0 小时的返工成本会迅速吃掉节省。
把接手写成可计算的模型
下面的模型把三个前提和残余人工放在一起。assessHandover 判断可验收、可接管、可退出是否同时成立;residualHuman 复算审计加转人工的真实人工;RUNNER_TRANSFER 固化 C Runner 的转人工参数,避免每次讨论都重新猜。
// file: src/task/01-2-capability-vs-work.ts
// tier: L2
// verify: node --test test/task/01-2-capability-vs-work.test.ts
// 「接手」模型:可验收、可接管、可退出,三者同时成立才算产品接手一段工作。
// 人工耗时只算人的确认、审计与转人工,模型执行时间不进人工。
import { CASES, RUNNER, type Profile } from "../cases.ts";
import { type Bps, FULL, divide } from "../core/rate.ts";
export type Prerequisite = "acceptance" | "takeover" | "exit";
export type HandoverInput = {
readonly acceptanceCriteria: number; // 可机器或人工判定的验收条数
readonly takeoverMinutes: number; // 人从半途接回一个任务的平均耗时
readonly baselineMinutes: number; // 纯人工完成一个任务的耗时
readonly exitPath: boolean; // 能否退回旧流程或人工流程
};
export type Handover = {
readonly ready: boolean;
readonly missing: readonly Prerequisite[];
readonly takeoverShare: Bps;
};
export function assessHandover(input: HandoverInput): Handover {
const missing: Prerequisite[] = [];
if (input.acceptanceCriteria < 2) missing.push("acceptance");
if (input.takeoverMinutes > input.baselineMinutes) missing.push("takeover");
if (!input.exitPath) missing.push("exit");
return {
ready: missing.length === 0,
missing,
takeoverShare: divide(input.takeoverMinutes, input.baselineMinutes),
};
}
// 转人工摊销 = 转人工比例 × 单次转人工耗时。
export function transferMinutes(
transferRate: Bps,
minutesPerTransfer: number,
): number {
return (transferRate * minutesPerTransfer) / FULL;
}
export type Residual = {
readonly transfer: number;
readonly total: number;
readonly share: Bps;
};
// 残余人工 = 审计摊销 + 转人工摊销。模型耗时不在这个加法里。
export function residualHuman(
auditMinutes: number,
transferRate: Bps,
minutesPerTransfer: number,
baselineMinutes: number,
): Residual {
const transfer = transferMinutes(transferRate, minutesPerTransfer);
const total = auditMinutes + transfer;
return {
transfer,
total,
share: divide(total, baselineMinutes),
};
}
// 直接用案例事实表的「Agent 后人工 ÷ 纯人工」算残余比例。
// 它与节省率不是同一组数:分母是原人工,不是原成本。
export function residualShare(profile: Profile): Bps {
return divide(profile.humanMinutes, profile.manualMinutes);
}
export const RESIDUAL_BY_CASE = CASES.map((profile) => ({
key: profile.key,
share: residualShare(profile),
}));
// C Runner 的转人工账:22% × 14 分钟 = 3.08 分钟,
// 加上 8% × 12 分钟 = 0.96 分钟审计,实际人工 4.04 分钟。
export const RUNNER_TRANSFER = {
rate: 2_200,
minutesPerTransfer: 14,
auditMinutes: 0.96,
baselineMinutes: RUNNER.manualMinutes,
};
运行结果里,C 的转人工摊销是 3.08 分钟,总人工 4.04 分钟,残余占比 2,244 个基点,即 22.4%。三个案例的残余占比分别是 21.4%、38.1%、22.4%,与上表一致。assessHandover 对 C 的输入返回 ready:三条验收、接管 14 分钟低于基线 18 分钟、退出路径存在。把接管时间改到基线以上,或者把退出路径关掉,它就会分别报告 takeover 和 exit 缺失。
模型刻意不把模型执行时间加进 total。C 的 2.4 分钟是机器时间,A 的 0.30 分钟、B 的 11 分钟也是机器时间;它们影响时延和系统成本,不影响人工成本。把机器时间算进人工,会让「节省」看起来更小;把转人工漏掉,会让「节省」看起来更大。两种错误方向相反,但都会让决策失真。
接手前的四张清单
在把一个任务交给 Agent 之前,把下面四张清单各写一页。写不满一页,说明还没准备好接手。
- 验收清单。 至少两条标准,一条管形式,一条管事实;每条写清判定人和判定材料。B 的 12–20 页、来源可追、事实核查清单就是三条。
- 接管清单。 人从半途接回来要多久,和人工基线比是高还是低;接管的触发条件是什么,谁有权触发。C 的 14 分钟对 18 分钟是一个可接受的比值。
- 退出清单。 停掉 Agent 后旧流程怎么跑,任务数据怎么导出,权限怎么收回,客户怎么通知。退出路径要在上线前演练一次,不能等到出事才想。
- 责任清单。 谁对最终结果负责,谁做抽检,谁处理投诉,谁决定回滚。C 的审计抽检 8%、单次 12 分钟,背后必须有一个具体的人对这个比例负责。
四张清单不需要很长,但必须能被另一个人读懂并执行。如果只有写清单的人自己看得懂,它就不是交接文档,是个人笔记。
清单的价值在于提前暴露分歧。产品团队觉得「14 分钟可以接受」,运营团队可能觉得「接一次要停下手上的事,实际损失远不止 14 分钟」;这两个判断都合理,但必须在接手前对齐,而不是在上线后用事故对齐。清单写得越具体,分歧出现得越早,修改成本越低。
小结
- 能力演示回答「它能做什么」,接手工作回答「这件事以后谁负责」;产品卖的是后者。
- 演示优化峰值,产品优化分布和尾部;最好的一次有多好,不如最差的一次会不会出事。
- 接手的三个前提是可验收、可接管、可退出,三者必须同时成立。
- 可验收要能判定,至少两条标准;「有洞察」不是验收标准。
- 可接管要和人工基线比较:C 的 14 分钟低于 18 分钟,接管才成立。
- C 的真实人工是 0.96 分钟审计加 3.08 分钟转人工,合计 4.04 分钟;只算审计会把节省率从 73.7% 夸大到 90.8%。
- 压缩率与节省率不是同一组数,前者只算人工时间,后者还扣系统与维护成本。
- 可退出不是粘性,是敢不敢停的能力;退出路径要在上线前演练。
阅读导航:上一节:1.1 一个功能叫 Agent 需要跨过哪四条线 · 下一节:1.3 aia-lab:把产品假设写成可校验的任务规格 。
常见错误与边界
- 用演示成功率代替接手成本。 演示只要求一次成功,接手要求每次失败都有人接;C 的 78% 自动完成率背后是 22% 的转人工,不能只看前一个数。
- 只算审计,不算转人工。 8% × 12 分钟 = 0.96 分钟只是审计摊销,22% × 14 分钟 = 3.08 分钟才是转人工;漏掉后者会把月总成本从 31,214.4 美元算成 10,886.4 美元。
- 把模型耗时算进人工。 C 的 2.4 分钟、B 的 11 分钟是机器时间,影响时延和系统成本,不影响人工成本;混入人工会让节省率被低估。
- 用绝对分钟判断接管可行性。 接管 14 分钟听起来不长,但只有低于人工基线 18 分钟才成立;基线不同的任务不能直接比较绝对分钟。
- 把可退出当成可有可无。 退出路径不影响顺利时的指标,但决定出事后敢不敢停;数据和权限锁在 Agent 内部,会把产品变成绑架。
- 混用压缩率与节省率。 压缩率只描述人工时间,节省率还扣系统与维护成本;三案例的压缩率是 78.6%、61.9%、77.6%,节省率是 75.0%、58.5%、73.7%,不能互换。
这一节把「接手」拆成了三个前提和一本时间账。下一节进入 aia-lab,把这些判断写成一个可校验的任务规格结构,让评审时能逐项打勾,而不是靠印象争论。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。