《AI Agent 产品开发·任务定义与能力边界》附录 A 术语与指标

卷一用到的术语与指标定义:Agent 产品、任务、任务规格、自主度四档、接管、返工、人机耗时比、压缩率与节省率,逐条给出定义、计算口径与易混淆点,并附三案例各自的取值与复算路径,正文出现这些词时以本表为准,也可直接作为评审时的口径对照表使用。

本附录定义卷一出现的核心术语与指标。正文使用这些词时,以本表的口径为准;同一概念不在别处另设定义。

所有指标都可以用附录 B 的三案例数字复算。

一、产品与任务

Agent 产品

满足四条线、且有明确责任分配的产品:多步自主、工具调用、状态延续、可观察失败。缺任意一条,它更接近"带模型的功能",而不是 Agent 产品。

四条线的判定在第 1 章 1.1 给出。

任务

一段有明确起点和终点的工作,能回答三个问题:输入是什么、输出是什么、怎么判断做完了。

任务的粒度决定一切后续设计。“处理客户问题"不是任务,“把新工单分到 8 个队列之一并给出优先级"才是。

任务规格

把任务写成可校验的四要素:输入清单、输出形态、验收标准、代价上限。四要素缺一,不能进入开发。

可判定验收

能被机器或人独立判定、且判定成本可接受的标准。“好"不是可判定标准,“分诊队列正确且首响模板编号在允许集合内"是可判定标准。

接管

人从 Agent 手里把任务接回来继续做。接管不等于失败——它是设计的一部分。

返工

接管之后发现 Agent 的产出无法复用,需要重做。返工率衡量的是"接管的成本”,不是"接管的频率”。

二、自主度

自主度

Agent 在一段工作中承担到哪一步。本书用四档描述。

档位机器做什么人做什么典型产品
建议给出选项或结论决定采不采纳A Relay
草稿产出可用的初稿审改后发布B Quill
审批准备并请求执行批准或拒绝高风险写操作
执行直接执行事后审计C Runner

档位不是能力等级,是责任等级。 一个任务能做执行档,不代表应该放到执行档。

定档四维

错误代价、可回滚性、审计有效性、时延容忍。每维 0–2 分,满分 8:

总分 ≥ 7  → 可执行档
总分 5–6  → 审批档
总分 3–4  → 草稿档
总分 ≤ 2  → 建议档

分数只回答"能不能”,不回答"该不该”。组织接受度是分数之外的一条线,第 6 章 6.2 有完整说明。

组织接受度

团队是否愿意让某个决定离开人。它不由任务属性决定,由责任归属、对外承诺和历史事故决定。

三、时间与成本

人工基线

引入 Agent 之前,完成一个任务需要的人员工时。单位:分钟/任务。

人机耗时

引入 Agent 之后,机器耗时与人工耗时之和。注意:报告"节省"时不能用人机耗时做分子。

人工耗时

引入 Agent 之后,人仍然需要投入的工时。它包含:确认、审改、审计、转人工接手。

压缩率

压缩率 = (人工基线 − 人工耗时) ÷ 人工基线

衡量"人的工作量减少了多少"。三案例:A 78.6%、B 61.9%、C 77.6%。

系统成本

模型调用 + 基础设施 + 维护摊销。不含人工,不含一次性投入。

节省率

节省率 = (纯人工月成本 − 新人工月成本 − 月系统成本) ÷ 纯人工月成本

衡量"这件事在经济上值不值得"。三案例:A 75.0%、B 58.5%、C 73.7%。

压缩率与节省率不是一回事,差异来自系统成本与量级。第 12 章 12.2 会专门讲这个混用会造成的误判。

系统成本占比

系统成本占比 = 月系统成本 ÷ 纯人工月成本

三案例:A 0.97%、B 0.25%、C 0.80%。这个数很低,正是"值得做"的经济基础,也是第 12 章要提醒的"不要盯着一个很小的分母做优化"。

四、质量指标

成功率

Agent 独立完成且不需要人工接手的比例。分母是全部任务,不是"被 Agent 处理的任务"。

接管率

需要人工接手的比例。接管率与成功率互补,但两者都不说明接手的成本。

返工率

接管后需要重做(改动超过 50%)的比例。返工率是接管率的"质量版本"。

采纳率

建议被直接采纳的比例。只适用于建议档与草稿档。

错误率

经过验收后被判定为错误的比例。错误率必须说明判定方式:机器判定、人工抽查、还是客户投诉。

不可回滚错误率

错误中无法自动回滚的比例。三案例中只有 C 需要单独统计:1.7% × 14% = 0.238%。

五、评审

45 项评审

全书三卷各 15 项,每项 0/1/2 分,单卷满分 30,全书满分 90,通过线 72。

卷得分与可补分

卷得分是该卷 15 项之和。可补分 = 30 − 卷得分,表示这一卷还有多少提升空间。

三案例:A 22/18/12(可补 8/12/18),B 18/16/10(可补 12/14/20),C 26/24/20(可补 4/6/10)。

六、易混淆对照

容易混的两项区别什么时候用哪个
成功率 vs 采纳率成功率是"任务完成",采纳率是"建议被接受"建议档看采纳率,执行档看成功率
接管率 vs 返工率接管是频率,返工是成本判断体验看接管率,判断经济看返工率
压缩率 vs 节省率前者只看人,后者含系统成本对外讲价值用节省率,对内排期用压缩率
人机耗时 vs 人工耗时前者含机器时间只有后者能进成本
档位 vs 能力档位是责任,能力是可能性永远按责任定档

七、使用约定

  1. 本表未定义的指标,正文不得使用。
  2. 同一指标在不同章节出现时,口径必须一致;如需变体,必须显式说明"本节口径与附录 A 不同,因为……"。
  3. 任何比率引用都必须带分母。
  4. 三案例之外的数字不得进入正文。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图