本附录定义卷一出现的核心术语与指标。正文使用这些词时,以本表的口径为准;同一概念不在别处另设定义。
所有指标都可以用附录 B 的三案例数字复算。
一、产品与任务
Agent 产品
满足四条线、且有明确责任分配的产品:多步自主、工具调用、状态延续、可观察失败。缺任意一条,它更接近"带模型的功能",而不是 Agent 产品。
四条线的判定在第 1 章 1.1 给出。
任务
一段有明确起点和终点的工作,能回答三个问题:输入是什么、输出是什么、怎么判断做完了。
任务的粒度决定一切后续设计。“处理客户问题"不是任务,“把新工单分到 8 个队列之一并给出优先级"才是。
任务规格
把任务写成可校验的四要素:输入清单、输出形态、验收标准、代价上限。四要素缺一,不能进入开发。
可判定验收
能被机器或人独立判定、且判定成本可接受的标准。“好"不是可判定标准,“分诊队列正确且首响模板编号在允许集合内"是可判定标准。
接管
人从 Agent 手里把任务接回来继续做。接管不等于失败——它是设计的一部分。
返工
接管之后发现 Agent 的产出无法复用,需要重做。返工率衡量的是"接管的成本”,不是"接管的频率”。
二、自主度
自主度
Agent 在一段工作中承担到哪一步。本书用四档描述。
| 档位 | 机器做什么 | 人做什么 | 典型产品 |
|---|---|---|---|
| 建议 | 给出选项或结论 | 决定采不采纳 | A Relay |
| 草稿 | 产出可用的初稿 | 审改后发布 | B Quill |
| 审批 | 准备并请求执行 | 批准或拒绝 | 高风险写操作 |
| 执行 | 直接执行 | 事后审计 | C Runner |
档位不是能力等级,是责任等级。 一个任务能做执行档,不代表应该放到执行档。
定档四维
错误代价、可回滚性、审计有效性、时延容忍。每维 0–2 分,满分 8:
总分 ≥ 7 → 可执行档
总分 5–6 → 审批档
总分 3–4 → 草稿档
总分 ≤ 2 → 建议档
分数只回答"能不能”,不回答"该不该”。组织接受度是分数之外的一条线,第 6 章 6.2 有完整说明。
组织接受度
团队是否愿意让某个决定离开人。它不由任务属性决定,由责任归属、对外承诺和历史事故决定。
三、时间与成本
人工基线
引入 Agent 之前,完成一个任务需要的人员工时。单位:分钟/任务。
人机耗时
引入 Agent 之后,机器耗时与人工耗时之和。注意:报告"节省"时不能用人机耗时做分子。
人工耗时
引入 Agent 之后,人仍然需要投入的工时。它包含:确认、审改、审计、转人工接手。
压缩率
压缩率 = (人工基线 − 人工耗时) ÷ 人工基线
衡量"人的工作量减少了多少"。三案例:A 78.6%、B 61.9%、C 77.6%。
系统成本
模型调用 + 基础设施 + 维护摊销。不含人工,不含一次性投入。
节省率
节省率 = (纯人工月成本 − 新人工月成本 − 月系统成本) ÷ 纯人工月成本
衡量"这件事在经济上值不值得"。三案例:A 75.0%、B 58.5%、C 73.7%。
压缩率与节省率不是一回事,差异来自系统成本与量级。第 12 章 12.2 会专门讲这个混用会造成的误判。
系统成本占比
系统成本占比 = 月系统成本 ÷ 纯人工月成本
三案例:A 0.97%、B 0.25%、C 0.80%。这个数很低,正是"值得做"的经济基础,也是第 12 章要提醒的"不要盯着一个很小的分母做优化"。
四、质量指标
成功率
Agent 独立完成且不需要人工接手的比例。分母是全部任务,不是"被 Agent 处理的任务"。
接管率
需要人工接手的比例。接管率与成功率互补,但两者都不说明接手的成本。
返工率
接管后需要重做(改动超过 50%)的比例。返工率是接管率的"质量版本"。
采纳率
建议被直接采纳的比例。只适用于建议档与草稿档。
错误率
经过验收后被判定为错误的比例。错误率必须说明判定方式:机器判定、人工抽查、还是客户投诉。
不可回滚错误率
错误中无法自动回滚的比例。三案例中只有 C 需要单独统计:1.7% × 14% = 0.238%。
五、评审
45 项评审
全书三卷各 15 项,每项 0/1/2 分,单卷满分 30,全书满分 90,通过线 72。
卷得分与可补分
卷得分是该卷 15 项之和。可补分 = 30 − 卷得分,表示这一卷还有多少提升空间。
三案例:A 22/18/12(可补 8/12/18),B 18/16/10(可补 12/14/20),C 26/24/20(可补 4/6/10)。
六、易混淆对照
| 容易混的两项 | 区别 | 什么时候用哪个 |
|---|---|---|
| 成功率 vs 采纳率 | 成功率是"任务完成",采纳率是"建议被接受" | 建议档看采纳率,执行档看成功率 |
| 接管率 vs 返工率 | 接管是频率,返工是成本 | 判断体验看接管率,判断经济看返工率 |
| 压缩率 vs 节省率 | 前者只看人,后者含系统成本 | 对外讲价值用节省率,对内排期用压缩率 |
| 人机耗时 vs 人工耗时 | 前者含机器时间 | 只有后者能进成本 |
| 档位 vs 能力 | 档位是责任,能力是可能性 | 永远按责任定档 |
七、使用约定
- 本表未定义的指标,正文不得使用。
- 同一指标在不同章节出现时,口径必须一致;如需变体,必须显式说明"本节口径与附录 A 不同,因为……"。
- 任何比率引用都必须带分母。
- 三案例之外的数字不得进入正文。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。