《AI Agent 产品开发·任务定义与能力边界》附录 C 任务定义评审清单

卷一使用的 15 项任务定义评审:每项给出 0/1/2 三档的判断锚点,以及三案例的逐项得分与合计(A 22、B 18、C 26),并说明共同短板与补分路径;表中的 0 分项按规则必须在上线前解决,末尾给出每一家的优先补分顺序,可直接拿来做一次产品定义评审。

本附录是卷一的评审工具:15 项,每项 0/1/2 分,单卷满分 30。

全书的评审共 45 项,分三卷,卷一只用第 1–15 项。卷三第 13 章会汇总三卷得分并与 72 分通过线对照。

一、怎么打

  • 由三人独立打分再对齐:产品负责人、领域专家、工程负责人。一人打分不算评审。
  • 每项只回答"有没有",不回答"好不好"。好不好已经在 2 分的定义里了。
  • 0 分表示"完全没有",不是"做得差"。差但有,给 1 分。
  • 打完先看有没有 0 分项——0 分项必须在上线前解决,不参与补分权衡。

二、15 项

#项0 分1 分2 分
1任务边界说不清做什么能说做什么,说不清不做什么一句话说清做什么与不做什么
2用户与场景不知道谁用知道角色,不知道频次明确到岗位与频次
3输入清单没有清单只列了用户给的用户给、系统给、禁止用三类齐全
4输出形态没想过知道是答案/草稿/动作之一形态明确且说明为什么不能混
5可判定验收只有主观标准有标准但依赖个人判断至少两条可机器或独立人工判定
6自主度档位没定档定了档但没有依据有档位且有定档依据与例外说明
7决策权分配不知道谁决定知道谁决定,不知道谁兜底提出/确认/否决/兜底四权落到角色
8接管成本没估过知道要多久,没有数有估值且纳入产品决策
9工具与权限面没列列了数据,没列动作数据与动作都有清单,分只读/受限/完全
10记忆口径没想过知道要记什么记什么、记多久、怎么删三件齐备
11失败模式只想到"会出错"列出两三种至少四种,各有识别信号与对策
12预期管理用"最强 AI"介绍有简单说明能做/不能做/不确定时怎么办三段齐全
13冷启动路径等数据够了再做有路径但没有周期估算路径、成本、周期都有,且有第一次价值设计
14任务度量只看满意度有成功率成功率/接管率/返工率/人机耗时比齐全
15基线数字没有基线有基线但出处不明基线有出处且可复算

三、三案例逐项得分

#项A RelayB QuillC Runner
1任务边界222
2用户与场景222
3输入清单222
4输出形态222
5可判定验收212
6自主度档位112
7决策权分配212
8接管成本111
9工具与权限面102
10记忆口径102
11失败模式122
12预期管理001
13冷启动路径111
14任务度量211
15基线数字222
合计22/3018/3026/30

四、逐项解读

第 5 项(可判定验收)B 只有 1 分。 报告"好不好"有一部分是主观的,B 只能用"数据一致 + 结构符合模板"做硬性判定,再加抽样判断结论是否有引用支持。这是草稿档的固有代价,不是执行问题。

第 6 项(自主度档位)A 与 B 只有 1 分。 两家都定对了档位,但都没写下"为什么是这个档"的例外说明。A 的降档理由在组织,B 的降档理由在产出属性,这两条不写下来,下次换人就守不住。

第 7 项(决策权分配)B 只有 1 分。 草稿档的"谁决定发布"是清楚的,但"谁对事实错误负责"没有落到具体角色——审改人负责修改,但错误本身的责任归属模糊。

第 8 项(接管成本)三家都只有 1 分。 三家都知道接管要多久,但没有一家把接管成本写进产品决策。这是全卷最普遍的问题:接管成本不进决策,档位就会越定越高。

第 9 项(工具与权限面)A 得 1 分、B 得 0 分。 A 列了能读哪些数据,但没列能做哪些动作(因为建议档确实没有动作,然而"没有动作"也应当写明)。B 完全没有清单——它的输入是文件,输出是文件,看起来"没什么权限",但文件读取范围本身就是一个权限面。

第 10 项(记忆口径)A 得 1 分、B 得 0 分。 A 知道要用客户历史,但没定义保留期与删除方式。B 完全没设计记忆,每次从零开始——这在报告起草里可以接受,但意味着它无法积累客户偏好。

第 11 项(失败模式)A 只有 1 分。 A 列出了分诊错误,但没有区分"错到别的队列"(可发现)和"错在优先级"(难发现)这两类。后者才是真正的风险。

第 12 项(预期管理)A 与 B 都是 0 分。 两家都用了"智能分诊"“智能报告"这类介绍,没有告诉用户"它不确定时会怎样”。这一项是 0 分项,按规则必须在上线前解决。

第 13 项(冷启动路径)三家都只有 1 分。 三家都有起步路径,但都没有估算周期,也没有设计"第一次价值时刻"。这意味着上线初期没有明确的成功判据。

第 14 项(任务度量)B 与 C 只有 1 分。 B 只统计了生成耗时,没统计审改后的返工与事实错误;C 只统计了自动完成率,没统计审计摊销与转人工。两者都会低估真实人工成本。

五、共同短板

第 8 项、第 13 项三家同时只有 1 分,说明这是方法层面的缺口,不是执行问题:

  • 接管成本不进决策,档位就会因为"看起来能做"而不断上调;
  • 冷启动没有第一次价值设计,上线初期就没有可判定的成功标准,团队会用"感觉还行"替代验收。

这两项是卷一最值得优先补的。

六、补分路径

可补分 = 30 − 卷得分:

案例卷得分可补分优先补哪几项
A Relay228第 12 项(0 分)、第 6/7/8/9/10/11/13 项各 1 分
B Quill1812第 9/10/12 项(0 分)、第 5/6/7/8/13/14 项各 1 分
C Runner264第 8/12/13/14 项各 1 分

补分不是均匀发力。先补 0 分项,再补"补一档就能到 2 分"的项。A 的第 12 项补到 2 分只需写三段能力说明,是投入产出比最高的一处。

七、与全书 45 项的关系

卷一这 15 项全部是"定义"类检查:任务、输入、输出、档位、责任、度量、基线。

卷二第 16–30 项检查"信任与上线":形态、可见性、打断、撤销、审批、降级、试点、放量、反馈。

卷三第 31–45 项检查"组织与规模化":组合、复用、平台、流程、采购、责任、依赖、成本、定位、成熟度。

三卷合计 90 分,通过线 72。三案例当前得分 52 / 44 / 70,全部未通过——这个结果会在卷三第 13 章展开。

八、使用建议

  1. 第一次打分不要追求准确,先看有没有 0 分项。
  2. 三项都打 0 分以上的团队,下一轮再讨论权重。
  3. 评分表要存档,下一次评审对比变化,而不是重新打一遍。
  4. 不要把这张表当 KPI。它的用途是找缺口,不是排名。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图