《AI Agent 产品开发·交互、信任与上线》附录 C 交互与上线评审清单

卷二使用的 15 项交互与上线评审(全书第 16–30 项):每项给出 0/1/2 三档判断锚点,以及三案例的逐项得分与合计(A 18、B 16、C 24),并说明两家的 0 分项为何必须在上线前解决,附每一家的优先补分顺序,可直接用于一次上线前的自查与复盘。

本附录是卷二的评审工具:15 项,每项 0/1/2 分,单卷满分 30。

全书共 45 项,卷二是第 16–30 项。卷三第 13 章会汇总三卷得分,与 72 分通过线对照。

一、怎么打

  • 打分者与卷一相同:产品负责人、设计负责人、工程负责人三人独立打分再对齐。
  • 这一卷的评审必须在真实用户面前做,不能只对着设计稿。可见性、打断、撤销的评分依赖用户行为数据。
  • 0 分表示"完全没有",不是"做得差"。差但有,给 1 分。
  • 任何 0 分项都必须在放量之前解决,不参与补分权衡。

二、15 项

#项0 分1 分2 分
16交互形态随手选了对话框选了形态但没有依据有形态、有代价说明、有用户路径
17过程可见只给最终结果能看到步骤但级别未定义按风险匹配可见性等级
18可打断不能停能停但状态丢失至少两个可打断点,停止语义分清
19纠偏只能从头再来能改但需重启任务能指定步骤并从此处重规划
20可撤销没有撤销只能反悔一次可撤动作、时间窗、补偿三件齐全
21审批设计没有审批有审批但按步骤均匀布置只设在不可逆动作之前,且不疲劳
22来源可追溯说不清依据部分结论可追每个关键结论都能指向具体输入
23解释分层只有一句免责声明有结论层解释结论、依据、过程三层按角色给
24失败态体验统一报"出错了"区分了成功与失败六种失败各有界面与兜底
25降级阶梯出错就全停能退回人工至少三级且逐级有序
26异步交付没有承诺有预计时间承诺、回执、失败告知齐全
27通知预算想到就发有频率限制按重要性、状态、渠道三者计算
28试点设计直接全量做过小范围试用有影子对比与明确退出条件
29放量规则没有阈值有阈值但没有演练分层上限且回滚演练过
30反馈闭环没有反馈入口只有显式评价显式、隐式、投诉三类都有

三、三案例逐项得分

#项A RelayB QuillC Runner
16交互形态222
17过程可见212
18可打断112
19纠偏102
20可撤销112
21审批设计121
22来源可追溯212
23解释分层011
24失败态体验222
25降级阶梯111
26异步交付212
27通知预算011
28试点设计102
29放量规则110
30反馈闭环112
合计18/3016/3024/30

四、逐项解读

第 19 项(纠偏)B 是 0 分。 报告生成一旦开始,B 只能等它跑完或整体取消,不能在"写到第三章发现数据用错"时从第三章重来。这是草稿档最贵的一个缺口:它的返工率 9% 里,有相当一部分来自方向性错误而不是细节错误。

第 23 项(解释分层)A 是 0 分。 A 在界面上只显示"建议分到 billing 队列",不说明依据。这让 78% 的采纳率看起来很健康,但 22% 的未采纳里,用户说不出"它哪里想错了",反馈无法回流。

第 27 项(通知预算)A 是 0 分。 A 是同步返回,看起来不需要通知;但它每天处理 1,200 单,一旦出现队列积压或批量错误,没有任何主动告知机制。这不是"不需要通知",是"没想过什么时候需要"。

第 28 项(试点设计)B 是 0 分。 B 的试点是"找两个愿意配合的客户组试用",不是影子对比。问题在于:B 无法在零风险条件下度量"如果 Agent 独立做,会不会和人工得出不同结论",所以试点结束时的返工率只能反映"人改了多少",不能反映"Agent 错在哪"。

第 29 项(放量规则)C 是 0 分。 C 的放量表写得很细(影子 4 周、5% / 20% / 60% 三档),但回滚从未演练过。按卷二的判断标准,没演练过的回滚不算回滚。C 的不可回滚错误率 0.238% 看似很低,一旦发生,团队不知道谁在多久内做什么。

第 21 项(审批设计)A 与 C 只有 1 分。 A 没有审批点,风险由"人采纳"承担,这本身合理,但采纳前的依据展示不到位,等于审批缺了一环;C 有分层审批,却没有监测审批是否已经变成形式。

第 25 项(降级阶梯)三家都只有 1 分。 三家都能退回人工,但降级路径是"全自动 → 人工"一步到位,中间没有"建议"这一级。结果是:一旦触发降级,用户直接失去全部辅助。

五、共同短板

第 25 项三家同时只有 1 分,说明这是方法层面的缺口:降级只有两级,降级等于失去全部能力,团队会因此不敢触发降级。

与之配套的是审批:只设计按钮,不观测"按钮是否还有用",控制机制会在半年内失效。

控制机制本身需要被观测,这是卷二最容易被跳过的一步。

六、补分路径

可补分 = 30 − 卷得分:

案例卷得分可补分优先补哪几项
A Relay1812第 23、27 项(0 分)、第 18/19/20/21/25/28/29/30 项各 1 分
B Quill1614第 19、28 项(0 分)、第 17/18/20/22/23/25/26/27/29/30 项各 1 分
C Runner246第 29 项(0 分)、第 21/23/25/27 项各 1 分

先补 0 分项。A 的第 23 项(补一段结论依据)与第 27 项(定义三类通知)成本最低,各半天即可完成;B 的第 19 项需要改生成流程,是这三家里最贵的一处,但它同时会降低返工率。

七、与前后两卷的接口

  • 卷一第 1–15 项管"定义",卷二第 16–30 项管"敢不敢用",卷三第 31–45 项管"能不能复制"。
  • 卷二的评分依赖卷一的档位。同一个用户界面,建议档和执行档的要求完全不同,跨档比较分数没有意义。
  • 卷二得分低于 20 分(满分 30)时,不建议进入全量放量;这一条在卷二第 13 章的上线基线里会再出现一次。

八、使用建议

  1. 打分前先跑一遍真实任务,用录像或日志看用户是否真的用了那些控制。
  2. 0 分项列成清单,指定责任人与期限,不要写进"后续优化"。
  3. 三个月后重打一次。分数上升不一定是改进,也可能是标准变松——同时看 0 分项数量。
  4. 这张表不用于考核个人。它衡量的是产品,不是团队。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图