本附录是卷二的评审工具:15 项,每项 0/1/2 分,单卷满分 30。
全书共 45 项,卷二是第 16–30 项。卷三第 13 章会汇总三卷得分,与 72 分通过线对照。
一、怎么打
- 打分者与卷一相同:产品负责人、设计负责人、工程负责人三人独立打分再对齐。
- 这一卷的评审必须在真实用户面前做,不能只对着设计稿。可见性、打断、撤销的评分依赖用户行为数据。
- 0 分表示"完全没有",不是"做得差"。差但有,给 1 分。
- 任何 0 分项都必须在放量之前解决,不参与补分权衡。
二、15 项
| # | 项 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|---|
| 16 | 交互形态 | 随手选了对话框 | 选了形态但没有依据 | 有形态、有代价说明、有用户路径 |
| 17 | 过程可见 | 只给最终结果 | 能看到步骤但级别未定义 | 按风险匹配可见性等级 |
| 18 | 可打断 | 不能停 | 能停但状态丢失 | 至少两个可打断点,停止语义分清 |
| 19 | 纠偏 | 只能从头再来 | 能改但需重启任务 | 能指定步骤并从此处重规划 |
| 20 | 可撤销 | 没有撤销 | 只能反悔一次 | 可撤动作、时间窗、补偿三件齐全 |
| 21 | 审批设计 | 没有审批 | 有审批但按步骤均匀布置 | 只设在不可逆动作之前,且不疲劳 |
| 22 | 来源可追溯 | 说不清依据 | 部分结论可追 | 每个关键结论都能指向具体输入 |
| 23 | 解释分层 | 只有一句免责声明 | 有结论层解释 | 结论、依据、过程三层按角色给 |
| 24 | 失败态体验 | 统一报"出错了" | 区分了成功与失败 | 六种失败各有界面与兜底 |
| 25 | 降级阶梯 | 出错就全停 | 能退回人工 | 至少三级且逐级有序 |
| 26 | 异步交付 | 没有承诺 | 有预计时间 | 承诺、回执、失败告知齐全 |
| 27 | 通知预算 | 想到就发 | 有频率限制 | 按重要性、状态、渠道三者计算 |
| 28 | 试点设计 | 直接全量 | 做过小范围试用 | 有影子对比与明确退出条件 |
| 29 | 放量规则 | 没有阈值 | 有阈值但没有演练 | 分层上限且回滚演练过 |
| 30 | 反馈闭环 | 没有反馈入口 | 只有显式评价 | 显式、隐式、投诉三类都有 |
三、三案例逐项得分
| # | 项 | A Relay | B Quill | C Runner |
|---|---|---|---|---|
| 16 | 交互形态 | 2 | 2 | 2 |
| 17 | 过程可见 | 2 | 1 | 2 |
| 18 | 可打断 | 1 | 1 | 2 |
| 19 | 纠偏 | 1 | 0 | 2 |
| 20 | 可撤销 | 1 | 1 | 2 |
| 21 | 审批设计 | 1 | 2 | 1 |
| 22 | 来源可追溯 | 2 | 1 | 2 |
| 23 | 解释分层 | 0 | 1 | 1 |
| 24 | 失败态体验 | 2 | 2 | 2 |
| 25 | 降级阶梯 | 1 | 1 | 1 |
| 26 | 异步交付 | 2 | 1 | 2 |
| 27 | 通知预算 | 0 | 1 | 1 |
| 28 | 试点设计 | 1 | 0 | 2 |
| 29 | 放量规则 | 1 | 1 | 0 |
| 30 | 反馈闭环 | 1 | 1 | 2 |
| 合计 | 18/30 | 16/30 | 24/30 |
四、逐项解读
第 19 项(纠偏)B 是 0 分。 报告生成一旦开始,B 只能等它跑完或整体取消,不能在"写到第三章发现数据用错"时从第三章重来。这是草稿档最贵的一个缺口:它的返工率 9% 里,有相当一部分来自方向性错误而不是细节错误。
第 23 项(解释分层)A 是 0 分。 A 在界面上只显示"建议分到 billing 队列",不说明依据。这让 78% 的采纳率看起来很健康,但 22% 的未采纳里,用户说不出"它哪里想错了",反馈无法回流。
第 27 项(通知预算)A 是 0 分。 A 是同步返回,看起来不需要通知;但它每天处理 1,200 单,一旦出现队列积压或批量错误,没有任何主动告知机制。这不是"不需要通知",是"没想过什么时候需要"。
第 28 项(试点设计)B 是 0 分。 B 的试点是"找两个愿意配合的客户组试用",不是影子对比。问题在于:B 无法在零风险条件下度量"如果 Agent 独立做,会不会和人工得出不同结论",所以试点结束时的返工率只能反映"人改了多少",不能反映"Agent 错在哪"。
第 29 项(放量规则)C 是 0 分。 C 的放量表写得很细(影子 4 周、5% / 20% / 60% 三档),但回滚从未演练过。按卷二的判断标准,没演练过的回滚不算回滚。C 的不可回滚错误率 0.238% 看似很低,一旦发生,团队不知道谁在多久内做什么。
第 21 项(审批设计)A 与 C 只有 1 分。 A 没有审批点,风险由"人采纳"承担,这本身合理,但采纳前的依据展示不到位,等于审批缺了一环;C 有分层审批,却没有监测审批是否已经变成形式。
第 25 项(降级阶梯)三家都只有 1 分。 三家都能退回人工,但降级路径是"全自动 → 人工"一步到位,中间没有"建议"这一级。结果是:一旦触发降级,用户直接失去全部辅助。
五、共同短板
第 25 项三家同时只有 1 分,说明这是方法层面的缺口:降级只有两级,降级等于失去全部能力,团队会因此不敢触发降级。
与之配套的是审批:只设计按钮,不观测"按钮是否还有用",控制机制会在半年内失效。
控制机制本身需要被观测,这是卷二最容易被跳过的一步。
六、补分路径
可补分 = 30 − 卷得分:
| 案例 | 卷得分 | 可补分 | 优先补哪几项 |
|---|---|---|---|
| A Relay | 18 | 12 | 第 23、27 项(0 分)、第 18/19/20/21/25/28/29/30 项各 1 分 |
| B Quill | 16 | 14 | 第 19、28 项(0 分)、第 17/18/20/22/23/25/26/27/29/30 项各 1 分 |
| C Runner | 24 | 6 | 第 29 项(0 分)、第 21/23/25/27 项各 1 分 |
先补 0 分项。A 的第 23 项(补一段结论依据)与第 27 项(定义三类通知)成本最低,各半天即可完成;B 的第 19 项需要改生成流程,是这三家里最贵的一处,但它同时会降低返工率。
七、与前后两卷的接口
- 卷一第 1–15 项管"定义",卷二第 16–30 项管"敢不敢用",卷三第 31–45 项管"能不能复制"。
- 卷二的评分依赖卷一的档位。同一个用户界面,建议档和执行档的要求完全不同,跨档比较分数没有意义。
- 卷二得分低于 20 分(满分 30)时,不建议进入全量放量;这一条在卷二第 13 章的上线基线里会再出现一次。
八、使用建议
- 打分前先跑一遍真实任务,用录像或日志看用户是否真的用了那些控制。
- 0 分项列成清单,指定责任人与期限,不要写进"后续优化"。
- 三个月后重打一次。分数上升不一定是改进,也可能是标准变松——同时看 0 分项数量。
- 这张表不用于考核个人。它衡量的是产品,不是团队。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。