《AI Agent 产品开发·交互、信任与上线》附录 B 三案例上线事实表

卷二使用的三案例上线事实表:每家的交互形态、可见性级别、可打断与撤销范围、审批点位置、失败态与降级阶梯、异步与通知设计,以及影子、试点、放量各阶段的门槛与退出条件,正文所有上线数字以本表为唯一来源,可直接用于一次上线评审前的设计与数据核对。

本附录是卷二数字的唯一来源。它不新增第四家案例,也不改变卷一已经给出的任何金额、工时与比率。

所有数字为教学设定值,不代表任何真实公司或真实报价。

一、三案例的上线起点

A RelayB QuillC Runner
公司(虚构)Northwind(B2B SaaS)Meridian(咨询机构)Kettle(电商)
自主档建议草稿执行
月任务量26,400 单606 份13,200 个
人工基线3.5 分钟/单252 分钟/份18 分钟/个
Agent 后人工耗时0.75 分钟/单96 分钟/份4.04 分钟/个
使用人数支持团队 9 人咨询团队 15 人运营团队 24 人

这三个数字(任务量、人工基线、人工耗时)来自卷一附录 B,本卷不再重复推导。

二、形态与可见性

项A RelayB QuillC Runner
交互形态嵌入(工单页侧栏)嵌入(报告编辑器)后台 + 任务中心
用户在哪遇到它打开工单时开始写报告时结果页与通知
可见性级别L2 依据L1 步骤L3 全程
展示内容队列建议 + 三条依据字段生成进度 + 已完成章节动作列表 + 依据 + 可回放
不展示的内容内部打分与置信度中间草稿版本模型的推理过程

可见性级别按附录 A 的四级定义(L0 结果、L1 步骤、L2 依据、L3 全程)。

为什么不是全部 L3:A 的用户每天处理上百单,L3 的阅读成本会直接吃掉节省下来的时间;B 的用户需要读全文,多给过程信息等于干扰;C 的动作有副作用,事后必须能完整重建,所以只能给 L3。

三、控制与撤销

项A RelayB QuillC Runner
停止语义中止(建议未落库)暂停(可继续)暂停 + 回滚
可打断点生成过程中每章生成后每个动作批次之间
运行中纠偏重新生成(换队列)指定章节重写跳过当前动作
撤销对象不采纳回退到上一版反向执行动作
撤销时间窗无(未落库)发布前不限动作后 30 分钟内
不可撤销的动作无已发出的报告已发出的客户通知
补偿动作无补发更正说明补发说明 + 人工回访

C 的动作里 86% 可回滚,其余 14% 为已发出的通知类动作。这个比例决定了 C 的撤销设计必须做补偿,而不能只做反向执行。

四、审批与授权

项A RelayB QuillC Runner
审批点数量0(采纳即生效)1(发布前)按风险分层,低风险无审批
审批位置—报告发出之前不可逆动作之前
审批人—报告负责人运营主管
转授权无组长可代批主管可授权到值班人
审批疲劳信号不适用驳回理由重复率通过率接近 100%

A 没有审批点,是因为建议档的风险由"人采纳"这一步承担;这不等于 A 不需要控制,它的控制手段是采纳前必须看到依据(L2)。

五、信任设计

项A RelayB QuillC Runner
可追溯粒度每个建议指向 3 条输入字段每段结论指向数据包条目每个动作指向规则与输入快照
解释层次结论 + 依据结论 + 依据结论 + 依据 + 过程
主要失败态分错队列(可发现)事实错误(难发现)动作错误(可回滚)
降级阶梯全量 → 人工分诊全量 → 模板草稿 → 人工执行 → 审批 → 人工
能力边界表达采纳率 78%、正确率 91.4%一次采纳率 63%自动完成率 78%

失败态共六种(没做、做错、做了一半、做了但没报告、报告了但没做、做了不该做的)。三案例各自的高发失败态不同,界面设计也应不同:A 要突出"分到别的队列",B 要突出"引用对不上",C 要突出"做了不该做的"。

六、异步与通知

项A RelayB QuillC Runner
同步 / 异步同步(秒级返回)异步(分钟级)异步(小时级批次)
承诺内容无预计完成时间 + 失败重试批次开始时给出预计时长
完成回执结果直接在界面编辑器内提示任务中心 + 通知
通知渠道无应用内应用内 + 邮件
通知预算不适用每份报告 1 次每批次 1 次,异常另计
升级条件不适用连续两次生成失败连续 3 个动作失败或触发回滚

七、上线与放量

7.1 A Relay

阶段覆盖时长退出条件
试点10% 工单3 周采纳率 ≥ 70%,错误率 ≤ 4%
扩大40% 工单4 周采纳率 ≥ 75%,错误率 ≤ 3%
全量100%—连续 4 周达标

7.2 B Quill

阶段覆盖时长退出条件
试点2 个客户组(约 12% 报告)6 周返工率 ≤ 15%,事实错误 ≤ 7%
扩大6 个客户组(约 45%)8 周返工率 ≤ 12%,事实错误 ≤ 5%
全量100%—连续 8 周达标

7.3 C Runner

阶段覆盖时长退出条件
影子100% 只记录不执行4 周与人工决策一致率 ≥ 85%
执行 5%低风险动作4 周错误率 ≤ 2%,零不可回滚错误
执行 20%加中风险动作8 周错误率 ≤ 1.8%,回滚成功率 100%
执行 60%不含高风险动作—连续 8 周达标

三家都没有在全量阶段放高风险动作:A 的优先级调整仍需人工确认,B 的对外发送仍需负责人批准,C 的高风险动作始终留在审批档。

八、质量与反馈

项A RelayB QuillC Runner
主要采纳指标采纳率 78%一次采纳率 63%自动完成率 78%
主要质量指标分诊正确率 91.4%事实错误率 4.6%审计发现错误率 1.7%
抽检比例全量(人本来就逐单看)20% 抽样复核8% 审计抽检
单次复核成本已含在 0.75 分钟约 12 分钟12 分钟
反馈主渠道采纳 / 改队列改稿痕迹审计标记 + 转人工

九、口径公式

撤销覆盖率   = 可撤销动作数 ÷ 已执行动作总数
风险暴露量   = 覆盖用户数 × 高风险动作占比 × 不可逆比例
审批疲劳指数 = 审批通过率 ÷ 平均审批秒数 × 1000
抽检成本     = 抽检率 × 单次复核分钟 × 月任务量 ÷ 60 × 30
通知超发率   = 实际通知数 ÷ 通知预算

以 C 为例:错误率 1.7%,其中 86% 可回滚,不可回滚错误率 = 1.7% × 14% = 0.238%。这个数决定放量能否继续——超过门槛时,回滚阈值必须先触发,而不是先看节省率。

十、禁用与易错清单

  1. 不得新增第四家案例,不得改变卷一的金额、工时与比率。
  2. 不得把"可见性越高越好"当作结论:L3 的阅读成本必须计入人工耗时。
  3. 不得把停止统一写成"停止":暂停、中止、回滚是三种语义。
  4. 撤销必须同时给出可撤动作、时间窗、补偿三件,缺一不算撤销。
  5. 审批点设在不可逆动作之前,不得按步骤均匀分布。
  6. 放量单位是风险暴露量,不是用户数。
  7. 影子阶段只能记录,不得"顺便执行一点点"。
  8. 回滚阈值必须在放量之前写好,事后补写的阈值不算阈值。
  9. 三卷之间不另设第二套数字;与《AI 产品的商业化》三案例无关,不得混用。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图