本附录是卷二数字的唯一来源。它不新增第四家案例,也不改变卷一已经给出的任何金额、工时与比率。
所有数字为教学设定值,不代表任何真实公司或真实报价。
一、三案例的上线起点
| A Relay | B Quill | C Runner | |
|---|---|---|---|
| 公司(虚构) | Northwind(B2B SaaS) | Meridian(咨询机构) | Kettle(电商) |
| 自主档 | 建议 | 草稿 | 执行 |
| 月任务量 | 26,400 单 | 606 份 | 13,200 个 |
| 人工基线 | 3.5 分钟/单 | 252 分钟/份 | 18 分钟/个 |
| Agent 后人工耗时 | 0.75 分钟/单 | 96 分钟/份 | 4.04 分钟/个 |
| 使用人数 | 支持团队 9 人 | 咨询团队 15 人 | 运营团队 24 人 |
这三个数字(任务量、人工基线、人工耗时)来自卷一附录 B,本卷不再重复推导。
二、形态与可见性
| 项 | A Relay | B Quill | C Runner |
|---|---|---|---|
| 交互形态 | 嵌入(工单页侧栏) | 嵌入(报告编辑器) | 后台 + 任务中心 |
| 用户在哪遇到它 | 打开工单时 | 开始写报告时 | 结果页与通知 |
| 可见性级别 | L2 依据 | L1 步骤 | L3 全程 |
| 展示内容 | 队列建议 + 三条依据字段 | 生成进度 + 已完成章节 | 动作列表 + 依据 + 可回放 |
| 不展示的内容 | 内部打分与置信度 | 中间草稿版本 | 模型的推理过程 |
可见性级别按附录 A 的四级定义(L0 结果、L1 步骤、L2 依据、L3 全程)。
为什么不是全部 L3:A 的用户每天处理上百单,L3 的阅读成本会直接吃掉节省下来的时间;B 的用户需要读全文,多给过程信息等于干扰;C 的动作有副作用,事后必须能完整重建,所以只能给 L3。
三、控制与撤销
| 项 | A Relay | B Quill | C Runner |
|---|---|---|---|
| 停止语义 | 中止(建议未落库) | 暂停(可继续) | 暂停 + 回滚 |
| 可打断点 | 生成过程中 | 每章生成后 | 每个动作批次之间 |
| 运行中纠偏 | 重新生成(换队列) | 指定章节重写 | 跳过当前动作 |
| 撤销对象 | 不采纳 | 回退到上一版 | 反向执行动作 |
| 撤销时间窗 | 无(未落库) | 发布前不限 | 动作后 30 分钟内 |
| 不可撤销的动作 | 无 | 已发出的报告 | 已发出的客户通知 |
| 补偿动作 | 无 | 补发更正说明 | 补发说明 + 人工回访 |
C 的动作里 86% 可回滚,其余 14% 为已发出的通知类动作。这个比例决定了 C 的撤销设计必须做补偿,而不能只做反向执行。
四、审批与授权
| 项 | A Relay | B Quill | C Runner |
|---|---|---|---|
| 审批点数量 | 0(采纳即生效) | 1(发布前) | 按风险分层,低风险无审批 |
| 审批位置 | — | 报告发出之前 | 不可逆动作之前 |
| 审批人 | — | 报告负责人 | 运营主管 |
| 转授权 | 无 | 组长可代批 | 主管可授权到值班人 |
| 审批疲劳信号 | 不适用 | 驳回理由重复率 | 通过率接近 100% |
A 没有审批点,是因为建议档的风险由"人采纳"这一步承担;这不等于 A 不需要控制,它的控制手段是采纳前必须看到依据(L2)。
五、信任设计
| 项 | A Relay | B Quill | C Runner |
|---|---|---|---|
| 可追溯粒度 | 每个建议指向 3 条输入字段 | 每段结论指向数据包条目 | 每个动作指向规则与输入快照 |
| 解释层次 | 结论 + 依据 | 结论 + 依据 | 结论 + 依据 + 过程 |
| 主要失败态 | 分错队列(可发现) | 事实错误(难发现) | 动作错误(可回滚) |
| 降级阶梯 | 全量 → 人工分诊 | 全量 → 模板草稿 → 人工 | 执行 → 审批 → 人工 |
| 能力边界表达 | 采纳率 78%、正确率 91.4% | 一次采纳率 63% | 自动完成率 78% |
失败态共六种(没做、做错、做了一半、做了但没报告、报告了但没做、做了不该做的)。三案例各自的高发失败态不同,界面设计也应不同:A 要突出"分到别的队列",B 要突出"引用对不上",C 要突出"做了不该做的"。
六、异步与通知
| 项 | A Relay | B Quill | C Runner |
|---|---|---|---|
| 同步 / 异步 | 同步(秒级返回) | 异步(分钟级) | 异步(小时级批次) |
| 承诺内容 | 无 | 预计完成时间 + 失败重试 | 批次开始时给出预计时长 |
| 完成回执 | 结果直接在界面 | 编辑器内提示 | 任务中心 + 通知 |
| 通知渠道 | 无 | 应用内 | 应用内 + 邮件 |
| 通知预算 | 不适用 | 每份报告 1 次 | 每批次 1 次,异常另计 |
| 升级条件 | 不适用 | 连续两次生成失败 | 连续 3 个动作失败或触发回滚 |
七、上线与放量
7.1 A Relay
| 阶段 | 覆盖 | 时长 | 退出条件 |
|---|---|---|---|
| 试点 | 10% 工单 | 3 周 | 采纳率 ≥ 70%,错误率 ≤ 4% |
| 扩大 | 40% 工单 | 4 周 | 采纳率 ≥ 75%,错误率 ≤ 3% |
| 全量 | 100% | — | 连续 4 周达标 |
7.2 B Quill
| 阶段 | 覆盖 | 时长 | 退出条件 |
|---|---|---|---|
| 试点 | 2 个客户组(约 12% 报告) | 6 周 | 返工率 ≤ 15%,事实错误 ≤ 7% |
| 扩大 | 6 个客户组(约 45%) | 8 周 | 返工率 ≤ 12%,事实错误 ≤ 5% |
| 全量 | 100% | — | 连续 8 周达标 |
7.3 C Runner
| 阶段 | 覆盖 | 时长 | 退出条件 |
|---|---|---|---|
| 影子 | 100% 只记录不执行 | 4 周 | 与人工决策一致率 ≥ 85% |
| 执行 5% | 低风险动作 | 4 周 | 错误率 ≤ 2%,零不可回滚错误 |
| 执行 20% | 加中风险动作 | 8 周 | 错误率 ≤ 1.8%,回滚成功率 100% |
| 执行 60% | 不含高风险动作 | — | 连续 8 周达标 |
三家都没有在全量阶段放高风险动作:A 的优先级调整仍需人工确认,B 的对外发送仍需负责人批准,C 的高风险动作始终留在审批档。
八、质量与反馈
| 项 | A Relay | B Quill | C Runner |
|---|---|---|---|
| 主要采纳指标 | 采纳率 78% | 一次采纳率 63% | 自动完成率 78% |
| 主要质量指标 | 分诊正确率 91.4% | 事实错误率 4.6% | 审计发现错误率 1.7% |
| 抽检比例 | 全量(人本来就逐单看) | 20% 抽样复核 | 8% 审计抽检 |
| 单次复核成本 | 已含在 0.75 分钟 | 约 12 分钟 | 12 分钟 |
| 反馈主渠道 | 采纳 / 改队列 | 改稿痕迹 | 审计标记 + 转人工 |
九、口径公式
撤销覆盖率 = 可撤销动作数 ÷ 已执行动作总数
风险暴露量 = 覆盖用户数 × 高风险动作占比 × 不可逆比例
审批疲劳指数 = 审批通过率 ÷ 平均审批秒数 × 1000
抽检成本 = 抽检率 × 单次复核分钟 × 月任务量 ÷ 60 × 30
通知超发率 = 实际通知数 ÷ 通知预算
以 C 为例:错误率 1.7%,其中 86% 可回滚,不可回滚错误率 = 1.7% × 14% = 0.238%。这个数决定放量能否继续——超过门槛时,回滚阈值必须先触发,而不是先看节省率。
十、禁用与易错清单
- 不得新增第四家案例,不得改变卷一的金额、工时与比率。
- 不得把"可见性越高越好"当作结论:L3 的阅读成本必须计入人工耗时。
- 不得把停止统一写成"停止":暂停、中止、回滚是三种语义。
- 撤销必须同时给出可撤动作、时间窗、补偿三件,缺一不算撤销。
- 审批点设在不可逆动作之前,不得按步骤均匀分布。
- 放量单位是风险暴露量,不是用户数。
- 影子阶段只能记录,不得"顺便执行一点点"。
- 回滚阈值必须在放量之前写好,事后补写的阈值不算阈值。
- 三卷之间不另设第二套数字;与《AI 产品的商业化》三案例无关,不得混用。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。