本附录定义卷二出现的术语与指标。卷一已经定义的词(任务、档位、人工基线、节省率)不重复解释,只在这里补充它们在交互层的含义。
所有比例与阈值都可以用附录 B 的三案例上线事实表复算。
一、交互形态
形态
Agent 出现在用户工作流的哪个位置。本书只讨论四种:
| 形态 | 定义 | 用户在哪遇到它 |
|---|---|---|
| 对话 | 独立会话窗口,用户主动发起 | 一个单独的聊天界面 |
| 嵌入 | 存在于既有工作界面的一角 | 工单页、编辑器、表格 |
| 后台 | 无固定界面,按事件触发 | 通知、结果页、审计日志 |
| 混合 | 后端执行 + 前端一个可展开的入口 | 侧边栏、任务中心 |
形态不是 UI 风格,是责任发生的位置。它决定了用户在哪里发现错误、在哪里打断、在哪里追责。
形态的代价
每种形态都要付出三项成本之一:注意力成本(用户得去看)、切换成本(用户得离开当前界面)、追查成本(用户得事后找记录)。
四形态的代价分布不同,选形态等于选"哪一项成本由谁承担"。第 1 章给出完整代价表。
二、可见性与控制
可见性分级
用户能看到 Agent 工作的哪个粒度。本书用四级:
| 级别 | 用户看到 | 适用 |
|---|---|---|
| L0 结果 | 只有最终输出 | 低风险、可快速验证 |
| L1 步骤 | 做了什么动作 | 中等风险 |
| L2 依据 | 每一步用了什么数据 | 结论需要复核 |
| L3 全程 | 步骤、依据、判断、可回放 | 执行档与审计要求 |
可见性不是越高越好。L3 的成本是用户要读很多东西,多数时候用户不会读。分级的意义是按风险给到够用的那一级。
可打断点
Agent 运行过程中,用户可以安全介入的时间点。可打断点必须是设计出来的,不是"随时可以按停止"。
一个可打断点的三要素:当前状态可保存、已执行动作可枚举、停止后不留下半完成状态。
停止语义
按下停止之后发生什么。三种语义不能混用:
- 暂停:保留状态,可继续;
- 中止:放弃当前任务,已执行动作保留;
- 回滚:放弃并撤销已执行动作。
界面上写"停止"而不说明是哪一种,等于没有停止。
纠偏
在运行中改变 Agent 的方向,而不必从头重来。纠偏的最小要求是:用户能指定"哪一步错了",Agent 能从该步之后重新规划。
撤销半径
一次撤销能覆盖的范围,由三项决定:
撤销半径 = 可撤销动作集合 × 时间窗 × 补偿能力
- 可撤销动作:能直接反向执行的动作(改价改回去);
- 时间窗:多久之内还能撤(对外通知发出后通常不可撤);
- 补偿:撤不回来时用什么动作抵消(补发说明、退款)。
三者缺一,撤销都会名不副实。
补偿动作
不可逆动作的替代方案。它的成本必须计入接管成本,不能当作"事后处理"忽略。
三、审批与授权
审批点
需要人明确同意才能继续的位置。审批点应设在不可逆动作之前,而不是每一步。
审批疲劳
审批点过多导致的机械同意。可观测信号:审批通过率接近 100%、平均审批时长低于 3 秒、驳回理由重复。
审批疲劳一旦出现,审批就从控制变成了免责手续。
授权与转授权
把某个范围内的决定权交给 Agent 或另一个人。转授权必须同时说明:范围、期限、可撤回性、责任归属。四者缺一,授权就是推责。
四、信任
可追溯
能从结论回到依据。最小要求是每个关键结论都能指向一条具体输入,而不是"根据历史数据"。
解释层次
解释的三种粒度,对应三类问题:
| 层次 | 回答的问题 | 消费者 |
|---|---|---|
| 结论层 | 它说了什么 | 普通用户 |
| 依据层 | 它凭什么这么说 | 需要复核的人 |
| 过程层 | 它怎么走到这一步 | 审计与工程 |
三层不能互相替代。只给结论层的解释,复核者无法判断;只给过程层的解释,普通用户不会读。
失败态
Agent 出错时的表现形态。本书区分六种:没做、做错、做了一半、做了但没报告、报告了但没做、做了不该做的。六种需要不同的界面与不同的兜底动作。
降级阶梯
能力受限时的逐级退让路径。典型四阶:全自动 → 建议 → 转人工 → 明确拒绝并给出下一步。降级必须是有序的,不能从全自动直接跳到"系统错误"。
五、异步与通知
异步契约
长任务开始前对用户的承诺:预计多久、完成时怎么通知、失败时怎么告知、中途能不能停。
回执
任务结束时给用户的确认,包含:做了什么、结果在哪、下一步是什么。没有回执的异步任务,用户无法判断它是否完成。
通知预算
单位时间内允许打扰用户的次数。它由三部分组成:事件重要性、用户当前状态、渠道成本。超出预算的通知会被降级或合并。
升级
Agent 判断自己处理不了时,主动找人接手。升级要带三样:已完成的部分、卡住的原因、建议的下一步。
六、上线与放量
影子模式
Agent 只记录判断与拟执行动作,不真正执行。它用于在零风险条件下对比人机决策差异。
试点
在受限范围内真实执行。试点范围的选择标准是风险同质,不是"找几个愿意配合的团队"。
风险暴露量
放量的真实单位:
风险暴露量 = 覆盖用户数 × 单用户高风险动作占比 × 动作不可逆比例
用户数只是分母的一部分。10% 的用户如果全在做高风险动作,暴露量可能超过 100% 的用户在做低风险动作。
放量上限
某一阶段允许的最大覆盖比例,按风险分层给出,不按用户数平均给。
回滚阈值
触发回滚的量化条件。它必须是可观测的,且必须在放量之前写好。“感觉不对就回滚"不是阈值。
七、反馈与质量
三种反馈
显式(用户主动评价)、隐式(用户改了什么、跳过什么)、投诉(用户找人说)。三者的信噪比与覆盖率不同,不能只取一种。
抽检率
从 Agent 产出中随机抽取人工复核的比例。抽检率决定审计成本,也决定问题被发现的速度。
质量节奏
质量运营的固定动作与周期:日看异常、周看抽检、月看趋势。节奏比指标更重要,没有节奏的指标不会有人看。
八、口径公式
风险暴露量 = 覆盖用户数 × 高风险动作占比 × 不可逆比例
撤销覆盖率 = 可撤销动作数 ÷ 已执行动作总数
审批疲劳指数 = 审批通过率 × (1 ÷ 平均审批秒数) × 1000
抽检成本 = 抽检率 × 单次复核分钟 × 月任务量 ÷ 60 × 30
通知超发率 = 实际通知数 ÷ 通知预算
这些公式不追求精确,用途是让"感觉"变成可以争论的数。
九、使用提醒
- 卷二的所有指标都依赖卷一的档位。档位没定,可见性与放量上限都无从谈起。
- 阈值是给团队自己用的,不是给外部看的。写给别人看的阈值会被优化,写给自己看的阈值才会被遵守。
- 同一指标在三个案例上的含义不同:A 看采纳率,B 看返工率,C 看不可回滚错误率。跨案例比较前先确认口径。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。