《AI Agent 产品开发·交互、信任与上线》13.2 15 项交互与上线评审

本节给出卷二 15 项交互与上线评审的完整表与三案例逐项得分(A 18、B 16、C 24),逐项说明每一处分数的扣分理由,指出三家共同短板是降级只有两级与审批缺乏观测,并给出补分顺序、20 分放量门槛、可运行的评审计分模型与三个月复评口径。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节把三家的上线基线与回滚阈值放在一起。这一节回答另一个问题:这些承诺由谁来检查、按什么标准打分、分数低到什么程度不能全量。

卷二使用 15 项评审,对应全书第 16–30 项。每项 0/1/2 分,单卷满分 30;0 分表示「完全没有」,不是「做得差」。三家的卷得分是 A Relay 18、B Quill 16、C Runner 24。A 与 B 低于 20 分这条全量建议线,C 高于它。

15 项评审表

#项0 分1 分2 分
16交互形态随手选了对话框选了形态但没有依据有形态、有代价说明、有用户路径
17过程可见只给最终结果能看到步骤但级别未定义按风险匹配可见性等级
18可打断不能停能停但状态丢失至少两个可打断点,停止语义分清
19纠偏只能从头再来能改但需重启任务能指定步骤并从此处重规划
20可撤销没有撤销只能反悔一次可撤动作、时间窗、补偿三件齐全
21审批设计没有审批有审批但按步骤均匀布置只设在不可逆动作之前,且不疲劳
22来源可追溯说不清依据部分结论可追每个关键结论都能指向具体输入
23解释分层只有一句免责声明有结论层解释结论、依据、过程三层按角色给
24失败态体验统一报「出错了」区分了成功与失败六种失败各有界面与兜底
25降级阶梯出错就全停能退回人工至少三级且逐级有序
26异步交付没有承诺有预计时间承诺、回执、失败告知齐全
27通知预算想到就发有频率限制按重要性、状态、渠道三者计算
28试点设计直接全量做过小范围试用有影子对比与明确退出条件
29放量规则没有阈值有阈值但没有演练分层上限且回滚演练过
30反馈闭环没有反馈入口只有显式评价显式、隐式、投诉三类都有

这张表不是能力清单,而是控制机制清单。它问的不是「Agent 会不会做」,而是「出事时人能不能接住」。所以 16–20 看用户能不能介入,21–23 看判断能不能被核对,24–27 看异常能不能被表达,28–30 看上线后能不能被修正。

三案例逐项得分

#项A RelayB QuillC Runner
16交互形态222
17过程可见212
18可打断112
19纠偏102
20可撤销112
21审批设计121
22来源可追溯212
23解释分层011
24失败态体验222
25降级阶梯111
26异步交付212
27通知预算011
28试点设计102
29放量规则110
30反馈闭环112
合计18/3016/3024/30

这组分数与附录 C 逐格一致,合计也必须与事实表 7.4 对齐。任何一格改动都要重算列合计,否则后面的补分路径会全部失真。

逐项说扣分理由

16 交互形态:三家都是 2 分。 A 用侧栏、B 用编辑器、C 用后台任务中心,都有形态选择依据、代价说明和用户路径。这一项满分不代表形态相同,而代表每家都说清了「为什么不是另一种」。

17 过程可见:A 2、B 1、C 2。 A 按风险给到 L2 依据,C 给到 L3 全程;B 能看到章节步骤,但没有定义「哪类章节需要看到哪一级」,所以停在 1 分。

18 可打断:A 1、B 1、C 2。 A 能在生成过程中停,但停止后这次建议就丢了;B 能在每章生成后暂停,暂停状态可继续,但可打断点只有一种;C 在每个动作批次之间可停,且停止语义与回滚分开,拿到 2 分。

19 纠偏:A 1、B 0、C 2。 A 发现队列错了只能重新生成,不能指定「只改队列」;B 一旦开始生成,只能等它跑完或整体取消,不能在「写到第三章发现数据用错」时从第三章重来,这是 B 的两个 0 分项之一;C 可以跳过当前动作继续后面的批次。

20 可撤销:A 1、B 1、C 2。 A 的撤销就是不采纳,范围与时间窗都不需要;但它没有「采纳后发现问题」的撤回路径,所以只有 1 分。B 能回退上一版,发布前不限次数,但已发出的报告不可撤,只能补发更正说明。C 有反向执行、30 分钟时间窗和补偿动作三件齐全,拿到 2 分。

21 审批设计:A 1、B 2、C 1。 A 没有独立审批点,风险由「人采纳」承担,这本身合理,但采纳前的依据展示不到位,等于审批缺了一环。B 只在发布前设一个审批点,位置正确且不密集。C 按风险分层,方向正确,但没有监测审批是否已经变成形式,所以只有 1 分。

22 来源可追溯:A 2、B 1、C 2。 A 的每条建议指向三条输入字段,C 的每个动作指向规则与数据快照,都能追到具体输入。B 的每段指向数据包条目,但部分图表与结论的对应关系不稳定,只能算部分可追。

23 解释分层:A 0、B 1、C 1。 A 只显示「建议分到 billing 队列」,不说明依据,是三家唯一在解释分层上拿 0 分的案例;B 有结论层解释,但没有把依据与过程按场景分层;C 有结论、依据、过程三层,但三层的触发条件没有写清,所以停在 1 分。

24 失败态体验:三家都是 2 分。 六种失败各有界面与兜底,这一项三家的设计都过关。它说明失败态不是执行档才需要,建议档同样需要。

25 降级阶梯:三家都是 1 分。 三家都能退回人工,但路径都是「全自动 → 人工」一步到位,中间没有「建议」这一级。这是本卷最整齐的共同短板。

26 异步交付:A 2、B 1、C 2。 A 是同步秒级,承诺本身就成立;C 有回执、预计时长与失败告知;B 有预计时间,但失败告知依赖用户回来看,没有主动通知。

27 通知预算:A 0、B 1、C 1。 A 是同步返回,看起来不需要通知,但每天 1,200 单,一旦队列积压或批量错误,没有任何主动告知机制,这是 A 的第二个 0 分项。B 每份报告 1 次通知,有上限但没有分级。C 每批次 1 次、异常另计,有分级但缺重要性权重。

28 试点设计:A 1、B 0、C 2。 A 做过 10% 工单的小范围试用,但没有影子对比;B 的试点是「找两个愿意配合的客户组试用」,不是影子对比,无法在零风险条件下度量「如果 Agent 独立做会不会不同」,这是 B 的第二个 0 分项;C 有 4 周影子与明确退出条件。

29 放量规则:A 1、B 1、C 0。 A 与 B 都有阈值,但没有回滚演练;C 的放量表写得很细,同样从未演练过回滚,按卷二标准,没演练过的回滚不算回滚,因此 C 在这一项是 0 分。

30 反馈闭环:A 1、B 1、C 2。 A 与 B 都只有显式评价入口,缺少隐式行为与投诉通道的联动;C 三类入口都有,拿到 2 分。

三家共同短板

第 25 项三家同时只有 1 分,说明这不是某一家没做好,而是方法层面的缺口:降级只有两级,降级等于失去全部能力,团队会因此不敢触发降级。一个不敢用的降级按钮,和没有降级按钮差不多。

与它配套的是审批。A 与 C 在第 21 项只有 1 分,原因不是审批点位置错,而是没有观测「审批是否还有用」。只设计按钮、不观测按钮,控制机制会在半年内失效。

控制机制本身需要被观测,这是卷二最容易被跳过的一步。评审表能打出的只是设计分,设计分不等于运行分;三个月后重打一次,如果 0 分项没减少,分数上升也可能只是标准变松。

补分路径

可补分等于 30 减去卷得分:A 12 分、B 14 分、C 6 分。

案例卷得分可补分先补 0 分项再补 1 分项
A181223、2718、19、20、21、25、28、29、30
B161419、2817、18、20、22、23、25、26、27、29、30
C2462921、23、25、27

先补 0 分项,不参与补分权衡,这是附录 C 的硬规则。A 的第 23 项(补一段结论依据)与第 27 项(定义三类通知)成本最低,各半天即可完成;B 的第 19 项需要改生成流程,是三家最贵的一处,但它同时会降低 9% 的返工率。

放到全书看,三家合计 52、44、70,离 72 分通过线分别差 20、28、2 分。C 最接近,差距只有 2 分;B 最远,差距 28 分。这个差距不能靠补界面填平:B 的两个 0 分项都在流程里,纠偏要改生成流程,试点要补影子对比。

评审结果怎么用

第一条用法是放量门槛:卷二低于 20 / 30 不建议进入全量放量。A 18、B 16 被挡住,C 24 过线。但 C 的第 29 项仍是 0 分,按「0 分项必须在放量前解决」的规则,C 也要先补回滚演练,20 分只解决「能不能谈全量」,不解决「0 分项还在不在」。

第二条用法是排优先级:0 分项列成清单,指定责任人与期限,不写进「后续优化」。0 分项与 1 分项的区别不是程度,而是有无;没有的能力不能靠调参补出来。

第三条用法是复评:三个月后重打一次,同时看总分与 0 分项数量。只看总分会被「标准变松」骗过去,0 分项数量更硬。

把评审表写成模型

下面这个模型把 15 项分数、合计、0 分项、补分顺序与 20 分门槛写成可执行判断。它的价值不在算总分,而在于让「先补哪一项」不再靠讨论。

// file: src/rollout/13-2-launch-review.ts
// tier: L2
// verify: node --test test/rollout/13-2-launch-review.test.ts

// 卷二 15 项评审(全书第 16–30 项):每项 0/1/2,单卷满分 30。
// 逐项得分必须与附录 C 一致,合计必须等于事实表 7.4 的 18 / 16 / 24。

import {
  REVIEW,
  REVIEW_MAX_PER_VOLUME,
  REVIEW_PASS_TOTAL,
} from "../cases.ts";

export type CaseKey = "A" | "B" | "C";

export type ReviewItem = {
  readonly id: number;
  readonly name: string;
  readonly scores: Record<CaseKey, number>;
};

// 顺序与附录 C 第二节一致;改任何一格都要重算列合计。
export const ITEMS: readonly ReviewItem[] = [
  { id: 16, name: "交互形态", scores: { A: 2, B: 2, C: 2 } },
  { id: 17, name: "过程可见", scores: { A: 2, B: 1, C: 2 } },
  { id: 18, name: "可打断", scores: { A: 1, B: 1, C: 2 } },
  { id: 19, name: "纠偏", scores: { A: 1, B: 0, C: 2 } },
  { id: 20, name: "可撤销", scores: { A: 1, B: 1, C: 2 } },
  { id: 21, name: "审批设计", scores: { A: 1, B: 2, C: 1 } },
  { id: 22, name: "来源可追溯", scores: { A: 2, B: 1, C: 2 } },
  { id: 23, name: "解释分层", scores: { A: 0, B: 1, C: 1 } },
  { id: 24, name: "失败态体验", scores: { A: 2, B: 2, C: 2 } },
  { id: 25, name: "降级阶梯", scores: { A: 1, B: 1, C: 1 } },
  { id: 26, name: "异步交付", scores: { A: 2, B: 1, C: 2 } },
  { id: 27, name: "通知预算", scores: { A: 0, B: 1, C: 1 } },
  { id: 28, name: "试点设计", scores: { A: 1, B: 0, C: 2 } },
  { id: 29, name: "放量规则", scores: { A: 1, B: 1, C: 0 } },
  { id: 30, name: "反馈闭环", scores: { A: 1, B: 1, C: 2 } },
];

// 附录 C 第七节:卷二低于 20 / 30 不建议进入全量放量。
export const FULL_ROLLOUT_FLOOR = 20;

export function scoreOf(key: CaseKey, id: number): number {
  const item = ITEMS.find((entry) => entry.id === id);
  if (!item) throw new Error(`unknown review item: ${id}`);
  return item.scores[key];
}

export function total(key: CaseKey): number {
  return ITEMS.reduce((acc, item) => acc + item.scores[key], 0);
}

export function zeroItems(key: CaseKey): readonly number[] {
  return ITEMS.filter((item) => item.scores[key] === 0).map((item) => item.id);
}

export function onePointItems(key: CaseKey): readonly number[] {
  return ITEMS.filter((item) => item.scores[key] === 1).map((item) => item.id);
}

export function pointsAvailable(key: CaseKey): number {
  return REVIEW_MAX_PER_VOLUME - total(key);
}

export function fullRolloutAllowed(key: CaseKey): boolean {
  return total(key) >= FULL_ROLLOUT_FLOOR;
}

// 三家同时停在同一个低分的项。默认找「三家都只有 1 分」的共同短板。
// 注意不能用「都不超过 1 分」:那会把 A 0 分、B/C 1 分的项也算进来。
export function commonShortfalls(maxScore: number = 1): readonly number[] {
  return ITEMS.filter(
    (item) =>
      item.scores.A === maxScore &&
      item.scores.B === maxScore &&
      item.scores.C === maxScore,
  ).map((item) => item.id);
}

export function bookTotal(key: CaseKey): number {
  const scores = REVIEW[key];
  return scores.task + scores.trust + scores.scale;
}

export function gapToPass(key: CaseKey): number {
  return REVIEW_PASS_TOTAL - bookTotal(key);
}

// 补分顺序:先补 0 分项,再补 1 分项;0 分项不参与权衡。
export function priorityItems(key: CaseKey): readonly number[] {
  return [...zeroItems(key), ...onePointItems(key)];
}

// 表格与事实表 7.4 的一致性检查;返回 false 说明两处已经漂移。
export function tableMatchesCaseBible(): boolean {
  const valid = ITEMS.every((item) =>
    Object.values(item.scores).every((score) => score >= 0 && score <= 2),
  );
  return (
    valid &&
    total("A") === REVIEW.A.trust &&
    total("B") === REVIEW.B.trust &&
    total("C") === REVIEW.C.trust
  );
}

total 逐项累加,结果必须分别等于 18、16、24;tableMatchesCaseBible 会把这张表与事实表 7.4 对一遍,任何一格改动都会让它返回 false。

zeroItems 先列出 0 分项:A 是 23、27,B 是 19、28,C 是 29。priorityItems 把 0 分项排在所有 1 分项之前,直接生成补分顺序。

commonShortfalls(1) 找的是三家都恰好 1 分的项,结果是第 25 项。注意不能用「都不超过 1 分」,那会把 A 0 分、B 与 C 1 分的项也算进来,共同短板就被稀释了。

gapToPass 把三卷得分与 72 分线对齐:A 差 20、B 差 28、C 差 2。它提醒读者,卷二分数只是全书的一部分,不能拿单卷 24 分宣布「通过」。

小结

  • 卷二评审 15 项,对应全书第 16–30 项,每项 0/1/2,单卷满分 30。
  • 三案例卷得分是 A 18、B 16、C 24,逐项分数以附录 C 为准。
  • A 的两个 0 分项是解释分层(23)与通知预算(27)。
  • B 的两个 0 分项是纠偏(19)与试点设计(28),一个在生成流程里,一个在试点方法里,补起来最贵。
  • C 的唯一 0 分项是放量规则(29):放量表很细,但回滚从未演练。
  • 三家共同短板是第 25 项降级阶梯:都只有「全自动 → 人工」两级。
  • 可补分是 A 12、B 14、C 6;补分顺序必须先 0 分项、后 1 分项。
  • 卷二低于 20 / 30 不建议全量,A 与 B 被挡住,C 过线但第 29 项仍需先补;全书离 72 分线分别差 20、28、2 分。

阅读导航:上一节:13.1 三案例上线基线 · 下一节:13.3 从上线到规模化 。

常见错误与边界

  1. 把 0 分当成「做得差」。 0 分是「完全没有」,差但有给 1 分;两者的补法不同,0 分项必须在上线前解决。
  2. 只补高分项。 补 1 分项看起来性价比高,但 0 分项不解决,放量门槛过不去,补分也没有意义。
  3. 把共同短板当成巧合。 三家都在第 25 项只有 1 分,说明是方法缺口,不是执行疏忽。
  4. 用单卷分数宣布通过。 卷二 24 分不等于全书 72 分;C 的全书总分是 70,仍差 2 分。
  5. 评审只看设计稿。 可见性、打断、撤销的分数依赖真实用户行为,必须对着录像或日志打分。
  6. 复评只看总分。 分数上升可能是标准变松,必须同时看 0 分项数量是否下降。

评审表的作用不是给产品排座次,而是把「敢不敢用」拆成 15 个可以补的缺口。下一节把这些缺口放回组织与规模化的语境:一个产品能跑,不等于一条产品线能跑。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图