以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
上一节把三家的上线基线与回滚阈值放在一起。这一节回答另一个问题:这些承诺由谁来检查、按什么标准打分、分数低到什么程度不能全量。
卷二使用 15 项评审,对应全书第 16–30 项。每项 0/1/2 分,单卷满分 30;0 分表示「完全没有」,不是「做得差」。三家的卷得分是 A Relay 18、B Quill 16、C Runner 24。A 与 B 低于 20 分这条全量建议线,C 高于它。
15 项评审表
| # | 项 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|---|
| 16 | 交互形态 | 随手选了对话框 | 选了形态但没有依据 | 有形态、有代价说明、有用户路径 |
| 17 | 过程可见 | 只给最终结果 | 能看到步骤但级别未定义 | 按风险匹配可见性等级 |
| 18 | 可打断 | 不能停 | 能停但状态丢失 | 至少两个可打断点,停止语义分清 |
| 19 | 纠偏 | 只能从头再来 | 能改但需重启任务 | 能指定步骤并从此处重规划 |
| 20 | 可撤销 | 没有撤销 | 只能反悔一次 | 可撤动作、时间窗、补偿三件齐全 |
| 21 | 审批设计 | 没有审批 | 有审批但按步骤均匀布置 | 只设在不可逆动作之前,且不疲劳 |
| 22 | 来源可追溯 | 说不清依据 | 部分结论可追 | 每个关键结论都能指向具体输入 |
| 23 | 解释分层 | 只有一句免责声明 | 有结论层解释 | 结论、依据、过程三层按角色给 |
| 24 | 失败态体验 | 统一报「出错了」 | 区分了成功与失败 | 六种失败各有界面与兜底 |
| 25 | 降级阶梯 | 出错就全停 | 能退回人工 | 至少三级且逐级有序 |
| 26 | 异步交付 | 没有承诺 | 有预计时间 | 承诺、回执、失败告知齐全 |
| 27 | 通知预算 | 想到就发 | 有频率限制 | 按重要性、状态、渠道三者计算 |
| 28 | 试点设计 | 直接全量 | 做过小范围试用 | 有影子对比与明确退出条件 |
| 29 | 放量规则 | 没有阈值 | 有阈值但没有演练 | 分层上限且回滚演练过 |
| 30 | 反馈闭环 | 没有反馈入口 | 只有显式评价 | 显式、隐式、投诉三类都有 |
这张表不是能力清单,而是控制机制清单。它问的不是「Agent 会不会做」,而是「出事时人能不能接住」。所以 16–20 看用户能不能介入,21–23 看判断能不能被核对,24–27 看异常能不能被表达,28–30 看上线后能不能被修正。
三案例逐项得分
| # | 项 | A Relay | B Quill | C Runner |
|---|---|---|---|---|
| 16 | 交互形态 | 2 | 2 | 2 |
| 17 | 过程可见 | 2 | 1 | 2 |
| 18 | 可打断 | 1 | 1 | 2 |
| 19 | 纠偏 | 1 | 0 | 2 |
| 20 | 可撤销 | 1 | 1 | 2 |
| 21 | 审批设计 | 1 | 2 | 1 |
| 22 | 来源可追溯 | 2 | 1 | 2 |
| 23 | 解释分层 | 0 | 1 | 1 |
| 24 | 失败态体验 | 2 | 2 | 2 |
| 25 | 降级阶梯 | 1 | 1 | 1 |
| 26 | 异步交付 | 2 | 1 | 2 |
| 27 | 通知预算 | 0 | 1 | 1 |
| 28 | 试点设计 | 1 | 0 | 2 |
| 29 | 放量规则 | 1 | 1 | 0 |
| 30 | 反馈闭环 | 1 | 1 | 2 |
| 合计 | 18/30 | 16/30 | 24/30 |
这组分数与附录 C 逐格一致,合计也必须与事实表 7.4 对齐。任何一格改动都要重算列合计,否则后面的补分路径会全部失真。
逐项说扣分理由
16 交互形态:三家都是 2 分。 A 用侧栏、B 用编辑器、C 用后台任务中心,都有形态选择依据、代价说明和用户路径。这一项满分不代表形态相同,而代表每家都说清了「为什么不是另一种」。
17 过程可见:A 2、B 1、C 2。 A 按风险给到 L2 依据,C 给到 L3 全程;B 能看到章节步骤,但没有定义「哪类章节需要看到哪一级」,所以停在 1 分。
18 可打断:A 1、B 1、C 2。 A 能在生成过程中停,但停止后这次建议就丢了;B 能在每章生成后暂停,暂停状态可继续,但可打断点只有一种;C 在每个动作批次之间可停,且停止语义与回滚分开,拿到 2 分。
19 纠偏:A 1、B 0、C 2。 A 发现队列错了只能重新生成,不能指定「只改队列」;B 一旦开始生成,只能等它跑完或整体取消,不能在「写到第三章发现数据用错」时从第三章重来,这是 B 的两个 0 分项之一;C 可以跳过当前动作继续后面的批次。
20 可撤销:A 1、B 1、C 2。 A 的撤销就是不采纳,范围与时间窗都不需要;但它没有「采纳后发现问题」的撤回路径,所以只有 1 分。B 能回退上一版,发布前不限次数,但已发出的报告不可撤,只能补发更正说明。C 有反向执行、30 分钟时间窗和补偿动作三件齐全,拿到 2 分。
21 审批设计:A 1、B 2、C 1。 A 没有独立审批点,风险由「人采纳」承担,这本身合理,但采纳前的依据展示不到位,等于审批缺了一环。B 只在发布前设一个审批点,位置正确且不密集。C 按风险分层,方向正确,但没有监测审批是否已经变成形式,所以只有 1 分。
22 来源可追溯:A 2、B 1、C 2。 A 的每条建议指向三条输入字段,C 的每个动作指向规则与数据快照,都能追到具体输入。B 的每段指向数据包条目,但部分图表与结论的对应关系不稳定,只能算部分可追。
23 解释分层:A 0、B 1、C 1。 A 只显示「建议分到 billing 队列」,不说明依据,是三家唯一在解释分层上拿 0 分的案例;B 有结论层解释,但没有把依据与过程按场景分层;C 有结论、依据、过程三层,但三层的触发条件没有写清,所以停在 1 分。
24 失败态体验:三家都是 2 分。 六种失败各有界面与兜底,这一项三家的设计都过关。它说明失败态不是执行档才需要,建议档同样需要。
25 降级阶梯:三家都是 1 分。 三家都能退回人工,但路径都是「全自动 → 人工」一步到位,中间没有「建议」这一级。这是本卷最整齐的共同短板。
26 异步交付:A 2、B 1、C 2。 A 是同步秒级,承诺本身就成立;C 有回执、预计时长与失败告知;B 有预计时间,但失败告知依赖用户回来看,没有主动通知。
27 通知预算:A 0、B 1、C 1。 A 是同步返回,看起来不需要通知,但每天 1,200 单,一旦队列积压或批量错误,没有任何主动告知机制,这是 A 的第二个 0 分项。B 每份报告 1 次通知,有上限但没有分级。C 每批次 1 次、异常另计,有分级但缺重要性权重。
28 试点设计:A 1、B 0、C 2。 A 做过 10% 工单的小范围试用,但没有影子对比;B 的试点是「找两个愿意配合的客户组试用」,不是影子对比,无法在零风险条件下度量「如果 Agent 独立做会不会不同」,这是 B 的第二个 0 分项;C 有 4 周影子与明确退出条件。
29 放量规则:A 1、B 1、C 0。 A 与 B 都有阈值,但没有回滚演练;C 的放量表写得很细,同样从未演练过回滚,按卷二标准,没演练过的回滚不算回滚,因此 C 在这一项是 0 分。
30 反馈闭环:A 1、B 1、C 2。 A 与 B 都只有显式评价入口,缺少隐式行为与投诉通道的联动;C 三类入口都有,拿到 2 分。
三家共同短板
第 25 项三家同时只有 1 分,说明这不是某一家没做好,而是方法层面的缺口:降级只有两级,降级等于失去全部能力,团队会因此不敢触发降级。一个不敢用的降级按钮,和没有降级按钮差不多。
与它配套的是审批。A 与 C 在第 21 项只有 1 分,原因不是审批点位置错,而是没有观测「审批是否还有用」。只设计按钮、不观测按钮,控制机制会在半年内失效。
控制机制本身需要被观测,这是卷二最容易被跳过的一步。评审表能打出的只是设计分,设计分不等于运行分;三个月后重打一次,如果 0 分项没减少,分数上升也可能只是标准变松。
补分路径
可补分等于 30 减去卷得分:A 12 分、B 14 分、C 6 分。
| 案例 | 卷得分 | 可补分 | 先补 0 分项 | 再补 1 分项 |
|---|---|---|---|---|
| A | 18 | 12 | 23、27 | 18、19、20、21、25、28、29、30 |
| B | 16 | 14 | 19、28 | 17、18、20、22、23、25、26、27、29、30 |
| C | 24 | 6 | 29 | 21、23、25、27 |
先补 0 分项,不参与补分权衡,这是附录 C 的硬规则。A 的第 23 项(补一段结论依据)与第 27 项(定义三类通知)成本最低,各半天即可完成;B 的第 19 项需要改生成流程,是三家最贵的一处,但它同时会降低 9% 的返工率。
放到全书看,三家合计 52、44、70,离 72 分通过线分别差 20、28、2 分。C 最接近,差距只有 2 分;B 最远,差距 28 分。这个差距不能靠补界面填平:B 的两个 0 分项都在流程里,纠偏要改生成流程,试点要补影子对比。
评审结果怎么用
第一条用法是放量门槛:卷二低于 20 / 30 不建议进入全量放量。A 18、B 16 被挡住,C 24 过线。但 C 的第 29 项仍是 0 分,按「0 分项必须在放量前解决」的规则,C 也要先补回滚演练,20 分只解决「能不能谈全量」,不解决「0 分项还在不在」。
第二条用法是排优先级:0 分项列成清单,指定责任人与期限,不写进「后续优化」。0 分项与 1 分项的区别不是程度,而是有无;没有的能力不能靠调参补出来。
第三条用法是复评:三个月后重打一次,同时看总分与 0 分项数量。只看总分会被「标准变松」骗过去,0 分项数量更硬。
把评审表写成模型
下面这个模型把 15 项分数、合计、0 分项、补分顺序与 20 分门槛写成可执行判断。它的价值不在算总分,而在于让「先补哪一项」不再靠讨论。
// file: src/rollout/13-2-launch-review.ts
// tier: L2
// verify: node --test test/rollout/13-2-launch-review.test.ts
// 卷二 15 项评审(全书第 16–30 项):每项 0/1/2,单卷满分 30。
// 逐项得分必须与附录 C 一致,合计必须等于事实表 7.4 的 18 / 16 / 24。
import {
REVIEW,
REVIEW_MAX_PER_VOLUME,
REVIEW_PASS_TOTAL,
} from "../cases.ts";
export type CaseKey = "A" | "B" | "C";
export type ReviewItem = {
readonly id: number;
readonly name: string;
readonly scores: Record<CaseKey, number>;
};
// 顺序与附录 C 第二节一致;改任何一格都要重算列合计。
export const ITEMS: readonly ReviewItem[] = [
{ id: 16, name: "交互形态", scores: { A: 2, B: 2, C: 2 } },
{ id: 17, name: "过程可见", scores: { A: 2, B: 1, C: 2 } },
{ id: 18, name: "可打断", scores: { A: 1, B: 1, C: 2 } },
{ id: 19, name: "纠偏", scores: { A: 1, B: 0, C: 2 } },
{ id: 20, name: "可撤销", scores: { A: 1, B: 1, C: 2 } },
{ id: 21, name: "审批设计", scores: { A: 1, B: 2, C: 1 } },
{ id: 22, name: "来源可追溯", scores: { A: 2, B: 1, C: 2 } },
{ id: 23, name: "解释分层", scores: { A: 0, B: 1, C: 1 } },
{ id: 24, name: "失败态体验", scores: { A: 2, B: 2, C: 2 } },
{ id: 25, name: "降级阶梯", scores: { A: 1, B: 1, C: 1 } },
{ id: 26, name: "异步交付", scores: { A: 2, B: 1, C: 2 } },
{ id: 27, name: "通知预算", scores: { A: 0, B: 1, C: 1 } },
{ id: 28, name: "试点设计", scores: { A: 1, B: 0, C: 2 } },
{ id: 29, name: "放量规则", scores: { A: 1, B: 1, C: 0 } },
{ id: 30, name: "反馈闭环", scores: { A: 1, B: 1, C: 2 } },
];
// 附录 C 第七节:卷二低于 20 / 30 不建议进入全量放量。
export const FULL_ROLLOUT_FLOOR = 20;
export function scoreOf(key: CaseKey, id: number): number {
const item = ITEMS.find((entry) => entry.id === id);
if (!item) throw new Error(`unknown review item: ${id}`);
return item.scores[key];
}
export function total(key: CaseKey): number {
return ITEMS.reduce((acc, item) => acc + item.scores[key], 0);
}
export function zeroItems(key: CaseKey): readonly number[] {
return ITEMS.filter((item) => item.scores[key] === 0).map((item) => item.id);
}
export function onePointItems(key: CaseKey): readonly number[] {
return ITEMS.filter((item) => item.scores[key] === 1).map((item) => item.id);
}
export function pointsAvailable(key: CaseKey): number {
return REVIEW_MAX_PER_VOLUME - total(key);
}
export function fullRolloutAllowed(key: CaseKey): boolean {
return total(key) >= FULL_ROLLOUT_FLOOR;
}
// 三家同时停在同一个低分的项。默认找「三家都只有 1 分」的共同短板。
// 注意不能用「都不超过 1 分」:那会把 A 0 分、B/C 1 分的项也算进来。
export function commonShortfalls(maxScore: number = 1): readonly number[] {
return ITEMS.filter(
(item) =>
item.scores.A === maxScore &&
item.scores.B === maxScore &&
item.scores.C === maxScore,
).map((item) => item.id);
}
export function bookTotal(key: CaseKey): number {
const scores = REVIEW[key];
return scores.task + scores.trust + scores.scale;
}
export function gapToPass(key: CaseKey): number {
return REVIEW_PASS_TOTAL - bookTotal(key);
}
// 补分顺序:先补 0 分项,再补 1 分项;0 分项不参与权衡。
export function priorityItems(key: CaseKey): readonly number[] {
return [...zeroItems(key), ...onePointItems(key)];
}
// 表格与事实表 7.4 的一致性检查;返回 false 说明两处已经漂移。
export function tableMatchesCaseBible(): boolean {
const valid = ITEMS.every((item) =>
Object.values(item.scores).every((score) => score >= 0 && score <= 2),
);
return (
valid &&
total("A") === REVIEW.A.trust &&
total("B") === REVIEW.B.trust &&
total("C") === REVIEW.C.trust
);
}
total 逐项累加,结果必须分别等于 18、16、24;tableMatchesCaseBible 会把这张表与事实表 7.4 对一遍,任何一格改动都会让它返回 false。
zeroItems 先列出 0 分项:A 是 23、27,B 是 19、28,C 是 29。priorityItems 把 0 分项排在所有 1 分项之前,直接生成补分顺序。
commonShortfalls(1) 找的是三家都恰好 1 分的项,结果是第 25 项。注意不能用「都不超过 1 分」,那会把 A 0 分、B 与 C 1 分的项也算进来,共同短板就被稀释了。
gapToPass 把三卷得分与 72 分线对齐:A 差 20、B 差 28、C 差 2。它提醒读者,卷二分数只是全书的一部分,不能拿单卷 24 分宣布「通过」。
小结
- 卷二评审 15 项,对应全书第 16–30 项,每项 0/1/2,单卷满分 30。
- 三案例卷得分是 A 18、B 16、C 24,逐项分数以附录 C 为准。
- A 的两个 0 分项是解释分层(23)与通知预算(27)。
- B 的两个 0 分项是纠偏(19)与试点设计(28),一个在生成流程里,一个在试点方法里,补起来最贵。
- C 的唯一 0 分项是放量规则(29):放量表很细,但回滚从未演练。
- 三家共同短板是第 25 项降级阶梯:都只有「全自动 → 人工」两级。
- 可补分是 A 12、B 14、C 6;补分顺序必须先 0 分项、后 1 分项。
- 卷二低于 20 / 30 不建议全量,A 与 B 被挡住,C 过线但第 29 项仍需先补;全书离 72 分线分别差 20、28、2 分。
阅读导航:上一节:13.1 三案例上线基线 · 下一节:13.3 从上线到规模化 。
常见错误与边界
- 把 0 分当成「做得差」。 0 分是「完全没有」,差但有给 1 分;两者的补法不同,0 分项必须在上线前解决。
- 只补高分项。 补 1 分项看起来性价比高,但 0 分项不解决,放量门槛过不去,补分也没有意义。
- 把共同短板当成巧合。 三家都在第 25 项只有 1 分,说明是方法缺口,不是执行疏忽。
- 用单卷分数宣布通过。 卷二 24 分不等于全书 72 分;C 的全书总分是 70,仍差 2 分。
- 评审只看设计稿。 可见性、打断、撤销的分数依赖真实用户行为,必须对着录像或日志打分。
- 复评只看总分。 分数上升可能是标准变松,必须同时看 0 分项数量是否下降。
评审表的作用不是给产品排座次,而是把「敢不敢用」拆成 15 个可以补的缺口。下一节把这些缺口放回组织与规模化的语境:一个产品能跑,不等于一条产品线能跑。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。