以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
上一节讲的是「放多少」。这一节讲「什么时候收回来」。放量和回滚是一对:没有回滚条件的放量,等于把刹车拆掉再踩油门;回滚条件写得太晚,等于事故发生后才发现刹车不灵。
回滚触发不是一句「情况不对就回滚」。情况不对是人的判断,触发条件必须是提前写好的、可以在压力下执行的规则。规则至少有三类:指标阈值、单一严重事件、人工判断权。三类缺一不可。
回滚是提前承诺,不是事后情绪
事故发生时的典型场景是:数据看板上有一条线在往上走,会议里有人说「再观察一周」,有人说「先停」。如果没有提前写好的触发条件,最后往往是职位最高的人拍板,而不是证据拍板。
提前承诺要写清三件事:
| 要素 | 回答的问题 | 缺失后的表现 |
|---|---|---|
| 触发条件 | 什么信号出现时必须回滚 | 每次都要开会争论 |
| 触发权限 | 谁可以单方面叫停 | 没人敢停,或者停了没人认 |
| 回滚动作 | 停下来之后具体做什么 | 停了但不知道怎么恢复 |
三件事里,触发权限最容易被忽略。团队通常会写「错误率超过阈值就回滚」,但没写谁有权执行。值班工程师看到错误率超标,还要等产品负责人确认;等确认回来,错误已经扩散了两个小时。
三类触发条件
三类触发不是三个备选,而是三层防线:
| 类型 | 信号 | 响应速度 | 适用场景 |
|---|---|---|---|
| 指标阈值 | 错误率、返工率、采纳率越过预设线 | 分钟到小时 | 已知的、可量化的质量指标 |
| 单一严重事件 | 不可回滚错误、数据泄露、发错客户、安全问题 | 立即 | 一次就足够严重的事件 |
| 人工判断 | 值班、质量负责人、产品负责人认为需要停 | 立即 | 阈值没覆盖到的新情况 |
指标阈值负责「趋势」,严重事件负责「尾部」,人工判断负责「未知」。只有阈值,会漏掉一次性的严重事故;只有人工判断,会把压力全部压在人身上;只有严重事件,会等到事故发生才动作。
三类触发的优先级是:严重事件和人工判断可以单方面触发回滚,不需要指标也越线;指标阈值触发回滚时,需要同时通知相关角色,但不需要等待共识。
指标阈值:用 B Quill 的两张表
B Quill 的试点与扩大阶段各有一组退出条件。把它们反过来读,就是回滚阈值:
| 阶段 | 返工率 | 事实错误率 | 覆盖 |
|---|---|---|---|
| 试点 | ≤ 15% | ≤ 7% | 2 个客户组,约 12% 报告 |
| 扩大 | ≤ 12% | ≤ 5% | 6 个客户组,约 45% 报告 |
B 的实际质量是返工率 9%、事实错误率 4.6%。按扩大阶段的阈值,两项都在线内,可以继续。但「在线内」不等于「安全」:如果事实错误率从 4.6% 走到 4.9%,仍然低于 5%,却已经贴近阈值;下一周再走 0.2 个百分点就会越线。
这就是为什么阈值触发要配一个「临近区」。临近区不是回滚,是暂停扩张:不新增覆盖,先看趋势。临近区的宽度可以按指标的波动性设定,常见做法是阈值的 5% 到 10%。B 的事实错误率阈值是 5%,5% 的临近区就是 4.75% 到 5%;4.9% 落在临近区,应该暂停而不是继续加量。
C Runner 的阈值更紧:
| 阶段 | 错误率 | 不可回滚错误 | 回滚成功率 |
|---|---|---|---|
| 执行 5% | ≤ 2% | 0 | — |
| 执行 20% | ≤ 1.8% | 0 | 100% |
C 的不可回滚错误阈值是 0,不是「低于某个比例」。这类指标没有临近区,出现一次就是严重事件。
单一严重事件:一次就够
严重事件的定义要提前写死,不能事后解释。常见的四类:
- 不可回滚错误:动作已经生效且无法撤销,例如错误地发了客户通知。
- 数据泄露:Agent 把 A 客户的数据放进了 B 客户的报告。
- 发错对象:价格、库存、通知发到了错误的商品或客户。
- 安全问题:Agent 执行了超出授权范围的动作。
四类事件的共同点是:它们不需要统计显著。一次就足够触发回滚,因为后果不是「平均变差」,而是「某一个对象被不可逆地伤害」。
C Runner 的不可回滚错误率是 0.238%,来自 1.7% 的审计错误率乘以 14% 的不可回滚比例。这个数字的含义不是「可以接受 0.238%」,而是「每 1,000 个任务里大约有 2.4 个不可回滚错误」。在 13,200 个月任务的规模下,这个比例对应约 31.4 个不可回滚错误;每一个都应该触发一次严重事件流程。
严重事件的响应不是「先统计一下有多少起」。第一起出现时,回滚就已经开始;统计是事后复盘的事。
人工判断权:给「说不清但不对」留一个入口
阈值和严重事件都依赖「已经知道要看什么」。新问题的特点是:它不在指标里,也不符合已知的严重事件分类,但值班的人觉得不对。
人工判断权就是为这种情况准备的。它要满足三个条件:
- 提前指定角色:谁有权单方面叫停,不能临时找人。
- 不需要共识:叫停不需要开会投票,事后复盘再解释。
- 不追责错误叫停:如果每次叫停都要证明「确实有问题」,人就不敢叫停。
C 的回滚时间窗是动作后 30 分钟内;超过 30 分钟,或者动作已经传播到客户侧,就只能补偿。人工判断权在 30 分钟窗口内最有价值,因为这段时间里回滚还是等价于撤销。
回滚必须演练过
写了回滚条件,不等于有能力回滚。回滚能力要满足四个条件:
| 条件 | 检查方式 | 不满足的后果 |
|---|---|---|
| 演练过 | 最近 90 天内有一次通过的演练 | 真回滚时发现步骤走不通 |
| 有 runbook | 步骤、负责人、通知对象都写下来 | 压力下靠记忆,容易漏步 |
| 有时间窗 | 明确多久内可以回滚 | 以为能回滚,实际已经过期 |
| 有回滚句柄 | 每个动作都能定位到原值 | 知道要回滚,不知道回滚到哪 |
四个条件里,「演练过」最容易被跳过。团队会说「回滚逻辑很简单,不需要演练」;但回滚逻辑简单不代表回滚过程简单:谁有权执行、下游系统是否接受反向操作、客户是否已经看到,这些都不在代码里。
演练还要有新鲜度。90 天前的演练不能证明今天还能回滚,因为系统、权限、下游依赖都可能变了。演练记录要包含时间、参与人、回滚对象、实际耗时和是否通过;没有这些字段的「演练」只是开会。
把触发条件写成可执行模型
下面的模型把三类触发、临近区、回滚演练和扩张门槛放在一起。它输出三个决策:继续、暂停、回滚。
// file: src/rollout/11-2-rollback-trigger.ts
// tier: L2
// verify: node --test test/rollout/11-2-rollback-trigger.test.ts
// 回滚触发有三类:指标阈值、单一严重事件、人工判断。
// 阈值能自动化,严重事件必须零容忍,人工判断负责阈值还没覆盖到的新情况。
import { QUILL } from "../cases.ts";
import { type Bps } from "../core/rate.ts";
export type TriggerKind = "threshold" | "severe-event" | "human-judgment";
export type Decision = "continue" | "hold" | "rollback";
export type Gate = {
readonly metric: string;
readonly limitBps: Bps;
readonly lowerIsBetter: boolean;
};
export type Observation = {
readonly metric: string;
readonly valueBps: Bps;
};
export type Trigger = {
readonly kind: TriggerKind;
readonly name: string;
readonly fired: boolean;
readonly near: boolean;
readonly detail: string;
};
// 越过阈值即触发;没越过但在阈值 5% 以内,标记为临近而不是放行。
export function checkGates(
gates: readonly Gate[],
observations: readonly Observation[],
): readonly Trigger[] {
const byMetric = new Map(observations.map((o) => [o.metric, o.valueBps]));
return gates.map((gate) => {
const value = byMetric.get(gate.metric);
if (value === undefined) {
return {
kind: "threshold",
name: gate.metric,
fired: false,
near: false,
detail: "no observation",
};
}
const fired = gate.lowerIsBetter
? value > gate.limitBps
: value < gate.limitBps;
const distance = Math.abs(value - gate.limitBps);
const near =
!fired && gate.limitBps > 0 && distance <= Math.round(gate.limitBps * 0.05);
return {
kind: "threshold",
name: gate.metric,
fired,
near,
detail: `${value} bps vs limit ${gate.limitBps} bps`,
};
});
}
export type SevereEvent = {
readonly id: string;
readonly kind:
| "irreversible-error"
| "data-leak"
| "wrong-customer"
| "safety";
readonly description: string;
};
// 单一严重事件不设比例门槛:出现一次就回滚,不等待统计显著。
export function severeTrigger(events: readonly SevereEvent[]): Trigger {
const first = events[0];
return {
kind: "severe-event",
name: "severe-event",
fired: events.length > 0,
near: false,
detail: first ? `${first.kind}: ${first.description}` : "none",
};
}
export type HumanCall = {
readonly by: string;
readonly reason: string;
readonly rollback: boolean;
};
export function humanTrigger(call: HumanCall | null): Trigger {
return {
kind: "human-judgment",
name: "human-judgment",
fired: call?.rollback === true,
near: false,
detail: call ? `${call.by}: ${call.reason}` : "no call",
};
}
export type RollbackDecision = {
readonly decision: Decision;
readonly triggers: readonly Trigger[];
readonly reasons: readonly string[];
};
// 任一触发即回滚;没有触发但存在临近项则暂停扩张,等待下一次观察。
export function decide(
gates: readonly Gate[],
observations: readonly Observation[],
severe: readonly SevereEvent[],
call: HumanCall | null,
): RollbackDecision {
const triggers: readonly Trigger[] = [
...checkGates(gates, observations),
severeTrigger(severe),
humanTrigger(call),
];
const fired = triggers.filter((t) => t.fired);
if (fired.length > 0) {
return {
decision: "rollback",
triggers,
reasons: fired.map((t) => `${t.kind}:${t.name}`),
};
}
const near = triggers.filter((t) => t.near);
if (near.length > 0) {
return {
decision: "hold",
triggers,
reasons: near.map((t) => `near:${t.name}`),
};
}
return { decision: "continue", triggers, reasons: [] };
}
export type RollbackReadiness = {
readonly drilled: boolean;
readonly runbook: boolean;
readonly windowMinutes: number;
readonly lastDrillDays: number;
};
// 没演练过的回滚只能算「计划回滚」,不能算「可以回滚」。
export function readyToRollback(readiness: RollbackReadiness): boolean {
return (
readiness.drilled &&
readiness.runbook &&
readiness.windowMinutes > 0 &&
readiness.lastDrillDays <= 90
);
}
export type Drill = {
readonly id: string;
readonly daysAgo: number;
readonly passed: boolean;
readonly windowMinutes: number;
};
export function latestDrillValid(
drills: readonly Drill[],
maxAgeDays = 90,
): boolean {
const passed = drills.filter(
(drill) => drill.passed && drill.windowMinutes > 0,
);
if (passed.length === 0) return false;
const latest = passed.reduce((a, b) => (a.daysAgo <= b.daysAgo ? a : b));
return latest.daysAgo <= maxAgeDays;
}
export function canExpand(
decision: Decision,
readiness: RollbackReadiness,
): boolean {
return decision === "continue" && readyToRollback(readiness);
}
export function retune(
gates: readonly Gate[],
metric: string,
limitBps: Bps,
): readonly Gate[] {
return gates.map((gate) =>
gate.metric === metric ? { ...gate, limitBps } : gate,
);
}
export const B_PILOT_GATES: readonly Gate[] = [
{ metric: "rework", limitBps: 1_500, lowerIsBetter: true },
{ metric: "factError", limitBps: 700, lowerIsBetter: true },
];
export const B_EXPAND_GATES: readonly Gate[] = [
{ metric: "rework", limitBps: 1_200, lowerIsBetter: true },
{ metric: "factError", limitBps: 500, lowerIsBetter: true },
];
// B 的观测口径来自事实表:返工率 9%,事实错误率 4.6%。
export const B_OBSERVED: readonly Observation[] = [
{ metric: "rework", valueBps: 900 },
{ metric: "factError", valueBps: 460 },
];
export const B_READINESS: RollbackReadiness = {
drilled: true,
runbook: true,
windowMinutes: 30,
lastDrillDays: 21,
};
export const B_TASKS = QUILL.monthlyTasks;
模型里 near 的宽度是阈值的 5%。这个数字不是固定的,团队可以按指标波动性调整;重要的是它必须提前写下来,而不是在事故里临时决定「4.9% 算不算接近 5%」。
canExpand 把「指标允许」和「回滚就绪」分开:指标全部通过,但回滚没演练过,仍然不能扩量。这个设计是为了防止一种常见情况:质量数据好看,团队就忽略了恢复能力。
阈值收紧会翻转结论
阈值不是越低越好,但阈值必须能被解释。B 的事实错误率是 4.6%,在扩大阶段 5% 的阈值下通过;如果质量负责人把阈值收紧到 4%,同一个 4.6% 就会触发回滚。
| 阈值 | B 的 4.6% | 决策 | 解释 |
|---|---|---|---|
| 7%(试点) | 低于 | 继续 | 试点阶段允许更高错误 |
| 5%(扩大) | 低于 | 继续 | 当前口径 |
| 4%(收紧) | 高于 | 回滚 | 更严格的质量承诺 |
这张表的用途不是证明「4% 更好」,而是说明:阈值决定结论,结论必须能追溯到阈值的来源。如果团队把阈值从 5% 收到 4%,要同时回答三个问题:为什么收紧、收紧后放量速度会慢多少、收紧期间的人工审改成本增加多少。没有这三个答案,收紧只是把压力转移给一线。
阈值也不能只收紧不解释。每次调整都要记录调整人、依据、生效时间和影响范围;否则三个月后没人记得为什么是 4% 而不是 5%。
小结
- 回滚触发有三类:指标阈值、单一严重事件、人工判断,三层缺一不可。
- 指标阈值负责趋势,严重事件负责尾部,人工判断负责阈值没覆盖的新情况。
- B Quill 的扩大阶段阈值是返工率 12%、事实错误率 5%;实际 9% 与 4.6% 都在线内。
- 阈值要配临近区;B 的 4.9% 没越线,但落在 5% 阈值的临近区,应该暂停扩张。
- 严重事件不需要统计显著;C 的不可回滚错误阈值是 0,出现一次就触发。
- 人工判断权要提前指定角色、不需要共识、不追责错误叫停。
- 回滚必须演练过:90 天内、有 runbook、有时间窗、有回滚句柄。
- 阈值收紧会翻转结论;每次调整都要记录依据和影响。
阅读导航:上一节:11.1 按风险分层的放量上限 · 下一节:11.3 aia-lab:放量曲线与回滚阈值 。
常见错误与边界
- 只写阈值,不写权限。 错误率超标后还要等负责人确认,回滚窗口已经过去;触发权限必须提前指定。
- 严重事件也走比例判断。 不可回滚错误、数据泄露、发错客户、安全问题都是一次即触发,不等待统计显著。
- 临近区临时决定。 4.9% 算不算接近 5% 要在事前写清;事故里临时解释会让回滚变成政治判断。
- 回滚没演练。 90 天内的演练、runbook、时间窗、回滚句柄缺一不可;没演练过的回滚只是计划。
- 阈值只收紧不解释。 每次调整都要记录依据、生效时间和影响范围,否则后续无法复盘。
- 把人工判断当成兜底。 人工判断权是第三层防线,不是替代阈值和严重事件的借口;三层都要有。
下一节把这些规则放进 aia-lab,计算三案例的放量曲线,并展示阈值收紧后放量上限如何下降。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。