以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
上一节讲怎么介绍能力,这一节讲一个更硬的问题:错到什么程度还能接受。产品评审里最常见的一句话是「先把准确率做到 95% 再上线」。这句话听起来严谨,实际上既没有说清是哪一类错误,也没有说清 95% 是怎么算出来的。
容错预算的作用是把「能不能接受」变成一组可计算的线。它不追求零错误,而是明确哪类错误可以带着跑、哪类错误超过多少就必须停、哪类错误出现一次就要回滚。预算定得合理,团队才知道什么时候可以放量,什么时候必须刹车。
先分类型,再谈总错误率
总错误率是一个把不同后果加在一起的数字。C Runner 的审计发现错误率是 1.7%,其中 86% 可以反向执行,14% 是已经发出的客户通知,只能补偿、不能撤回。把这两类混在一起看 1.7%,会得出「错误率不高」的结论;分开看,31.416 个需要补偿的错误每个月都在发生。
按后果分,错误至少有三类:
| 类型 | 定义 | 补救方式 | 预算性质 |
|---|---|---|---|
| 可回滚 | 动作可以反向执行,状态能恢复 | 自动回滚或人工修正 | 软线,超过先查原因 |
| 需补偿 | 动作不能撤回,但可以补发说明或回访 | 补偿流程 | 硬线,超过停止扩量 |
| 不可补偿 | 造成不可逆的客户或资金损失 | 无 | 一票否决 |
三类的预算不能用同一个数字。可回滚错误多一点,用户感知是「需要改一下」;需补偿错误多一点,用户感知是「你们又发错了」;不可补偿错误出现一次,可能就是一次事故。预算必须分开定,放量规则也必须分开写。
容错预算表
以 C Runner 为基线,可以写出这样一张预算表:
| 错误类型 | 观测值 | 预算线 | 超标动作 |
|---|---|---|---|
| 可回滚 | 1.462%(1.7% × 86%) | ≤1.7% | 继续当前覆盖,本周给出原因 |
| 需补偿 | 0.238%(1.7% × 14%) | ≤0.238% | 停止扩量,安排人工回访 |
| 不可补偿 | 目标为 0 | 0 | 回到上一版本,全量复盘 |
这张表的关键不是数字本身,而是「预算线按类型分别设」。可回滚错误的软线是 1.7%,因为它是总错误率的上限;需补偿错误的硬线是 0.238%,因为它对应的是已经发出去的通知;不可补偿错误没有预算,因为它的后果无法用比例衡量。
预算线还要写清观测口径。1.7% 是审计发现错误率,分母是审计样本,不是全部任务。C 的审计抽检比例是 8%,单次复核 12 分钟,审计摊销 0.96 分钟/任务。这意味着大部分任务没有被逐条检查,预算的执行依赖抽样,而不是全量核对。抽样比例变化时,预算线要重新校准,不能直接沿用。
C Runner 的 1.7% 与 0.238%
把比率还原成次数,预算才有分量。
C 月任务量 13,200 个,按 1.7% 计算,每月约 224.4 个错误。其中 86% 可回滚,约 192.984 个;14% 需补偿,约 31.416 个。31.416 个不是小数,它意味着每个月有三十多次客户通知需要补发说明或人工回访。
这三十多次就是「需补偿」预算线的由来。如果只盯 1.7%,团队会认为 224.4 个错误都在可接受范围内;但其中 31.416 个的错误后果是不可撤回的,必须单独设线。0.238% 这个数字看起来很小,乘回 13,200 就是 31.416 次,每一次都要有人处理。
C 的人工账也提醒我们不要只看错误率。审计摊销 0.96 分钟/任务,转人工 22% × 14 分钟 = 3.08 分钟/任务,实际人工是 4.04 分钟/任务。错误率低不代表人工成本低,处理错误的人力必须算进预算的总代价里。
预算如何驱动放量
预算不是一张挂在墙上的表,它要写进每一级放量的退出条件。C Runner 的放量分四级:
| 阶段 | 覆盖 | 时长 | 退出条件 |
|---|---|---|---|
| 影子 | 100% 只记录不执行 | 4 周 | 与人工决策一致率 ≥85% |
| 执行 5% | 低风险动作 | 4 周 | 错误率 ≤2%,零不可回滚错误 |
| 执行 20% | 加中风险动作 | 8 周 | 错误率 ≤1.8%,回滚成功率 100% |
| 执行 60% | 不含高风险动作 | — | 连续 8 周达标 |
四级的设计逻辑是「先证明能判断对错,再证明错了能回来,最后才扩大覆盖」。影子阶段不比错误率,只比与人工决策的一致率,因为此时还没有执行,错误没有后果。执行 5% 阶段开始有动作,预算线是 2%,同时要求零不可回滚错误。执行 20% 阶段加入中风险动作,预算收紧到 1.8%,并要求回滚成功率 100%。执行 60% 阶段不再引入高风险动作,靠连续 8 周达标来确认稳定性。
预算线随覆盖扩大而收紧,而不是放宽。覆盖越大,单次错误影响的面越大,预算必须更严。很多团队反着做:试点时严格,放量后为了指标好看放宽预算,结果是在影响最大的时候失去了刹车。
A Relay 的放量也遵循同一逻辑:试点 10% 工单 3 周,采纳率 ≥70%、错误率 ≤4%;扩大 40% 工单 4 周,采纳率 ≥75%、错误率 ≤3%;全量要求连续 4 周达标。B Quill 则是试点约 12% 报告 6 周,返工率 ≤15%、事实错误 ≤7%;扩大约 45% 报告 8 周,返工率 ≤12%、事实错误 ≤5%。三家的指标不同,但结构一致:每一级都有明确的覆盖、时长和退出条件。
预算的四个参数
一张能执行的预算表,除了数字,还要写清四个参数。
谁定。 可回滚错误的软线由产品经理和业务负责人共同定;需补偿与不可补偿的硬线必须由业务负责人定,因为后果由业务承担。技术团队可以提供观测数据,但不能自己决定可接受多少客户投诉。
多久复核。 软线每月复核一次,硬线每季度复核一次。数据源、动作范围、客户结构变化时提前复核。复核不是调数字,而是确认预算线是否还对应原来的后果。
超标怎么办。 软线超标:继续当前覆盖,本周给出原因和修正计划。硬线超标:立即停止扩量,已覆盖部分降一级,安排人工回访。不可补偿错误:回到上一版本,全量复盘,复盘完成前不恢复。
例外谁批。 预算必须有例外通道,否则遇到特殊情况只能偷偷破例。例外要写明申请人、影响范围、有效期和补偿方案,由业务负责人批准。例外不是免死金牌,到期自动失效。
四个参数缺一个,预算就会变成「写在文档里、执行靠感觉」。尤其是「超标怎么办」,如果只写「关注」不写动作,预算线就只是一条装饰。
把预算写成可运行的模型
下面这个模型把三类预算、C 的月度错误拆分和四级放量写在一起。assessBudget 先逐类比较,再看硬线;canAdvance 把预算线变成每一级放量的布尔判断。
// file: src/task/10-3-error-budget.ts
// tier: L2
// verify: node --test test/task/10-3-error-budget.test.ts
// 容错预算先分错误类型,再谈总错误率。
// 总错误率达标、不可回滚错误却出现,这是放量时最常见的假绿灯。
import { byKey } from "../cases.ts";
export type ErrorClass = "reversible" | "compensable" | "irreversible";
export const ERROR_CLASSES: readonly ErrorClass[] = [
"reversible",
"compensable",
"irreversible",
];
export type Budget = {
readonly maxBps: number;
readonly hard: boolean;
readonly note: string;
};
// 以 C Runner 为基线:审计发现错误 1.7%,其中 86% 可回滚,
// 剩下 14% 是已发出的客户通知,只能补偿,不能撤回。
export const BUDGET: Record<ErrorClass, Budget> = {
reversible: {
maxBps: 170,
hard: false,
note: "可回滚错误:软线,超过先查原因,不直接停",
},
compensable: {
maxBps: 23.8,
hard: true,
note: "需补偿错误:硬线,超过停止扩量并安排人工回访",
},
irreversible: {
maxBps: 0,
hard: true,
note: "不可补偿错误:一票否决,回到上一版本",
},
};
export type ErrorObservation = Record<ErrorClass, number>;
export type Verdict = {
readonly status: "pass" | "watch" | "stop";
readonly breached: readonly ErrorClass[];
readonly reason: string;
};
export function assessBudget(observed: ErrorObservation): Verdict {
const breached: ErrorClass[] = [];
let status: "pass" | "watch" | "stop" = "pass";
for (const cls of ERROR_CLASSES) {
if (observed[cls] <= BUDGET[cls].maxBps) continue;
breached.push(cls);
if (BUDGET[cls].hard) {
status = "stop";
} else if (status === "pass") {
status = "watch";
}
}
const reason =
status === "stop"
? "硬线被突破:先停量,再处理可补偿或不可补偿错误"
: status === "watch"
? "软线被突破:可继续当前覆盖,但本周必须给出原因"
: "所有错误类型均在预算内";
return { status, breached, reason };
}
// 13,200 个任务、总错误 1.7%、其中 86% 可回滚。
// 224.4 个错误里,31.416 个需要补偿,192.984 个可以反向执行。
export function runnerMonthly(): {
readonly tasks: number;
readonly errors: number;
readonly reversible: number;
readonly compensable: number;
} {
const tasks = byKey("C").monthlyTasks;
const errors = (tasks * 170) / 10_000;
const compensable = (tasks * 23.8) / 10_000;
return {
tasks,
errors,
reversible: errors - compensable,
compensable,
};
}
export type Stage = {
readonly name: string;
readonly coverageBps: number;
readonly weeks: number;
readonly maxErrorBps: number | null;
readonly minAgreementBps: number | null;
readonly minRollbackBps: number | null;
readonly zeroIrreversible: boolean;
};
// C Runner 的放量阶梯来自案例事实表,预算线直接写进每一级的退出条件。
export const RUNNER_STAGES: readonly Stage[] = [
{
name: "影子",
coverageBps: 10_000,
weeks: 4,
maxErrorBps: null,
minAgreementBps: 8500,
minRollbackBps: null,
zeroIrreversible: false,
},
{
name: "执行 5%",
coverageBps: 500,
weeks: 4,
maxErrorBps: 200,
minAgreementBps: null,
minRollbackBps: null,
zeroIrreversible: true,
},
{
name: "执行 20%",
coverageBps: 2000,
weeks: 8,
maxErrorBps: 180,
minAgreementBps: null,
minRollbackBps: 10_000,
zeroIrreversible: true,
},
{
name: "执行 60%",
coverageBps: 6000,
weeks: 0,
maxErrorBps: 180,
minAgreementBps: null,
minRollbackBps: 10_000,
zeroIrreversible: true,
},
];
export type StageMetrics = {
readonly errorBps: number;
readonly agreementBps: number;
readonly rollbackBps: number;
readonly irreversibleCount: number;
};
export function canAdvance(stage: Stage, metrics: StageMetrics): boolean {
if (stage.zeroIrreversible && metrics.irreversibleCount > 0) return false;
if (stage.maxErrorBps !== null && metrics.errorBps > stage.maxErrorBps) {
return false;
}
if (
stage.minAgreementBps !== null &&
metrics.agreementBps < stage.minAgreementBps
) {
return false;
}
if (
stage.minRollbackBps !== null &&
metrics.rollbackBps < stage.minRollbackBps
) {
return false;
}
return true;
}
// 预算驱动放量的顺序:先证明能判断对错,再证明错了能回来,最后才扩大覆盖。
export function nextStage(
current: string,
metrics: StageMetrics,
): Stage | null {
const index = RUNNER_STAGES.findIndex((stage) => stage.name === current);
if (index === -1) throw new Error(`unknown stage: ${current}`);
const stage = RUNNER_STAGES[index];
if (!canAdvance(stage, metrics)) return null;
return RUNNER_STAGES[index + 1] ?? null;
}
BUDGET 里最值得注意的是 irreversible.maxBps = 0。它不是「尽量少」,而是「出现一次就停」。这个值不能参与平均,也不能被其他类的余量抵消。
assessBudget 的判定顺序是先硬线后软线:只要有一类硬线被突破,整体状态就是 stop,即使总错误率很低。这对应现实中的情况:总错误率 1.2% 看起来很好,但其中出现了一次不可补偿错误,仍然必须停。
runnerMonthly 把 1.7% 拆成 192.984 个可回滚和 31.416 个需补偿。两个数字加起来是 224.4,和总错误数对得上。产品评审时把这三个数一起放出来,团队就不会只讨论总率。
canAdvance 把每一级的退出条件写成显式参数:错误率上限、一致率下限、回滚成功率下限、是否要求零不可回滚错误。影子阶段没有错误率上限,因为它不执行;执行 5% 阶段要求零不可回滚错误;执行 20% 阶段还要求回滚成功率 100%。条件不满足就返回 false,不提供「差不多可以」的模糊判断。
预算不是越低越好
预算定得太松会出事故,定得太紧会失去价值。如果要求零错误才能上线,Agent 永远上不了线;如果要求每一类错误都低于人工基线,Agent 也没有存在必要,因为人工本身就会犯错。
合理的预算应该满足两个条件:比纯人工的错误后果更轻,且在可补救范围内。三家的观测值分别是:A 分诊正确率 91.4%、采纳后仍出错率 2.9%;B 事实错误率 4.6%;C 审计发现错误率 1.7%。这些数字是教学设定值,不是行业基准,但它们提供了一个参照:预算不能按零错误设,否则永远上不了线;也不能高到和人工差不多,否则 Agent 没有存在意义。
预算还要区分「发现得了」和「发现不了」。C 的 1.7% 是审计抽样发现的,未抽到的错误不在分母里。如果审计比例从 8% 降到 4%,观测到的错误率可能不变,但实际错误可能更多。预算表必须记录审计比例,否则数字之间不可比。
小结
- 容错预算先分错误类型,再谈总错误率;混在一起看会掩盖不可回滚的后果。
- 错误至少分三类:可回滚、需补偿、不可补偿,分别设软线、硬线、一票否决。
- C Runner 的 1.7% 还原为每月 224.4 个错误,其中 192.984 个可回滚、31.416 个需补偿。
- 0.238% 不是小数字,乘回 13,200 就是每月 31.416 次需要人工回访的补偿。
- 预算要写进每一级放量的退出条件,覆盖越大预算越紧,不能反过来。
- 预算表要写清谁定、多久复核、超标怎么办、例外谁批四个参数。
- 判定顺序是先硬线后软线:硬线被突破时,总错误率再低也要停。
- 预算不是越低越好,要低于人工基线且留有补救空间,否则 Agent 失去存在意义。
阅读导航:上一节:10.2 预期管理:怎么介绍它才不会让人失望 · 下一节:11.1 没有数据时怎么起步 。
常见错误与边界
- 只设一个总错误率。 总率达标但不可回滚错误出现,放量仍然必须停;不分类就看不见这个风险。
- 把 0.238% 当成可以忽略的小数。 乘回月任务量是 31.416 次补偿,每一次都要人处理。
- 预算随覆盖扩大而放宽。 覆盖越大影响面越大,预算应该更严;反着做会在影响最大时失去刹车。
- 只写预算线,不写超标动作。 没有「停量、降级、回访」的具体动作,预算线只是装饰。
- 不记录审计比例。 1.7% 是抽样结果,抽样比例变化后数字不可比,预算要跟着校准。
- 要求零错误才上线。 人工本身也会犯错,零错误预算等于永远不上线;合理预算应低于人工基线且可补救。
失败分类、预期管理、容错预算三件事讲完,第 10 章结束。下一章讨论一个更现实的问题:没有数据的时候,怎么开始。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。