《AI Agent 产品开发·任务定义与能力边界》10.3 容错预算:错到什么程度还能接受

容错预算先分错误类型,再谈总错误率。本节给出按可回滚、需补偿、不可补偿分级的预算表,用 C Runner 的 1.7% 错误率与 0.238% 不可回滚错误率说明为什么总率达标仍可能一票否决,并把预算写进影子、5%、20%、60% 四级放量的退出条件,附可运行的判定模型。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节讲怎么介绍能力,这一节讲一个更硬的问题:错到什么程度还能接受。产品评审里最常见的一句话是「先把准确率做到 95% 再上线」。这句话听起来严谨,实际上既没有说清是哪一类错误,也没有说清 95% 是怎么算出来的。

容错预算的作用是把「能不能接受」变成一组可计算的线。它不追求零错误,而是明确哪类错误可以带着跑、哪类错误超过多少就必须停、哪类错误出现一次就要回滚。预算定得合理,团队才知道什么时候可以放量,什么时候必须刹车。

先分类型,再谈总错误率

总错误率是一个把不同后果加在一起的数字。C Runner 的审计发现错误率是 1.7%,其中 86% 可以反向执行,14% 是已经发出的客户通知,只能补偿、不能撤回。把这两类混在一起看 1.7%,会得出「错误率不高」的结论;分开看,31.416 个需要补偿的错误每个月都在发生。

按后果分,错误至少有三类:

类型定义补救方式预算性质
可回滚动作可以反向执行,状态能恢复自动回滚或人工修正软线,超过先查原因
需补偿动作不能撤回,但可以补发说明或回访补偿流程硬线,超过停止扩量
不可补偿造成不可逆的客户或资金损失无一票否决

三类的预算不能用同一个数字。可回滚错误多一点,用户感知是「需要改一下」;需补偿错误多一点,用户感知是「你们又发错了」;不可补偿错误出现一次,可能就是一次事故。预算必须分开定,放量规则也必须分开写。

容错预算表

以 C Runner 为基线,可以写出这样一张预算表:

错误类型观测值预算线超标动作
可回滚1.462%(1.7% × 86%)≤1.7%继续当前覆盖,本周给出原因
需补偿0.238%(1.7% × 14%)≤0.238%停止扩量,安排人工回访
不可补偿目标为 00回到上一版本,全量复盘

这张表的关键不是数字本身,而是「预算线按类型分别设」。可回滚错误的软线是 1.7%,因为它是总错误率的上限;需补偿错误的硬线是 0.238%,因为它对应的是已经发出去的通知;不可补偿错误没有预算,因为它的后果无法用比例衡量。

预算线还要写清观测口径。1.7% 是审计发现错误率,分母是审计样本,不是全部任务。C 的审计抽检比例是 8%,单次复核 12 分钟,审计摊销 0.96 分钟/任务。这意味着大部分任务没有被逐条检查,预算的执行依赖抽样,而不是全量核对。抽样比例变化时,预算线要重新校准,不能直接沿用。

C Runner 的 1.7% 与 0.238%

把比率还原成次数,预算才有分量。

C 月任务量 13,200 个,按 1.7% 计算,每月约 224.4 个错误。其中 86% 可回滚,约 192.984 个;14% 需补偿,约 31.416 个。31.416 个不是小数,它意味着每个月有三十多次客户通知需要补发说明或人工回访。

这三十多次就是「需补偿」预算线的由来。如果只盯 1.7%,团队会认为 224.4 个错误都在可接受范围内;但其中 31.416 个的错误后果是不可撤回的,必须单独设线。0.238% 这个数字看起来很小,乘回 13,200 就是 31.416 次,每一次都要有人处理。

C 的人工账也提醒我们不要只看错误率。审计摊销 0.96 分钟/任务,转人工 22% × 14 分钟 = 3.08 分钟/任务,实际人工是 4.04 分钟/任务。错误率低不代表人工成本低,处理错误的人力必须算进预算的总代价里。

预算如何驱动放量

预算不是一张挂在墙上的表,它要写进每一级放量的退出条件。C Runner 的放量分四级:

阶段覆盖时长退出条件
影子100% 只记录不执行4 周与人工决策一致率 ≥85%
执行 5%低风险动作4 周错误率 ≤2%,零不可回滚错误
执行 20%加中风险动作8 周错误率 ≤1.8%,回滚成功率 100%
执行 60%不含高风险动作—连续 8 周达标

四级的设计逻辑是「先证明能判断对错,再证明错了能回来,最后才扩大覆盖」。影子阶段不比错误率,只比与人工决策的一致率,因为此时还没有执行,错误没有后果。执行 5% 阶段开始有动作,预算线是 2%,同时要求零不可回滚错误。执行 20% 阶段加入中风险动作,预算收紧到 1.8%,并要求回滚成功率 100%。执行 60% 阶段不再引入高风险动作,靠连续 8 周达标来确认稳定性。

预算线随覆盖扩大而收紧,而不是放宽。覆盖越大,单次错误影响的面越大,预算必须更严。很多团队反着做:试点时严格,放量后为了指标好看放宽预算,结果是在影响最大的时候失去了刹车。

A Relay 的放量也遵循同一逻辑:试点 10% 工单 3 周,采纳率 ≥70%、错误率 ≤4%;扩大 40% 工单 4 周,采纳率 ≥75%、错误率 ≤3%;全量要求连续 4 周达标。B Quill 则是试点约 12% 报告 6 周,返工率 ≤15%、事实错误 ≤7%;扩大约 45% 报告 8 周,返工率 ≤12%、事实错误 ≤5%。三家的指标不同,但结构一致:每一级都有明确的覆盖、时长和退出条件。

预算的四个参数

一张能执行的预算表,除了数字,还要写清四个参数。

谁定。 可回滚错误的软线由产品经理和业务负责人共同定;需补偿与不可补偿的硬线必须由业务负责人定,因为后果由业务承担。技术团队可以提供观测数据,但不能自己决定可接受多少客户投诉。

多久复核。 软线每月复核一次,硬线每季度复核一次。数据源、动作范围、客户结构变化时提前复核。复核不是调数字,而是确认预算线是否还对应原来的后果。

超标怎么办。 软线超标:继续当前覆盖,本周给出原因和修正计划。硬线超标:立即停止扩量,已覆盖部分降一级,安排人工回访。不可补偿错误:回到上一版本,全量复盘,复盘完成前不恢复。

例外谁批。 预算必须有例外通道,否则遇到特殊情况只能偷偷破例。例外要写明申请人、影响范围、有效期和补偿方案,由业务负责人批准。例外不是免死金牌,到期自动失效。

四个参数缺一个,预算就会变成「写在文档里、执行靠感觉」。尤其是「超标怎么办」,如果只写「关注」不写动作,预算线就只是一条装饰。

把预算写成可运行的模型

下面这个模型把三类预算、C 的月度错误拆分和四级放量写在一起。assessBudget 先逐类比较,再看硬线;canAdvance 把预算线变成每一级放量的布尔判断。

// file: src/task/10-3-error-budget.ts
// tier: L2
// verify: node --test test/task/10-3-error-budget.test.ts

// 容错预算先分错误类型,再谈总错误率。
// 总错误率达标、不可回滚错误却出现,这是放量时最常见的假绿灯。

import { byKey } from "../cases.ts";

export type ErrorClass = "reversible" | "compensable" | "irreversible";

export const ERROR_CLASSES: readonly ErrorClass[] = [
  "reversible",
  "compensable",
  "irreversible",
];

export type Budget = {
  readonly maxBps: number;
  readonly hard: boolean;
  readonly note: string;
};

// 以 C Runner 为基线:审计发现错误 1.7%,其中 86% 可回滚,
// 剩下 14% 是已发出的客户通知,只能补偿,不能撤回。
export const BUDGET: Record<ErrorClass, Budget> = {
  reversible: {
    maxBps: 170,
    hard: false,
    note: "可回滚错误:软线,超过先查原因,不直接停",
  },
  compensable: {
    maxBps: 23.8,
    hard: true,
    note: "需补偿错误:硬线,超过停止扩量并安排人工回访",
  },
  irreversible: {
    maxBps: 0,
    hard: true,
    note: "不可补偿错误:一票否决,回到上一版本",
  },
};

export type ErrorObservation = Record<ErrorClass, number>;

export type Verdict = {
  readonly status: "pass" | "watch" | "stop";
  readonly breached: readonly ErrorClass[];
  readonly reason: string;
};

export function assessBudget(observed: ErrorObservation): Verdict {
  const breached: ErrorClass[] = [];
  let status: "pass" | "watch" | "stop" = "pass";

  for (const cls of ERROR_CLASSES) {
    if (observed[cls] <= BUDGET[cls].maxBps) continue;
    breached.push(cls);
    if (BUDGET[cls].hard) {
      status = "stop";
    } else if (status === "pass") {
      status = "watch";
    }
  }

  const reason =
    status === "stop"
      ? "硬线被突破:先停量,再处理可补偿或不可补偿错误"
      : status === "watch"
        ? "软线被突破:可继续当前覆盖,但本周必须给出原因"
        : "所有错误类型均在预算内";
  return { status, breached, reason };
}

// 13,200 个任务、总错误 1.7%、其中 86% 可回滚。
// 224.4 个错误里,31.416 个需要补偿,192.984 个可以反向执行。
export function runnerMonthly(): {
  readonly tasks: number;
  readonly errors: number;
  readonly reversible: number;
  readonly compensable: number;
} {
  const tasks = byKey("C").monthlyTasks;
  const errors = (tasks * 170) / 10_000;
  const compensable = (tasks * 23.8) / 10_000;
  return {
    tasks,
    errors,
    reversible: errors - compensable,
    compensable,
  };
}

export type Stage = {
  readonly name: string;
  readonly coverageBps: number;
  readonly weeks: number;
  readonly maxErrorBps: number | null;
  readonly minAgreementBps: number | null;
  readonly minRollbackBps: number | null;
  readonly zeroIrreversible: boolean;
};

// C Runner 的放量阶梯来自案例事实表,预算线直接写进每一级的退出条件。
export const RUNNER_STAGES: readonly Stage[] = [
  {
    name: "影子",
    coverageBps: 10_000,
    weeks: 4,
    maxErrorBps: null,
    minAgreementBps: 8500,
    minRollbackBps: null,
    zeroIrreversible: false,
  },
  {
    name: "执行 5%",
    coverageBps: 500,
    weeks: 4,
    maxErrorBps: 200,
    minAgreementBps: null,
    minRollbackBps: null,
    zeroIrreversible: true,
  },
  {
    name: "执行 20%",
    coverageBps: 2000,
    weeks: 8,
    maxErrorBps: 180,
    minAgreementBps: null,
    minRollbackBps: 10_000,
    zeroIrreversible: true,
  },
  {
    name: "执行 60%",
    coverageBps: 6000,
    weeks: 0,
    maxErrorBps: 180,
    minAgreementBps: null,
    minRollbackBps: 10_000,
    zeroIrreversible: true,
  },
];

export type StageMetrics = {
  readonly errorBps: number;
  readonly agreementBps: number;
  readonly rollbackBps: number;
  readonly irreversibleCount: number;
};

export function canAdvance(stage: Stage, metrics: StageMetrics): boolean {
  if (stage.zeroIrreversible && metrics.irreversibleCount > 0) return false;
  if (stage.maxErrorBps !== null && metrics.errorBps > stage.maxErrorBps) {
    return false;
  }
  if (
    stage.minAgreementBps !== null &&
    metrics.agreementBps < stage.minAgreementBps
  ) {
    return false;
  }
  if (
    stage.minRollbackBps !== null &&
    metrics.rollbackBps < stage.minRollbackBps
  ) {
    return false;
  }
  return true;
}

// 预算驱动放量的顺序:先证明能判断对错,再证明错了能回来,最后才扩大覆盖。
export function nextStage(
  current: string,
  metrics: StageMetrics,
): Stage | null {
  const index = RUNNER_STAGES.findIndex((stage) => stage.name === current);
  if (index === -1) throw new Error(`unknown stage: ${current}`);
  const stage = RUNNER_STAGES[index];
  if (!canAdvance(stage, metrics)) return null;
  return RUNNER_STAGES[index + 1] ?? null;
}

BUDGET 里最值得注意的是 irreversible.maxBps = 0。它不是「尽量少」,而是「出现一次就停」。这个值不能参与平均,也不能被其他类的余量抵消。

assessBudget 的判定顺序是先硬线后软线:只要有一类硬线被突破,整体状态就是 stop,即使总错误率很低。这对应现实中的情况:总错误率 1.2% 看起来很好,但其中出现了一次不可补偿错误,仍然必须停。

runnerMonthly 把 1.7% 拆成 192.984 个可回滚和 31.416 个需补偿。两个数字加起来是 224.4,和总错误数对得上。产品评审时把这三个数一起放出来,团队就不会只讨论总率。

canAdvance 把每一级的退出条件写成显式参数:错误率上限、一致率下限、回滚成功率下限、是否要求零不可回滚错误。影子阶段没有错误率上限,因为它不执行;执行 5% 阶段要求零不可回滚错误;执行 20% 阶段还要求回滚成功率 100%。条件不满足就返回 false,不提供「差不多可以」的模糊判断。

预算不是越低越好

预算定得太松会出事故,定得太紧会失去价值。如果要求零错误才能上线,Agent 永远上不了线;如果要求每一类错误都低于人工基线,Agent 也没有存在必要,因为人工本身就会犯错。

合理的预算应该满足两个条件:比纯人工的错误后果更轻,且在可补救范围内。三家的观测值分别是:A 分诊正确率 91.4%、采纳后仍出错率 2.9%;B 事实错误率 4.6%;C 审计发现错误率 1.7%。这些数字是教学设定值,不是行业基准,但它们提供了一个参照:预算不能按零错误设,否则永远上不了线;也不能高到和人工差不多,否则 Agent 没有存在意义。

预算还要区分「发现得了」和「发现不了」。C 的 1.7% 是审计抽样发现的,未抽到的错误不在分母里。如果审计比例从 8% 降到 4%,观测到的错误率可能不变,但实际错误可能更多。预算表必须记录审计比例,否则数字之间不可比。

小结

  • 容错预算先分错误类型,再谈总错误率;混在一起看会掩盖不可回滚的后果。
  • 错误至少分三类:可回滚、需补偿、不可补偿,分别设软线、硬线、一票否决。
  • C Runner 的 1.7% 还原为每月 224.4 个错误,其中 192.984 个可回滚、31.416 个需补偿。
  • 0.238% 不是小数字,乘回 13,200 就是每月 31.416 次需要人工回访的补偿。
  • 预算要写进每一级放量的退出条件,覆盖越大预算越紧,不能反过来。
  • 预算表要写清谁定、多久复核、超标怎么办、例外谁批四个参数。
  • 判定顺序是先硬线后软线:硬线被突破时,总错误率再低也要停。
  • 预算不是越低越好,要低于人工基线且留有补救空间,否则 Agent 失去存在意义。

阅读导航:上一节:10.2 预期管理:怎么介绍它才不会让人失望 · 下一节:11.1 没有数据时怎么起步 。

常见错误与边界

  1. 只设一个总错误率。 总率达标但不可回滚错误出现,放量仍然必须停;不分类就看不见这个风险。
  2. 把 0.238% 当成可以忽略的小数。 乘回月任务量是 31.416 次补偿,每一次都要人处理。
  3. 预算随覆盖扩大而放宽。 覆盖越大影响面越大,预算应该更严;反着做会在影响最大时失去刹车。
  4. 只写预算线,不写超标动作。 没有「停量、降级、回访」的具体动作,预算线只是装饰。
  5. 不记录审计比例。 1.7% 是抽样结果,抽样比例变化后数字不可比,预算要跟着校准。
  6. 要求零错误才上线。 人工本身也会犯错,零错误预算等于永远不上线;合理预算应低于人工基线且可补救。

失败分类、预期管理、容错预算三件事讲完,第 10 章结束。下一章讨论一个更现实的问题:没有数据的时候,怎么开始。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图