《AI Agent 产品开发·交互、信任与上线》11.2 回滚触发条件

本节回答什么情况下必须回滚:指标阈值、单一严重事件、人工判断三类触发,以及回滚必须先演练过。用 B Quill 的返工率 9%、事实错误率 4.6% 与扩大阶段 12%、5% 阈值说明阈值收紧如何翻转结论,并附可运行的触发判定与演练有效性模型。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节讲的是「放多少」。这一节讲「什么时候收回来」。放量和回滚是一对:没有回滚条件的放量,等于把刹车拆掉再踩油门;回滚条件写得太晚,等于事故发生后才发现刹车不灵。

回滚触发不是一句「情况不对就回滚」。情况不对是人的判断,触发条件必须是提前写好的、可以在压力下执行的规则。规则至少有三类:指标阈值、单一严重事件、人工判断权。三类缺一不可。

回滚是提前承诺,不是事后情绪

事故发生时的典型场景是:数据看板上有一条线在往上走,会议里有人说「再观察一周」,有人说「先停」。如果没有提前写好的触发条件,最后往往是职位最高的人拍板,而不是证据拍板。

提前承诺要写清三件事:

要素回答的问题缺失后的表现
触发条件什么信号出现时必须回滚每次都要开会争论
触发权限谁可以单方面叫停没人敢停,或者停了没人认
回滚动作停下来之后具体做什么停了但不知道怎么恢复

三件事里,触发权限最容易被忽略。团队通常会写「错误率超过阈值就回滚」,但没写谁有权执行。值班工程师看到错误率超标,还要等产品负责人确认;等确认回来,错误已经扩散了两个小时。

三类触发条件

三类触发不是三个备选,而是三层防线:

类型信号响应速度适用场景
指标阈值错误率、返工率、采纳率越过预设线分钟到小时已知的、可量化的质量指标
单一严重事件不可回滚错误、数据泄露、发错客户、安全问题立即一次就足够严重的事件
人工判断值班、质量负责人、产品负责人认为需要停立即阈值没覆盖到的新情况

指标阈值负责「趋势」,严重事件负责「尾部」,人工判断负责「未知」。只有阈值,会漏掉一次性的严重事故;只有人工判断,会把压力全部压在人身上;只有严重事件,会等到事故发生才动作。

三类触发的优先级是:严重事件和人工判断可以单方面触发回滚,不需要指标也越线;指标阈值触发回滚时,需要同时通知相关角色,但不需要等待共识。

指标阈值:用 B Quill 的两张表

B Quill 的试点与扩大阶段各有一组退出条件。把它们反过来读,就是回滚阈值:

阶段返工率事实错误率覆盖
试点≤ 15%≤ 7%2 个客户组,约 12% 报告
扩大≤ 12%≤ 5%6 个客户组,约 45% 报告

B 的实际质量是返工率 9%、事实错误率 4.6%。按扩大阶段的阈值,两项都在线内,可以继续。但「在线内」不等于「安全」:如果事实错误率从 4.6% 走到 4.9%,仍然低于 5%,却已经贴近阈值;下一周再走 0.2 个百分点就会越线。

这就是为什么阈值触发要配一个「临近区」。临近区不是回滚,是暂停扩张:不新增覆盖,先看趋势。临近区的宽度可以按指标的波动性设定,常见做法是阈值的 5% 到 10%。B 的事实错误率阈值是 5%,5% 的临近区就是 4.75% 到 5%;4.9% 落在临近区,应该暂停而不是继续加量。

C Runner 的阈值更紧:

阶段错误率不可回滚错误回滚成功率
执行 5%≤ 2%0—
执行 20%≤ 1.8%0100%

C 的不可回滚错误阈值是 0,不是「低于某个比例」。这类指标没有临近区,出现一次就是严重事件。

单一严重事件:一次就够

严重事件的定义要提前写死,不能事后解释。常见的四类:

  1. 不可回滚错误:动作已经生效且无法撤销,例如错误地发了客户通知。
  2. 数据泄露:Agent 把 A 客户的数据放进了 B 客户的报告。
  3. 发错对象:价格、库存、通知发到了错误的商品或客户。
  4. 安全问题:Agent 执行了超出授权范围的动作。

四类事件的共同点是:它们不需要统计显著。一次就足够触发回滚,因为后果不是「平均变差」,而是「某一个对象被不可逆地伤害」。

C Runner 的不可回滚错误率是 0.238%,来自 1.7% 的审计错误率乘以 14% 的不可回滚比例。这个数字的含义不是「可以接受 0.238%」,而是「每 1,000 个任务里大约有 2.4 个不可回滚错误」。在 13,200 个月任务的规模下,这个比例对应约 31.4 个不可回滚错误;每一个都应该触发一次严重事件流程。

严重事件的响应不是「先统计一下有多少起」。第一起出现时,回滚就已经开始;统计是事后复盘的事。

人工判断权:给「说不清但不对」留一个入口

阈值和严重事件都依赖「已经知道要看什么」。新问题的特点是:它不在指标里,也不符合已知的严重事件分类,但值班的人觉得不对。

人工判断权就是为这种情况准备的。它要满足三个条件:

  • 提前指定角色:谁有权单方面叫停,不能临时找人。
  • 不需要共识:叫停不需要开会投票,事后复盘再解释。
  • 不追责错误叫停:如果每次叫停都要证明「确实有问题」,人就不敢叫停。

C 的回滚时间窗是动作后 30 分钟内;超过 30 分钟,或者动作已经传播到客户侧,就只能补偿。人工判断权在 30 分钟窗口内最有价值,因为这段时间里回滚还是等价于撤销。

回滚必须演练过

写了回滚条件,不等于有能力回滚。回滚能力要满足四个条件:

条件检查方式不满足的后果
演练过最近 90 天内有一次通过的演练真回滚时发现步骤走不通
有 runbook步骤、负责人、通知对象都写下来压力下靠记忆,容易漏步
有时间窗明确多久内可以回滚以为能回滚,实际已经过期
有回滚句柄每个动作都能定位到原值知道要回滚,不知道回滚到哪

四个条件里,「演练过」最容易被跳过。团队会说「回滚逻辑很简单,不需要演练」;但回滚逻辑简单不代表回滚过程简单:谁有权执行、下游系统是否接受反向操作、客户是否已经看到,这些都不在代码里。

演练还要有新鲜度。90 天前的演练不能证明今天还能回滚,因为系统、权限、下游依赖都可能变了。演练记录要包含时间、参与人、回滚对象、实际耗时和是否通过;没有这些字段的「演练」只是开会。

把触发条件写成可执行模型

下面的模型把三类触发、临近区、回滚演练和扩张门槛放在一起。它输出三个决策:继续、暂停、回滚。

// file: src/rollout/11-2-rollback-trigger.ts
// tier: L2
// verify: node --test test/rollout/11-2-rollback-trigger.test.ts

// 回滚触发有三类:指标阈值、单一严重事件、人工判断。
// 阈值能自动化,严重事件必须零容忍,人工判断负责阈值还没覆盖到的新情况。

import { QUILL } from "../cases.ts";
import { type Bps } from "../core/rate.ts";

export type TriggerKind = "threshold" | "severe-event" | "human-judgment";
export type Decision = "continue" | "hold" | "rollback";

export type Gate = {
  readonly metric: string;
  readonly limitBps: Bps;
  readonly lowerIsBetter: boolean;
};

export type Observation = {
  readonly metric: string;
  readonly valueBps: Bps;
};

export type Trigger = {
  readonly kind: TriggerKind;
  readonly name: string;
  readonly fired: boolean;
  readonly near: boolean;
  readonly detail: string;
};

// 越过阈值即触发;没越过但在阈值 5% 以内,标记为临近而不是放行。
export function checkGates(
  gates: readonly Gate[],
  observations: readonly Observation[],
): readonly Trigger[] {
  const byMetric = new Map(observations.map((o) => [o.metric, o.valueBps]));
  return gates.map((gate) => {
    const value = byMetric.get(gate.metric);
    if (value === undefined) {
      return {
        kind: "threshold",
        name: gate.metric,
        fired: false,
        near: false,
        detail: "no observation",
      };
    }
    const fired = gate.lowerIsBetter
      ? value > gate.limitBps
      : value < gate.limitBps;
    const distance = Math.abs(value - gate.limitBps);
    const near =
      !fired && gate.limitBps > 0 && distance <= Math.round(gate.limitBps * 0.05);
    return {
      kind: "threshold",
      name: gate.metric,
      fired,
      near,
      detail: `${value} bps vs limit ${gate.limitBps} bps`,
    };
  });
}

export type SevereEvent = {
  readonly id: string;
  readonly kind:
    | "irreversible-error"
    | "data-leak"
    | "wrong-customer"
    | "safety";
  readonly description: string;
};

// 单一严重事件不设比例门槛:出现一次就回滚,不等待统计显著。
export function severeTrigger(events: readonly SevereEvent[]): Trigger {
  const first = events[0];
  return {
    kind: "severe-event",
    name: "severe-event",
    fired: events.length > 0,
    near: false,
    detail: first ? `${first.kind}: ${first.description}` : "none",
  };
}

export type HumanCall = {
  readonly by: string;
  readonly reason: string;
  readonly rollback: boolean;
};

export function humanTrigger(call: HumanCall | null): Trigger {
  return {
    kind: "human-judgment",
    name: "human-judgment",
    fired: call?.rollback === true,
    near: false,
    detail: call ? `${call.by}: ${call.reason}` : "no call",
  };
}

export type RollbackDecision = {
  readonly decision: Decision;
  readonly triggers: readonly Trigger[];
  readonly reasons: readonly string[];
};

// 任一触发即回滚;没有触发但存在临近项则暂停扩张,等待下一次观察。
export function decide(
  gates: readonly Gate[],
  observations: readonly Observation[],
  severe: readonly SevereEvent[],
  call: HumanCall | null,
): RollbackDecision {
  const triggers: readonly Trigger[] = [
    ...checkGates(gates, observations),
    severeTrigger(severe),
    humanTrigger(call),
  ];
  const fired = triggers.filter((t) => t.fired);
  if (fired.length > 0) {
    return {
      decision: "rollback",
      triggers,
      reasons: fired.map((t) => `${t.kind}:${t.name}`),
    };
  }
  const near = triggers.filter((t) => t.near);
  if (near.length > 0) {
    return {
      decision: "hold",
      triggers,
      reasons: near.map((t) => `near:${t.name}`),
    };
  }
  return { decision: "continue", triggers, reasons: [] };
}

export type RollbackReadiness = {
  readonly drilled: boolean;
  readonly runbook: boolean;
  readonly windowMinutes: number;
  readonly lastDrillDays: number;
};

// 没演练过的回滚只能算「计划回滚」,不能算「可以回滚」。
export function readyToRollback(readiness: RollbackReadiness): boolean {
  return (
    readiness.drilled &&
    readiness.runbook &&
    readiness.windowMinutes > 0 &&
    readiness.lastDrillDays <= 90
  );
}

export type Drill = {
  readonly id: string;
  readonly daysAgo: number;
  readonly passed: boolean;
  readonly windowMinutes: number;
};

export function latestDrillValid(
  drills: readonly Drill[],
  maxAgeDays = 90,
): boolean {
  const passed = drills.filter(
    (drill) => drill.passed && drill.windowMinutes > 0,
  );
  if (passed.length === 0) return false;
  const latest = passed.reduce((a, b) => (a.daysAgo <= b.daysAgo ? a : b));
  return latest.daysAgo <= maxAgeDays;
}

export function canExpand(
  decision: Decision,
  readiness: RollbackReadiness,
): boolean {
  return decision === "continue" && readyToRollback(readiness);
}

export function retune(
  gates: readonly Gate[],
  metric: string,
  limitBps: Bps,
): readonly Gate[] {
  return gates.map((gate) =>
    gate.metric === metric ? { ...gate, limitBps } : gate,
  );
}

export const B_PILOT_GATES: readonly Gate[] = [
  { metric: "rework", limitBps: 1_500, lowerIsBetter: true },
  { metric: "factError", limitBps: 700, lowerIsBetter: true },
];

export const B_EXPAND_GATES: readonly Gate[] = [
  { metric: "rework", limitBps: 1_200, lowerIsBetter: true },
  { metric: "factError", limitBps: 500, lowerIsBetter: true },
];

// B 的观测口径来自事实表:返工率 9%,事实错误率 4.6%。
export const B_OBSERVED: readonly Observation[] = [
  { metric: "rework", valueBps: 900 },
  { metric: "factError", valueBps: 460 },
];

export const B_READINESS: RollbackReadiness = {
  drilled: true,
  runbook: true,
  windowMinutes: 30,
  lastDrillDays: 21,
};

export const B_TASKS = QUILL.monthlyTasks;

模型里 near 的宽度是阈值的 5%。这个数字不是固定的,团队可以按指标波动性调整;重要的是它必须提前写下来,而不是在事故里临时决定「4.9% 算不算接近 5%」。

canExpand 把「指标允许」和「回滚就绪」分开:指标全部通过,但回滚没演练过,仍然不能扩量。这个设计是为了防止一种常见情况:质量数据好看,团队就忽略了恢复能力。

阈值收紧会翻转结论

阈值不是越低越好,但阈值必须能被解释。B 的事实错误率是 4.6%,在扩大阶段 5% 的阈值下通过;如果质量负责人把阈值收紧到 4%,同一个 4.6% 就会触发回滚。

阈值B 的 4.6%决策解释
7%(试点)低于继续试点阶段允许更高错误
5%(扩大)低于继续当前口径
4%(收紧)高于回滚更严格的质量承诺

这张表的用途不是证明「4% 更好」,而是说明:阈值决定结论,结论必须能追溯到阈值的来源。如果团队把阈值从 5% 收到 4%,要同时回答三个问题:为什么收紧、收紧后放量速度会慢多少、收紧期间的人工审改成本增加多少。没有这三个答案,收紧只是把压力转移给一线。

阈值也不能只收紧不解释。每次调整都要记录调整人、依据、生效时间和影响范围;否则三个月后没人记得为什么是 4% 而不是 5%。

小结

  • 回滚触发有三类:指标阈值、单一严重事件、人工判断,三层缺一不可。
  • 指标阈值负责趋势,严重事件负责尾部,人工判断负责阈值没覆盖的新情况。
  • B Quill 的扩大阶段阈值是返工率 12%、事实错误率 5%;实际 9% 与 4.6% 都在线内。
  • 阈值要配临近区;B 的 4.9% 没越线,但落在 5% 阈值的临近区,应该暂停扩张。
  • 严重事件不需要统计显著;C 的不可回滚错误阈值是 0,出现一次就触发。
  • 人工判断权要提前指定角色、不需要共识、不追责错误叫停。
  • 回滚必须演练过:90 天内、有 runbook、有时间窗、有回滚句柄。
  • 阈值收紧会翻转结论;每次调整都要记录依据和影响。

阅读导航:上一节:11.1 按风险分层的放量上限 · 下一节:11.3 aia-lab:放量曲线与回滚阈值 。

常见错误与边界

  1. 只写阈值,不写权限。 错误率超标后还要等负责人确认,回滚窗口已经过去;触发权限必须提前指定。
  2. 严重事件也走比例判断。 不可回滚错误、数据泄露、发错客户、安全问题都是一次即触发,不等待统计显著。
  3. 临近区临时决定。 4.9% 算不算接近 5% 要在事前写清;事故里临时解释会让回滚变成政治判断。
  4. 回滚没演练。 90 天内的演练、runbook、时间窗、回滚句柄缺一不可;没演练过的回滚只是计划。
  5. 阈值只收紧不解释。 每次调整都要记录依据、生效时间和影响范围,否则后续无法复盘。
  6. 把人工判断当成兜底。 人工判断权是第三层防线,不是替代阈值和严重事件的借口;三层都要有。

下一节把这些规则放进 aia-lab,计算三案例的放量曲线,并展示阈值收紧后放量上限如何下降。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图