以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
前两节分别讲了风险分层和回滚触发。这一节把它们放进 aia-lab:给定覆盖率、阶段时长、退出条件和观测错误率,算出每个阶段覆盖多少任务、预期出现多少错误,以及阈值收紧后覆盖率上限会降到多少。
模型的目的不是替代决策,而是让决策可复算。团队说「先放 12%」时,模型能立刻回答:这是多少个任务、按当前错误率预期多少错误、下一阶段阈值是多少。
放量曲线的三个输入
一条放量曲线由三个输入决定:
| 输入 | 回答的问题 | 例子 |
|---|---|---|
| 覆盖率 | 每个阶段覆盖多少任务 | A 试点 10%,扩大 40% |
| 阶段时长 | 每个阶段至少观察多久 | A 试点 3 周,扩大 4 周 |
| 退出条件 | 什么指标达标才能进入下一阶段 | A 试点采纳率 ≥ 70%、错误率 ≤ 4% |
三个输入缺一个,曲线就不可执行。只有覆盖率,没有时长,团队会在数据波动时提前加量;只有时长,没有退出条件,时间到了就自动放量;只有退出条件,没有覆盖率,不知道影响面有多大。
三案例的曲线都来自事实表:
| 案例 | 阶段 | 覆盖率 | 时长 | 退出条件 |
|---|---|---|---|---|
| A Relay | 试点 | 10% | 3 周 | 采纳率 ≥ 70%,错误率 ≤ 4% |
| A Relay | 扩大 | 40% | 4 周 | 采纳率 ≥ 75%,错误率 ≤ 3% |
| B Quill | 试点 | 12% | 6 周 | 返工率 ≤ 15%,事实错误 ≤ 7% |
| B Quill | 扩大 | 45% | 8 周 | 返工率 ≤ 12%,事实错误 ≤ 5% |
| C Runner | 影子 | 100% 只记录 | 4 周 | 与人工决策一致率 ≥ 85% |
| C Runner | 执行 5% | 5% | 4 周 | 错误率 ≤ 2%,零不可回滚错误 |
| C Runner | 执行 20% | 20% | 8 周 | 错误率 ≤ 1.8%,回滚成功率 100% |
| C Runner | 执行 60% | 60% | 8 周 | 不含高风险动作,连续 8 周达标 |
C 的影子阶段覆盖率是 100%,但不执行动作。模型必须把「覆盖」和「执行」分开,否则影子阶段会被算成 13,200 个可执行任务,暴露量被严重高估。
暴露量:覆盖任务数乘以观测错误率
上一节用风险权重算暴露量;这一节换成更容易和事故记录对齐的口径:预期错误数 = 覆盖任务数 × 观测错误率。
三案例的观测错误率分别取事实表里的质量指标:
- A Relay:采纳后仍出错率 2.9%。
- B Quill:事实错误率 4.6%。
- C Runner:审计发现错误率 1.7%。
把这些错误率代进各阶段,得到一张可比的表:
| 案例 | 阶段 | 覆盖任务数 | 预期错误数 |
|---|---|---|---|
| A Relay | 试点 10% | 2,640 | 76.56 |
| A Relay | 扩大 40% | 10,560 | 306.24 |
| B Quill | 试点 12% | 73 | 3.358 |
| B Quill | 扩大 45% | 273 | 12.558 |
| C Runner | 执行 5% | 660 | 11.22 |
| C Runner | 执行 20% | 2,640 | 44.88 |
| C Runner | 执行 60% | 7,920 | 134.64 |
这张表最有用的地方是量级对比。B 的预期错误数看起来很小,因为月报告量只有 606 份;A 和 C 的预期错误数大,因为月任务量分别是 26,400 和 13,200。跨案例比较错误数没有意义,比较「错误数占阶段任务的比例」才有意义。
阈值收紧,上限下降
放量上限不是固定的覆盖率,而是「在当前错误率下,能承受多少暴露」。给定观测错误率和可接受的目标错误率,最大覆盖率可以反推:
最大覆盖率 = 目标错误率 ÷ 观测错误率 × 100%
如果目标错误率高于或等于观测错误率,上限就是 100%;如果目标更低,上限按比例下降。以 C 的 1.7% 观测错误率为例:
| 目标错误率 | 最大覆盖率 | 含义 |
|---|---|---|
| 2.0% | 100% | 当前错误率低于目标,可全量 |
| 1.0% | 58.8% | 目标收紧一半,上限降到约六成 |
| 0.5% | 29.4% | 目标再收紧一半,上限降到约三成 |
阈值收紧的代价不是线性的:目标从 2.0% 收到 1.0%,上限从 100% 降到 58.8%;再收到 0.5%,上限降到 29.4%。产品负责人要同时看两个数:质量目标提高了多少,放量速度慢了多少。
A 和 B 的曲线同理。A 的观测错误率是 2.9%:目标 2.0% 时上限约 69.0%,目标 1.0% 时约 34.5%。B 的观测错误率是 4.6%:目标 3.0% 时上限约 65.2%,目标 2.0% 时约 43.5%。
把曲线写成可执行模型
下面的模型把三案例的阶段计划、覆盖任务数、预期错误数和最大覆盖率放在一起。它的输出可以直接贴进放量评审材料。
// file: src/rollout/11-3-lab-rollout.ts
// tier: L2
// verify: node --test test/rollout/11-3-lab-rollout.test.ts
// 放量曲线 = 每个阶段的覆盖率 × 时长 × 退出条件。
// 真正的暴露量不是覆盖率本身,而是「覆盖的任务数 × 该阶段的错误率」。
import { QUILL, RELAY, RUNNER } from "../cases.ts";
import { applyRate, FULL, type Bps } from "../core/rate.ts";
export type CaseKey = "A" | "B" | "C";
export type StageName =
| "pilot"
| "expand"
| "full"
| "shadow"
| "execute-5"
| "execute-20"
| "execute-60";
export type ExitGate = {
readonly metric: string;
readonly thresholdBps: Bps;
readonly lowerIsBetter: boolean;
};
export type StagePlan = {
readonly name: StageName;
readonly coverageBps: Bps;
readonly weeks: number;
readonly executes: boolean;
readonly gates: readonly ExitGate[];
readonly note: string;
};
export const ROLLOUT_PLANS: Record<CaseKey, readonly StagePlan[]> = {
A: [
{
name: "pilot",
coverageBps: 1_000,
weeks: 3,
executes: true,
gates: [
{ metric: "adoption", thresholdBps: 7_000, lowerIsBetter: false },
{ metric: "error", thresholdBps: 400, lowerIsBetter: true },
],
note: "采纳率 ≥ 70%,错误率 ≤ 4%",
},
{
name: "expand",
coverageBps: 4_000,
weeks: 4,
executes: true,
gates: [
{ metric: "adoption", thresholdBps: 7_500, lowerIsBetter: false },
{ metric: "error", thresholdBps: 300, lowerIsBetter: true },
],
note: "采纳率 ≥ 75%,错误率 ≤ 3%",
},
{
name: "full",
coverageBps: FULL,
weeks: 0,
executes: true,
gates: [],
note: "连续 4 周达标",
},
],
B: [
{
name: "pilot",
coverageBps: 1_200,
weeks: 6,
executes: true,
gates: [
{ metric: "rework", thresholdBps: 1_500, lowerIsBetter: true },
{ metric: "factError", thresholdBps: 700, lowerIsBetter: true },
],
note: "2 个客户组,返工率 ≤ 15%,事实错误 ≤ 7%",
},
{
name: "expand",
coverageBps: 4_500,
weeks: 8,
executes: true,
gates: [
{ metric: "rework", thresholdBps: 1_200, lowerIsBetter: true },
{ metric: "factError", thresholdBps: 500, lowerIsBetter: true },
],
note: "6 个客户组,返工率 ≤ 12%,事实错误 ≤ 5%",
},
{
name: "full",
coverageBps: FULL,
weeks: 0,
executes: true,
gates: [],
note: "连续 8 周达标",
},
],
C: [
{
name: "shadow",
coverageBps: FULL,
weeks: 4,
executes: false,
gates: [
{ metric: "agreement", thresholdBps: 8_500, lowerIsBetter: false },
],
note: "只记录不执行,与人工决策一致率 ≥ 85%",
},
{
name: "execute-5",
coverageBps: 500,
weeks: 4,
executes: true,
gates: [
{ metric: "error", thresholdBps: 200, lowerIsBetter: true },
{ metric: "irreversible", thresholdBps: 0, lowerIsBetter: true },
],
note: "低风险动作,错误率 ≤ 2%,零不可回滚错误",
},
{
name: "execute-20",
coverageBps: 2_000,
weeks: 8,
executes: true,
gates: [
{ metric: "error", thresholdBps: 180, lowerIsBetter: true },
{ metric: "rollbackSuccess", thresholdBps: FULL, lowerIsBetter: false },
],
note: "加中风险动作,错误率 ≤ 1.8%,回滚成功率 100%",
},
{
name: "execute-60",
coverageBps: 6_000,
weeks: 8,
executes: true,
gates: [],
note: "不含高风险动作,连续 8 周达标",
},
],
};
const CASE_TASKS: Record<CaseKey, number> = {
A: RELAY.monthlyTasks,
B: QUILL.monthlyTasks,
C: RUNNER.monthlyTasks,
};
// 已观测错误率:A 采纳后仍出错 2.9%,B 事实错误 4.6%,C 审计错误 1.7%。
export const OBSERVED_ERROR_BPS: Record<CaseKey, Bps> = {
A: 290,
B: 460,
C: 170,
};
export function plansFor(key: CaseKey): readonly StagePlan[] {
return ROLLOUT_PLANS[key];
}
export function stageByName(
key: CaseKey,
name: StageName,
): StagePlan | undefined {
return ROLLOUT_PLANS[key].find((stage) => stage.name === name);
}
// 影子的覆盖率是 100%,但不执行动作,所以可执行任务数是 0。
export function stageTasks(key: CaseKey, stage: StagePlan): number {
if (!stage.executes) return 0;
return applyRate(CASE_TASKS[key], stage.coverageBps);
}
export function expectedErrors(
key: CaseKey,
stage: StagePlan,
errorBps: Bps = OBSERVED_ERROR_BPS[key],
): number {
return (stageTasks(key, stage) * errorBps) / FULL;
}
// 给定观测错误率与可接受目标,反推最大覆盖比例。
export function maxCoverageFor(
observedErrorBps: Bps,
targetErrorBps: Bps,
): Bps {
if (targetErrorBps <= 0) return 0;
if (observedErrorBps <= 0) return FULL;
if (targetErrorBps >= observedErrorBps) return FULL;
return Math.floor((targetErrorBps / observedErrorBps) * FULL);
}
export function totalWeeks(key: CaseKey): number {
return ROLLOUT_PLANS[key].reduce((sum, stage) => sum + stage.weeks, 0);
}
export type CurveRow = {
readonly name: StageName;
readonly coverageBps: Bps;
readonly weeks: number;
readonly tasks: number;
readonly expectedErrors: number;
readonly gates: readonly ExitGate[];
};
export function curve(key: CaseKey): readonly CurveRow[] {
return ROLLOUT_PLANS[key].map((stage) => ({
name: stage.name,
coverageBps: stage.coverageBps,
weeks: stage.weeks,
tasks: stageTasks(key, stage),
expectedErrors: expectedErrors(key, stage),
gates: stage.gates,
}));
}
模型里有两个容易读错的点。第一,stageTasks 对 executes: false 的阶段返回 0,而不是返回覆盖率乘以任务量;影子阶段的价值是收集反事实证据,不是执行。第二,maxCoverageFor 返回的是上限,不是建议值;实际放量还要叠加风险分层和回滚就绪检查。
怎么读模型的输出
模型输出三组数:
- 阶段任务数:这一阶段实际影响多少任务。C 的执行 5% 是 660 个,执行 20% 是 2,640 个,执行 60% 是 7,920 个。
- 预期错误数:按观测错误率估算。C 的执行 5% 是 11.22 个,执行 60% 是 134.64 个。这些不是「允许的错误数」,而是「如果错误率不变,预计会出现多少错误」。
- 最大覆盖率:目标错误率收紧后,覆盖率上限按比例下降。C 的目标从 2.0% 收到 1.0%,上限从 100% 降到 58.8%。
三组数要一起读。只看覆盖率,会忽略任务量差异;只看预期错误数,会忽略案例之间的规模差异;只看最大覆盖率,会忘记它只是上限,不是排期。
小结
- 放量曲线由覆盖率、阶段时长、退出条件三个输入决定,缺一个就不可执行。
- 三案例的曲线来自事实表:A 10%/40%,B 12%/45%,C 5%/20%/60%。
- C 的影子阶段覆盖率 100% 但不执行,模型必须把「覆盖」和「执行」分开。
- 预期错误数 = 覆盖任务数 × 观测错误率,用来比较阶段之间的暴露,不用来跨案例排名。
- 最大覆盖率 = 目标错误率 ÷ 观测错误率;目标越低,上限越低。
- C 的目标从 2.0% 收到 1.0%,上限从 100% 降到 58.8%;再收到 0.5%,降到 29.4%。
- 阈值收紧的代价不是线性的,产品负责人要同时看质量目标和放量速度。
- 上限不是建议值;实际放量还要叠加风险分层与回滚就绪检查。
阅读导航:上一节:11.2 回滚触发条件 · 下一节:12.1 显式、隐式、投诉三种反馈 。
常见错误与边界
- 只有覆盖率,没有时长和退出条件。 时间到了就自动放量,或者数据一波动就提前加量;三个输入必须同时写。
- 把影子阶段算成可执行任务。 C 的影子覆盖 100% 但不执行,按覆盖率乘任务量会把暴露量算成 13,200。
- 跨案例比较预期错误数。 A、B、C 的月任务量分别是 26,400、606、13,200,错误数不可直接排名。
- 把最大覆盖率当成排期。 上限只回答「最多能放多少」,不回答「什么时候放」;还要叠加风险分层和回滚就绪。
- 阈值收紧不重算曲线。 目标从 2.0% 收到 1.0%,上限会从 100% 降到 58.8%,排期必须跟着改。
- 忽略阶段之间的跳变。 5% 到 20% 覆盖任务数变 4 倍,20% 到 60% 变 3 倍;跳变要单独解释。
下一章换一个方向:放量之后,用户说的、用户做的、用户投诉的,哪一种反馈更可信。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。