《AI Agent 产品开发·交互、信任与上线》12.2 抽检与人工评审

本节回答抽检与人工评审怎么设计:抽多少、谁抽、抽到什么算不合格。用 C Runner 的 8% 抽检、1,056 个样本、每次 12 分钟说明 0.96 分钟/任务的审计成本,给出按任务风险分层的抽样分配与通过、观察、不合格三档判定,并说明抽检覆盖率与成本之间的取舍。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节讲了三类反馈。这一节讲质量运营里最贵、也最容易被做形式化的一环:抽检与人工评审。抽检不是「随便看看」,它要回答三个问题:抽多少、谁抽、抽到什么算不合格。

三个问题缺一个,抽检就会变成两种极端:要么抽得太少,发现不了问题;要么抽得太多,成本把节省吃掉。C Runner 的 8% 抽检是一个可复算的起点。

抽多少:从比例到工时

C Runner 的月任务量是 13,200 个,审计抽检比例是 8%,单次复核 12 分钟。三个数字相乘,得到抽检的规模与成本:

项计算结果
月抽检样本13,200 × 8%1,056 个
单任务审计摊销8% × 12 分钟0.96 分钟
月审计工时1,056 × 12 ÷ 60211.2 小时
月审计人工成本211.2 × 30 美元6,336 美元

0.96 分钟是「每个任务平均分摊多少审计时间」,不是「每个任务都要审 0.96 分钟」。实际执行是抽 1,056 个任务,每个审 12 分钟;没被抽到的任务不审。

这个数字经常被误读成 C 的全部人工。C 还有 22% 的任务转人工,平均 14 分钟,折合 3.08 分钟/任务。审计 0.96 加上转人工 3.08,才是 4.04 分钟/任务;月人工 888.8 小时,26,664 美元。只算审计会把月总成本算成 10,886.4 美元,节省率从 73.7% 夸大成 90.8%。

谁抽:评审者要和建设者分开

抽检的第二个问题是「谁抽」。让写规则的人审自己的规则,通常会审出「符合设计意图」,而不是「符合业务正确」。可行的分工是:

角色负责不负责
规则建设者解释规则、修复缺陷判定自己规则的对错
质量评审者按标准判定、记录证据修改规则
业务专家裁定边界案例日常抽检

评审者还要校准。同一条记录,两个评审者可能一个判合格、一个判不合格;这种差异不是「谁更认真」,而是判定标准没有写清。校准的做法是定期让多个评审者独立判同一批样本,比较分歧,再回写判定标准。

评审单位也要固定。是按任务审、按动作审,还是按客户审?C 的一个任务可能包含多个动作,按任务审会漏掉单个动作的错误;按动作审样本量会膨胀。可行的做法是:按任务抽样,按动作判定;一个任务里任一动作不合格,整个任务记为不合格,同时记录是哪个动作。

分层:高风险层多抽

平均抽 8% 会有一个问题:高风险动作和低风险动作被同样的概率抽到。C 的任务结构是上下架检查 45%、价格异常 30%、库存跟进 25%;价格异常的风险明显高于上下架检查。

按风险分层的做法是给每层一个权重,再把总样本按权重分配:

层月任务量风险权重分配样本
价格异常3,960高4589
库存跟进3,300中2246
上下架检查5,940低1221

总样本仍然是 1,056 个,8% 的整体比例不变;变化的是样本在层间的分配。高风险层的抽样率约为 14.9%,低风险层约为 3.7%。这样既不增加总成本,又让高风险动作获得更高的覆盖。

分层的前提是分层标签可靠。如果任务类型标错,高风险任务被分到低风险层,分层反而会制造盲区。上线前要检查分层字段的完整率和准确率;分层字段缺失的任务,默认归入高风险层,而不是低风险层。

抽到什么算不合格

判定标准要写成分档,而不是「合格/不合格」二元。C 的审计错误率是 1.7%,执行 5% 阶段的错误率上限是 2%,执行 20% 阶段是 1.8%。可以用三档:

判定条件动作
通过样本错误率 ≤ 阈值继续当前阶段
观察高于阈值,但不超过阈值的 125%加抽样本,暂不扩量
不合格高于阈值的 125%触发回滚或整改

以 2% 阈值为例:1,000 个样本里 17 个错误是 1.7%,通过;20 个是 2.0%,仍在阈值上,通过;21 个是 2.1%,进入观察;25 个是 2.5%,仍在 125% 以内,观察;26 个是 2.6%,不合格。

分档的价值是给出「不确定时怎么办」。抽检本身有随机性:同样 1.7% 的真实错误率,不同样本可能抽出 1.5% 或 2.1%。观察档的作用不是惩罚,而是承认抽样误差,要求加抽样本再判断。

判定标准还要写清「什么算一个错误」。是事实错误、格式错误、语气问题,还是违反规则?不同错误类型的严重程度不同,不能简单相加。可行的做法是:严重错误单独计数,一般错误按比例判定;严重错误出现一次,直接进入不合格。

成本与覆盖的取舍

抽检比例不是越高越好。把 C 的比例从 8% 调到 4% 或 16%,成本和覆盖会同时变化:

抽检比例月样本分钟/任务月工时月成本
4%5280.48105.63,168 美元
8%1,0560.96211.26,336 美元
16%2,1121.92422.412,672 美元

比例翻倍,成本翻倍,但发现问题的能力不会翻倍。抽检的边际收益递减:当错误率已经很低时,多抽一倍样本可能只多发现几个边缘案例。反过来,当错误率接近阈值时,抽少了会让判定不可靠。

所以抽检比例应该跟阶段走:试点阶段抽高一些,因为错误率高、样本少;稳定阶段可以降下来,但要保留分层和严重错误全检。C 的 8% 是一个中间值,不是所有阶段的固定值。

把抽检方案写成可执行模型

下面的模型把样本量、工时、成本、分层分配和判定分档放在一起。它的输出可以直接用于抽检排期和成本估算。

// file: src/trust/12-2-review-sampling.ts
// tier: L2
// verify: node --test test/trust/12-2-review-sampling.test.ts

// 抽检方案要回答三个问题:抽多少、谁抽、抽到什么算不合格。
// 比例决定成本,分层决定覆盖,判定标准决定抽检能不能变成行动。

import { HOUR_CENTS, RUNNER } from "../cases.ts";
import { type Cents } from "../core/money.ts";
import { divide, FULL, type Bps } from "../core/rate.ts";

export const RUNNER_SAMPLING = {
  rateBps: 800,
  reviewMinutes: 12,
  monthlyTasks: RUNNER.monthlyTasks,
} as const;

export function sampleCount(monthlyTasks: number, rateBps: Bps): number {
  return Math.round((monthlyTasks * rateBps) / FULL);
}

export function reviewMinutesPerTask(
  rateBps: Bps,
  reviewMinutes: number,
): number {
  return (rateBps * reviewMinutes) / FULL;
}

export function monthlyReviewHours(
  monthlyTasks: number,
  rateBps: Bps,
  reviewMinutes: number,
): number {
  return (sampleCount(monthlyTasks, rateBps) * reviewMinutes) / 60;
}

export function monthlyReviewCents(
  monthlyTasks: number,
  rateBps: Bps,
  reviewMinutes: number,
): Cents {
  return Math.round(
    monthlyReviewHours(monthlyTasks, rateBps, reviewMinutes) * HOUR_CENTS,
  );
}

export type RiskTier = "low" | "medium" | "high";

export type Stratum = {
  readonly id: string;
  readonly volume: number;
  readonly risk: RiskTier;
};

export const RISK_MULTIPLIER: Record<RiskTier, number> = {
  low: 1,
  medium: 2,
  high: 4,
};

export type StratumSample = {
  readonly id: string;
  readonly risk: RiskTier;
  readonly volume: number;
  readonly sample: number;
};

// 总样本量由整体比例决定;分层只改变样本在层间的分配,不改变总量。
export function stratifiedSample(
  strata: readonly Stratum[],
  rateBps: Bps,
): readonly StratumSample[] {
  const totalVolume = strata.reduce((sum, stratum) => sum + stratum.volume, 0);
  const totalSample = sampleCount(totalVolume, rateBps);
  const weights = strata.map(
    (stratum) => stratum.volume * RISK_MULTIPLIER[stratum.risk],
  );
  const totalWeight = weights.reduce((sum, weight) => sum + weight, 0);

  const exact = strata.map((stratum, index) => ({
    id: stratum.id,
    risk: stratum.risk,
    volume: stratum.volume,
    value: totalWeight === 0 ? 0 : (totalSample * weights[index]) / totalWeight,
  }));
  const allocated = exact.map((row) => ({
    id: row.id,
    risk: row.risk,
    volume: row.volume,
    sample: Math.floor(row.value),
    remainder: row.value - Math.floor(row.value),
  }));

  let remaining =
    totalSample - allocated.reduce((sum, row) => sum + row.sample, 0);
  const order = allocated
    .map((row, index) => ({ index, remainder: row.remainder }))
    .sort((a, b) => b.remainder - a.remainder || b.index - a.index);
  for (const item of order) {
    if (remaining <= 0) break;
    allocated[item.index].sample += 1;
    remaining -= 1;
  }

  return allocated.map((row) => ({
    id: row.id,
    risk: row.risk,
    volume: row.volume,
    sample: row.sample,
  }));
}

export type Judgment = "pass" | "watch" | "fail";

// 低于阈值通过;高出阈值但不到 25% 进入观察;再高就判不合格。
export function judge(
  reviewed: number,
  defects: number,
  limitBps: Bps,
): Judgment {
  const rate = divide(defects, reviewed);
  if (rate <= limitBps) return "pass";
  if (rate <= Math.round(limitBps * 1.25)) return "watch";
  return "fail";
}

export type SamplingPlan = {
  readonly samples: number;
  readonly minutesPerTask: number;
  readonly hours: number;
  readonly cents: Cents;
  readonly strata: readonly StratumSample[];
};

export function runnerPlan(strata: readonly Stratum[]): SamplingPlan {
  const samples = sampleCount(
    RUNNER_SAMPLING.monthlyTasks,
    RUNNER_SAMPLING.rateBps,
  );
  return {
    samples,
    minutesPerTask: reviewMinutesPerTask(
      RUNNER_SAMPLING.rateBps,
      RUNNER_SAMPLING.reviewMinutes,
    ),
    hours: monthlyReviewHours(
      RUNNER_SAMPLING.monthlyTasks,
      RUNNER_SAMPLING.rateBps,
      RUNNER_SAMPLING.reviewMinutes,
    ),
    cents: monthlyReviewCents(
      RUNNER_SAMPLING.monthlyTasks,
      RUNNER_SAMPLING.rateBps,
      RUNNER_SAMPLING.reviewMinutes,
    ),
    strata: stratifiedSample(strata, RUNNER_SAMPLING.rateBps),
  };
}

// C 的任务结构:上下架 45%、价格异常 30%、库存跟进 25%。
export const RUNNER_STRATA: readonly Stratum[] = [
  { id: "listing", volume: 5_940, risk: "low" },
  { id: "price", volume: 3_960, risk: "high" },
  { id: "stock", volume: 3_300, risk: "medium" },
];

export const C_AUDIT_LIMIT_BPS: Bps = 200;

模型里有两个刻意设计。第一,stratifiedSample 先按整体比例算总样本,再按权重分配;分层不改变总成本。第二,judge 用 125% 作为观察档上限;这个比例可以调整,但要在抽检方案里提前写清。

抽检不是审计的全部

抽检只回答「样本里有多少错」。它不回答「谁负责」「能不能回滚」「客户有没有受影响」。这些要回到审计记录和事件流程。

C 的 8% 抽检对应 0.96 分钟/任务,只是审计成本;转人工的 3.08 分钟不能省。产品负责人做预算时,要把两笔账分开列:抽检成本随比例变化,转人工成本随自动完成率变化。把两笔账混在一起,会得出「抽检越少越省钱」的错误结论。

小结

  • 抽检要回答三个问题:抽多少、谁抽、抽到什么算不合格。
  • C 的 8% 抽检是 1,056 个样本,每个 12 分钟,折合 0.96 分钟/任务、211.2 小时、6,336 美元。
  • 0.96 分钟只是审计摊销,不含 22% 转人工的 3.08 分钟;两者合计 4.04 分钟。
  • 评审者要和规则建设者分开;判定标准要校准,评审单位要固定。
  • 分层不改变总样本,只改变分配;C 的高风险层拿 589 个样本,低风险层拿 221 个。
  • 判定分通过、观察、不合格三档;观察档是为了承认抽样误差,不是惩罚。
  • 抽检比例翻倍,成本翻倍,发现问题的能力不会翻倍;比例要跟阶段走。
  • 抽检只回答样本里有多少错,不回答责任、回滚和客户影响。

阅读导航:上一节:12.1 显式、隐式、投诉三种反馈 · 下一节:12.3 质量运营的节奏 。

常见错误与边界

  1. 把 0.96 分钟当成 C 的全部人工。 它只是审计摊销;加上 3.08 分钟转人工才是 4.04 分钟,漏掉会把节省率从 73.7% 夸大成 90.8%。
  2. 让规则建设者审自己的规则。 审出的是「符合设计意图」,不是「符合业务正确」;评审者要独立。
  3. 平均抽样,不分层。 高风险动作和低风险动作被同样概率抽到,高风险覆盖不足;分层不增加总样本。
  4. 分层标签不可靠。 任务类型标错会让高风险任务落入低风险层;缺失标签默认归高风险,不归低风险。
  5. 判定只有合格与不合格。 抽样有随机性,需要观察档加抽样本;严重错误应单独计数并直接判不合格。
  6. 抽检比例一刀切。 试点阶段错误率高、样本少,应多抽;稳定阶段可降,但保留分层和严重错误全检。

下一节讲质量运营的节奏:日看异常、周看趋势、月看结构。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图