《AI Agent 产品开发·交互、信任与上线》4.1 什么时候停下来问

审批点不是流程节点,而是动作发生前的最后一道责任关口。本节给出不可逆、高代价、外部可见三条判据,用 C Runner 的改价、下架与发通知逐项判定,说明 A、B、C 三家为什么分别需要 0 个、1 个和按风险分层的审批点,并给出可运行的审批判定函数。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

审批是产品里最贵的一种交互。它把机器时间换成人时间,把自动完成换成等待,把一次点击换成一次判断。贵不是问题,问题在于很多产品把审批放在了不需要判断的地方:每一步都停下来问,用户很快学会闭眼点同意;该停的地方没停,事故发生后才发现没有人真正做过决定。

这一节只回答一个问题:审批点应该设在哪里。判断标准不是步骤多少,而是这个动作一旦发生,后果能不能被接受。核心判断是:审批点设在不可逆动作之前,不设在每一步。

三条判据

判据判定问题典型动作处理方式
不可逆动作发生后能不能撤回发客户通知、发布报告必须审批
高代价出错后的损失是否显著改价、下架、退款外部可见时审批
外部可见客户或合作方能不能感知改价、发消息、发布按影响面审批或抽样

三条判据不是三个都要满足。不可逆单独就足够触发审批,因为事后没有补救机会。高代价和外部可见通常一起看:一个内部的高代价动作,如果有回滚和审计,可以用抽样替代审批;一个外部可见但低代价的动作,也可以自动执行后抽检。

审批点与自主度不是同一个维度。自主度回答「机器承担到哪一步」,审批点回答「人在哪一步保留决定权」。A 是建议档,机器不承担决定,人采纳就是决定本身,所以它不需要独立的审批点。B 是草稿档,机器承担生成但不承担发布,发布前需要一个审批点。C 是执行档,机器承担执行,审批点按动作风险分层。

C Runner 的五个动作

C 的动作面有五类:只读检查、改价格、改库存、下架、发通知。用三条判据逐项判定:

动作可逆性代价可见性判定
只读检查可逆低内部自动
改价格30 分钟内可反向高外部审批
改库存可反向中外部抽样
下架可重新上架高外部审批
发通知不可逆高外部审批

改价和下架都需要审批,原因不同。改价的代价高,而且价格一旦被客户看到,30 分钟窗口内的反向执行也只能恢复标价,不能恢复客户已经形成的判断。下架的影响面大,商品从货架上消失会直接影响成交,即使可以重新上架,空窗期的损失也已经发生。

改库存只抽样,不是因为它不重要,而是因为它的影响面通常局限在单个 SKU,且可以快速反向。抽样比例可以沿用 C 的审计抽检:8% 的抽检比例、单次 12 分钟,折合每任务 0.96 分钟。如果库存沿用同一抽检池,这部分成本可以并入现有的审计摊销,不需要再为库存单独加一道审批。

发通知必须审批,因为它是 C 唯一不可逆的动作。C 的错误中 86% 可回滚,剩下 14% 主要是已发出的通知。对这类动作,审批不是可选项:它是防止 0.238% 不可回滚错误变成客户投诉的唯一关口。

三案例的审批点数量

案例自主档审批点位置任务量
A Relay建议0采纳由人直接完成,不另设审批26,400 单/月
B Quill草稿1发布前606 份/月
C Runner执行3 类动作改价、下架、发通知前13,200 个/月

A 的 0 个审批点经常被误读成「没有控制」。实际上 A 的控制点就是人本身:Agent 只给建议,人确认后才写队列和优先级。这个确认动作既是交互,也是决定,不需要再套一层审批。给 A 加一个「主管审批建议」的环节,等于让人审人,机器反而变成了流程负担。

B 的 1 个审批点在发布前,位置很清楚:草稿可以随便改,发布必须有人签字。B 的一章生成后可以暂停,但暂停不是审批;它是让用户提前看到问题,不是让用户为每一章签字。

C 的 3 个审批点是按动作类型算的,不是按任务算的。C 每天 600 个任务、每月 13,200 个任务,如果每个任务都审批,一天就是 600 次点击;按动作类型分层后,大部分只读检查和库存更新自动执行,只有改价、下架、发通知进入审批。审批点按后果分类,不按任务数量堆叠。

审批点不是流程节点

流程节点回答「下一步做什么」,审批点回答「这一步要不要人负责」。两者混在一起,会出现三种典型错误:

第一种,把审批放在信息不足的位置。 用户在审批界面上只看到「是否同意改价」,看不到原价、新价、影响商品和触发规则,只能凭感觉点。审批的设计前提是:审批人能在几秒内做出有依据的判断。信息不够,审批就是形式。

第二种,把审批放在不可逆动作之后。 通知已经发出,再让主管点「确认发送」没有意义。审批必须发生在动作之前,且系统要在审批通过前冻结该动作。

第三种,把审批放在每一步。 生成、检查、改价、记录都停下来问,用户会训练出「一路同意」的习惯。审批密度超过人的判断能力,审批就退化成点击。

审批点还与降级路径有关。C 触发降级时,如果直接从自动执行退到全人工,用户会失去所有辅助;正确的降级是退到「建议 + 审批」,而不是退到「没有 Agent」。这部分会在第 6 章的降级阶梯展开。

把审批判定写成函数

下面的模型把三条判据写成一个判定函数,并把三个案例的动作面列成表。输入是一个动作的可逆性、代价与可见性,输出是自动、抽样还是审批。

// file: src/trust/04-1-approval-moments.ts
// tier: L2
// verify: node --test test/trust/04-1-approval-moments.test.ts

// 审批点判据:不可逆、高代价、外部可见。命中即停,其余走自动或抽样。
// 审批点数量按动作类型算,不按任务量算。

import { QUILL, RELAY, RUNNER } from "../cases.ts";

export type Reversibility = "reversible" | "compensable" | "irreversible";

export type Impact = "low" | "medium" | "high";

export type Visibility = "internal" | "external";

export type ApprovalMode = "auto" | "sample" | "approve";

export type ActionProfile = {
  readonly id: string;
  readonly label: string;
  readonly reversibility: Reversibility;
  readonly impact: Impact;
  readonly visibility: Visibility;
};

export type ApprovalDecision = {
  readonly mode: ApprovalMode;
  readonly reasons: readonly string[];
};

export function decideApproval(action: ActionProfile): ApprovalDecision {
  if (action.reversibility === "irreversible") {
    return { mode: "approve", reasons: ["不可逆"] };
  }
  if (action.visibility === "external" && action.impact === "high") {
    return { mode: "approve", reasons: ["外部可见", "高代价"] };
  }
  if (action.visibility === "external" && action.impact === "medium") {
    return { mode: "sample", reasons: ["外部可见", "中代价"] };
  }
  if (action.reversibility === "compensable") {
    return { mode: "sample", reasons: ["可补偿但不可直接回滚"] };
  }
  return { mode: "auto", reasons: ["内部", "低代价", "可回滚"] };
}

// A 的采纳动作由人直接完成,没有独立的审批点;这里只列 Agent 的动作面。
export const A_ACTIONS: readonly ActionProfile[] = [
  {
    id: "suggest",
    label: "给分诊建议",
    reversibility: "reversible",
    impact: "medium",
    visibility: "internal",
  },
];

export const B_ACTIONS: readonly ActionProfile[] = [
  {
    id: "draft-section",
    label: "写章节",
    reversibility: "reversible",
    impact: "low",
    visibility: "internal",
  },
  {
    id: "publish-report",
    label: "发布报告",
    reversibility: "irreversible",
    impact: "high",
    visibility: "external",
  },
];

export const C_ACTIONS: readonly ActionProfile[] = [
  {
    id: "read-only",
    label: "只读检查",
    reversibility: "reversible",
    impact: "low",
    visibility: "internal",
  },
  {
    id: "price-change",
    label: "改价格",
    reversibility: "reversible",
    impact: "high",
    visibility: "external",
  },
  {
    id: "stock-update",
    label: "改库存",
    reversibility: "reversible",
    impact: "medium",
    visibility: "external",
  },
  {
    id: "delist",
    label: "下架",
    reversibility: "reversible",
    impact: "high",
    visibility: "external",
  },
  {
    id: "send-notice",
    label: "发通知",
    reversibility: "irreversible",
    impact: "high",
    visibility: "external",
  },
];

export function actionsFor(key: "A" | "B" | "C"): readonly ActionProfile[] {
  if (key === "A") return A_ACTIONS;
  if (key === "B") return B_ACTIONS;
  return C_ACTIONS;
}

export function approvalPoints(key: "A" | "B" | "C"): ActionProfile[] {
  return actionsFor(key).filter(
    (action) => decideApproval(action).mode === "approve",
  );
}

export function approvalDensity(key: "A" | "B" | "C"): number {
  const actions = actionsFor(key);
  return approvalPoints(key).length / actions.length;
}

export function caseSummary(key: "A" | "B" | "C"): string {
  const profile = key === "A" ? RELAY : key === "B" ? QUILL : RUNNER;
  return `${profile.name}: ${approvalPoints(key).length} approval points for ${profile.monthlyTasks} monthly tasks`;
}

decideApproval 的顺序很重要:不可逆优先,其次外部可见加高代价,再次外部可见加中代价,最后才是可补偿与内部低风险。顺序保证一个动作不会因为「可回滚」而被放过——发通知即使有补偿动作,也不改变它不可逆的事实。

approvalPoints 只返回判定为审批的动作。代入三案例:A 是 0 个,B 是 1 个(发布报告),C 是 3 个(改价、下架、发通知)。approvalDensity 给出审批点占动作类型的比例:C 是 3/5,B 是 1/2,A 是 0/1。这个比例不是越低越好,而是要和动作后果对齐。

审批设计检查清单

  • 列出 Agent 的真实动作面,逐项标注可逆性、代价与可见性。
  • 不可逆动作必须有审批,且审批发生在动作之前。
  • 外部可见且高代价的动作必须有审批;中代价可以抽样。
  • 内部、低代价、可回滚的动作自动执行,不设审批。
  • 审批界面必须展示判断所需的信息:原值、新值、影响范围、触发规则。
  • 审批点按动作类型计数,不按任务量计数。
  • 审批通过前冻结动作,避免「审批中已经执行」。

小结

  • 审批点设在不可逆动作之前,不设在每一步。
  • 三条判据是:不可逆、高代价、外部可见;不可逆单独就足够触发审批。
  • C 的改价、下架、发通知需要审批,改库存抽样,只读检查自动。
  • A 的 0 个审批点不是没有控制,人的采纳就是决定本身。
  • B 的 1 个审批点在发布前,章节暂停不是审批。
  • C 的审批点按动作类型算是 3 个,不是按 13,200 个任务算。
  • 审批界面信息不足,审批会退化成形式。
  • 审批必须发生在动作之前,并通过冻结动作保证顺序。

阅读导航:上一节:3.3 撤销模型:能撤什么、撤到哪 · 下一节:4.2 审批疲劳与摩擦设计 。

常见错误与边界

  1. 把审批当成流程节点。 每一步都停,用户会无脑点同意;审批只放在有后果的动作之前。
  2. 在动作之后审批。 通知已发出、价格已生效,再确认没有意义;审批通过前必须冻结动作。
  3. 审批界面不给依据。 只显示「是否同意」,审批人无法判断;至少要给原值、新值、影响范围与触发规则。
  4. 因为可回滚就跳过审批。 改价可以反向执行,但客户已经看到的价格不会消失;可逆不等于无代价。
  5. 按任务量设审批。 C 每天 600 个任务,逐单审批会制造 600 次点击;审批按动作类型分层。
  6. 把建议档的采纳当成审批。 A 的人确认是决定本身,再加一层主管审批只会增加流程,不增加责任。

下一节讨论审批的另一个失败方向:审批点设对了,但次数太多、信息太少,用户被训练成无脑点同意,审批等于没有。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图