《AI Agent 产品开发·任务定义与能力边界》6.2 定档判据:错误代价、可回滚性与审计有效性

上一节给了四档,这一节回答为什么停在这一档。错误代价、可回滚性、审计有效性、时延容忍四个维度,每维 0 到 2 分,满分 8 分;三案例分别打出 5、6、6 分。本节给出锚点、定档线与三条打分纪律,并说明分数只回答能不能,不回答该不该,组织约束、署名责任和任务分层都在分数之外。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节把自主度拆成建议、草稿、审批、执行四档,回答的是「它承担到哪一步」。但产品评审里真正难的问题不是「有哪四档」,而是「我们这个任务该停在哪一档」。如果只靠直觉,讨论很快会变成两种声音:业务方希望更自动,风控方希望更保守,谁也无法说服谁。

这一节把定档拆成四个可以打分的维度:错误代价、可回滚性、审计有效性、时延容忍。每维 0 到 2 分,满分 8 分,按总分映射到四档。分数不是为了让争论消失,而是为了让争论落到具体的维度上:你们争的到底是错误代价,还是审计能力?

四个维度分别问什么

四个维度不是并列的「好坏」,而是四种不同的约束。错误代价问「错了会怎样」,可回滚性问「错了能不能退」,审计有效性问「错了能不能发现」,时延容忍问「人能不能等」。四个问题都回答完,档位才有依据。

维度0 分1 分2 分
错误代价高:伤客户、违法或资金损失中:返工与延误低:可忽略
可回滚性不可回滚部分可回滚,需人工完全可回滚
审计有效性无法事后判断对错抽样可判断全量可判断
时延容忍必须秒级分钟级小时级及以上

错误代价看最坏情况,不看平均值。一个动作 99% 的时候只影响一张商品卡片,1% 的时候会把价格改成零,错误代价仍然是高,因为那 1% 的损失足以覆盖前面 99% 的收益。打分时问「最坏的一次会伤到谁、伤多深」,而不是「大部分时候有没有问题」。

可回滚性看退回的成本,不看有没有撤销按钮。改一个价格可以再改回去,成本很低;发一封已经到达客户邮箱的通知,撤回也无法消除影响;删除一条数据如果没有备份,就不可回滚。部分可回滚是指需要人工介入才能退,完全可回滚是指系统能自动退。

审计有效性看事后能不能判断对错,不看有没有日志。日志记录「调用成功」没有用,必须能回答「它当时看到了什么、做了什么判断、执行了什么动作、结果是什么」。全量可判断是指每一个动作都能被复核,抽样可判断是指只能按比例抽查。

时延容忍看用户能不能等,不看系统跑得多快。客服分诊必须秒级返回,因为用户在等回复;客户月报可以小时级生成,因为下周才交付;运营巡检可以分钟级,因为异常不差这几分钟。时延容忍越低,越难在人机之间插入审批环节。

为什么是 0 到 2 分

很多团队喜欢用 0 到 10 分,觉得粒度更细、更专业。但四个维度各自只有三种真正不同的状态:高/中/低、不可回滚/部分/完全、无法判断/抽样/全量、秒级/分钟级/小时级。再细的分数不会增加信息,只会增加争论:7 分和 8 分到底差在哪,没有人说得清。

0 到 2 分还有一个好处:它强迫打分者选边。5 分和 6 分的差别是真实的,因为它意味着某一维从 1 分变成了 2 分;7.3 分和 7.4 分的差别是假的,因为它只反映了打分者的手感。定档需要的是可复算的判断,不是精确到小数点的印象。

三个维度的锚点必须提前写死,不能等到评审会上再解释。比如「错误代价 1 分」到底指返工还是延误,必须在打分前统一;否则同一个任务,业务方打 1 分、风控方打 0 分,最后只能取平均,而平均会把最坏情况抹掉。本书的口径是:错误代价看最坏情况,可回滚性看退回成本,审计有效性看事后可判断程度,时延容忍看用户等待上限。

三个案例各打多少分

按上面的锚点,三个案例的分数如下。这张表是全书唯一口径,任何章节引用分数都必须与它一致。

维度A RelayB QuillC Runner
错误代价111
可回滚性221
审计有效性212
时延容忍022
总分566

A Relay(Northwind 的客服工单分诊 Agent)的错误代价是 1 分:分诊错了会返工、会延误,但不会直接造成资金损失。可回滚性是 2 分:改队列、改优先级都可以再改。审计有效性是 2 分:每条建议都带队列、优先级和模板号,事后能逐条核对。时延容忍是 0 分:客服在等回复,分诊必须秒级返回。合计 5 分。

B Quill(Meridian 的客户报告起草 Agent)的错误代价是 1 分:报告出错会返工、会影响客户关系,但通常可以更正。可回滚性是 2 分:草稿没有发布之前可以随便改。审计有效性是 1 分:只能抽样判断,因为一份 12–20 页的报告不可能逐句复核。时延容忍是 2 分:报告下周才交付,生成花 11 分钟不影响。合计 6 分。

C Runner(Kettle 的电商运营任务执行 Agent)的错误代价是 1 分:改错价格或库存会造成损失,但损失范围通常可控。可回滚性是 1 分:86% 的错误可回滚,仍有 14% 不可回滚,不可回滚错误率是 0.238%。审计有效性是 2 分:每个动作都有前后值和回滚句柄,可以全量复核。时延容忍是 2 分:运营巡检不要求秒级。合计 6 分。

三个案例的总分是 5、6、6,不是 7、8、9。这不是说它们能力弱,而是说四维打分本来就更保守:错误代价和可回滚性各扣一分,就很难上 7 分。分数的意义不在于高低,而在于它把「为什么不能更自动」拆成了具体的短板。A 的短板是时延,B 的短板是审计,C 的短板是回滚。

分数怎么映射到档位

定档规则是硬边界,不做四舍五入:

总分 ≥ 7           → 可执行档
总分 5–6           → 审批档
总分 3–4           → 草稿档
总分 ≤ 2           → 建议档

按这条规则,A 的 5 分映射到审批档,B 的 6 分映射到审批档,C 的 6 分也映射到审批档。但三个案例的实际选择是 A 建议、B 草稿、C 执行。三个分数,三个不同结果,这就是本节最重要的结论:分数只回答「能不能」,不回答「该不该」。

A 的 5 分说明它在能力上可以进入审批档:动作可枚举、可预览、可回滚,审计也能全量判断。但团队实际选择建议档,理由是分诊错误会影响客户体验与 SLA 承诺。这不是分数算错了,而是分数之外还有一条组织接受度的线。第 6.3 节会把这条线单独展开。

B 的 6 分说明它可以进入审批档:人批准后机器执行。但 B 的产出是客户报告,报告要由顾问署名,审批只能判断「能不能发」,不能替代逐段审改。63% 一次采纳、28% 小改、9% 返工,事实错误率 4.6%,这些数字说明审改不可压缩。所以 B 实际停在草稿档。

C 的 6 分说明它按整类任务打分只能到审批档,但 C 实际在执行档运行。原因不是分数失效,而是任务内部有分层:低风险动作的错误代价低、可回滚性高、审计全量可判断,单独打分可以进执行档;高风险动作则只能进建议档。C 只对低风险和中风险动作执行,高风险动作不在执行范围内。聚合分数掩盖了分层,这是第 6.3 节要讲的第三种失效场景。

打分时的三条纪律

四维打分最容易变成「先有结论,再凑分数」。要避免这一点,打分时必须遵守三条纪律。

  1. 打任务,不打模型。 同一套模型,分诊任务和改价任务的分数完全不同。分数描述的是任务的风险结构,不是模型的能力。模型升级不会自动让分数变高;只有权限面、回滚方案、审计能力变化,分数才会变。
  2. 打最坏情况,不打平均情况。 错误代价看最坏的一次会伤到谁,可回滚性看最坏的一次能不能退,审计有效性看最坏的一次能不能查。平均值会让高风险动作藏在低风险动作里,C 的分层问题就是这样被掩盖的。
  3. 打现在的控制,不打路线图。 「我们下个月会加审计」不算 2 分,只算现在能看到的控制。路线图上的能力不能用来定档,否则产品会按未来的控制上线,用现在的风险运行。

这三条纪律听起来简单,执行起来很难。最常见的违规是第一条:团队把模型升级当成升档理由,说「新一代模型准确率更高,可以执行了」。但准确率提高只影响错误发生的频率,不改变错误发生后的代价和可回滚性。执行档需要的是「错了能退、能查、有人兜底」,不是「更少出错」。

一次完整的打分示范

以 A Relay 为例,把四个维度各走一遍,可以看到分数不是拍脑袋,而是四个具体判断的加总。

维度判断分数依据
错误代价分诊错了会返工、延误,但不会直接造成资金损失1最坏情况是客户被路由到错误队列
可回滚性队列和优先级都可以再改2不需要人工补偿,重新写入即可
审计有效性每条建议都带队列、优先级、模板号2事后可以逐条核对
时延容忍客服在等回复,分诊必须秒级0不能插入分钟级审批
合计5映射到审批档

这张表里最容易被改的是第一行。业务方容易把「分诊错了会返工」打成 0 分,理由是「客户会不高兴」;风控方容易把「不会造成资金损失」打成 2 分,理由是「只是内部队列」。两个方向都把最坏情况往自己希望的方向挪。打分时要把最坏情况写成一句话,再让所有人对这句话投票,而不是对分数投票。

第二容易被改的是第四行。时延容忍看起来是技术指标,实际上是业务承诺:客服的 SLA 要求秒级响应,分诊就不能等人批准。如果产品团队说「加一个审批也就多几秒」,他改变的不是系统延迟,而是 SLA 承诺;这句话应该由业务负责人确认,而不是由工程师估算。

打完 A 的分,再看 B 和 C,会发现每一分的差异都能追到一个具体判断。B 的审计是 1 分,因为 12–20 页报告只能抽样复核;C 的回滚是 1 分,因为 14% 的错误不可回滚。分数不是四个维度的平均印象,而是四个具体判断的加总。

用代码把分数复算出来

下面这个模型把四个维度、锚点、定档线和三案例分数放在一起。它的作用不是替评审打分,而是让「为什么是 5 分」可以被别人复算。

// file: src/handoff/06-2-level-criteria.ts
// tier: L2
// verify: node --test test/handoff/06-2-level-criteria.test.ts

// 四维定档:错误代价、可回滚性、审计有效性、时延容忍。
// 每维 0-2 分,满分 8;分数回答「能不能」,不回答「该不该」。

import { type Autonomy } from "../cases.ts";

export type Dimension = "error-cost" | "rollback" | "audit" | "latency";
export type DimensionScore = 0 | 1 | 2;
export type Scores = Record<Dimension, DimensionScore>;

export const DIMENSION_ORDER: readonly Dimension[] = [
  "error-cost",
  "rollback",
  "audit",
  "latency",
];

export const DIMENSION_LABEL: Record<Dimension, string> = {
  "error-cost": "错误代价",
  rollback: "可回滚性",
  audit: "审计有效性",
  latency: "时延容忍",
};

export const ANCHORS: Record<Dimension, readonly [string, string, string]> = {
  "error-cost": [
    "高:伤客户、违法或资金损失",
    "中:返工与延误",
    "低:可忽略",
  ],
  rollback: [
    "不可回滚",
    "部分可回滚,需人工",
    "完全可回滚",
  ],
  audit: [
    "无法事后判断对错",
    "抽样可判断",
    "全量可判断",
  ],
  latency: [
    "必须秒级",
    "分钟级",
    "小时级及以上",
  ],
};

export function totalScore(scores: Scores): number {
  return DIMENSION_ORDER.reduce((sum, name) => sum + scores[name], 0);
}

// 定档线是硬边界,不做四舍五入:7 分才进执行档,5 分才进审批档。
export function levelForScore(total: number): Autonomy {
  if (total >= 7) return "execute";
  if (total >= 5) return "approve";
  if (total >= 3) return "draft";
  return "advise";
}

export type ScoreResult = {
  readonly total: number;
  readonly level: Autonomy;
  readonly weakest: readonly Dimension[];
};

export function evaluate(scores: Scores): ScoreResult {
  const total = totalScore(scores);
  const lowest = Math.min(...DIMENSION_ORDER.map((name) => scores[name]));
  return {
    total,
    level: levelForScore(total),
    weakest: DIMENSION_ORDER.filter((name) => scores[name] === lowest),
  };
}

// 三案例打分来自事实表:A 5 分,B 6 分,C 6 分。
export const CASE_SCORES: Record<"A" | "B" | "C", Scores> = {
  A: { "error-cost": 1, rollback: 2, audit: 2, latency: 0 },
  B: { "error-cost": 1, rollback: 2, audit: 1, latency: 2 },
  C: { "error-cost": 1, rollback: 1, audit: 2, latency: 2 },
};

export const CASE_RESULTS = {
  A: evaluate(CASE_SCORES.A),
  B: evaluate(CASE_SCORES.B),
  C: evaluate(CASE_SCORES.C),
} as const;

totalScore 只做加法,levelForScore 只做边界判断。两个函数都不包含任何业务解释,这样评审时可以先对数字,再对解释。如果两个人对同一个任务打出不同的总分,差异一定落在某一维的锚点上,而不是落在「感觉」上。

evaluate 额外返回 weakest,也就是得分最低的维度。这个字段比总分更有用:A 的短板是时延,所以它不可能把审批环节插在秒级路径上;B 的短板是审计,所以它必须保留逐段审改;C 的短板是回滚,所以它必须先做影子运行和低风险动作。总分告诉你「能不能」,短板告诉你「先补哪一块」。

CASE_SCORES 和 CASE_RESULTS 是三案例的唯一入口。任何章节要引用 5、6、6,都应该从这里取,而不是在文章里另写一套。这样做的原因和 1.3 节的任务规格一样:同一个数字在两处定义,早晚会漂移;漂移之后,评审会上没有人知道该信哪个。

分数之外还要写什么

四维分数是一张入场券,不是一份任命书。打完分之后,产品评审还必须补三样东西,否则分数会被误读。

第一样是短板说明。每个案例至少要写一句「最低分是哪一维、为什么」。A 的时延是 0 分,因为客服在等回复;B 的审计是 1 分,因为报告只能抽样复核;C 的回滚是 1 分,因为 14% 的错误不可回滚。短板说明决定了下一步该补什么,而不是只决定档位。

第二样是例外清单。分数是对整类任务的聚合,但任务内部往往有分层。C 的 6 分是整类任务的平均,低风险动作单独打分可以进执行档,高风险动作只能进建议档。例外清单要写清哪些子类可以执行、哪些子类必须审批、哪些子类只能建议。没有例外清单,聚合分数会把高风险动作一起放出去。

第三样是组织约束。分数只回答技术上的「能不能」,组织还要回答「该不该」。A 的 5 分够审批档,但团队选择建议档;B 的 6 分够审批档,但报告要署名;C 的 6 分按整类只能到审批档,但低风险子集可以执行。组织约束不是分数的修正项,而是分数之外的独立判断。产品经理的工作是把这条线写清楚,而不是把它藏进分数里。

小结

  • 定档四维是错误代价、可回滚性、审计有效性、时延容忍,每维 0 到 2 分,满分 8 分。
  • 0 到 2 分不是精度不够,而是每个维度只有三种真正不同的状态;更细的分数只会增加争论。
  • 三案例总分是 A 5 分、B 6 分、C 6 分;按定档线都映射到审批档,但实际选择分别是建议、草稿、执行。
  • 分数只回答「能不能」,不回答「该不该」;A 的组织接受度、B 的署名责任、C 的任务内分层都在分数之外。
  • 打分要打任务不打模型、打最坏情况不打平均情况、打现在的控制不打路线图。
  • weakest 比总分更有用:它告诉你先补哪一维,而不是只告诉你停在哪一档。
  • 分数之外还要写短板说明、例外清单和组织约束,三者缺一,分数就会被误读。

阅读导航:上一节:6.1 建议、草稿、审批、执行四档 · 下一节:6.3 aia-lab:自主度评级模型与它的失效场景 。

常见错误与边界

  1. 用 0 到 10 分制造精确感。 四个维度只有三种状态,7.3 分和 7.4 分的差别是手感,不是信息;定档需要可复算的判断。
  2. 用平均情况打错误代价。 99% 的时候只影响一张卡片、1% 的时候把价格改成零,错误代价仍然是高;平均值会把最坏情况抹掉。
  3. 把路线图上的能力算进分数。 「下个月会加审计」不算 2 分,只算现在能看到的控制;否则产品会按未来的控制上线、用现在的风险运行。
  4. 把总分当成档位结论。 5、6、6 都映射到审批档,但实际选择是建议、草稿、执行;分数是入场券,不是任命书。
  5. 忽略任务内分层。 C 的 6 分是整类聚合,低风险动作可以进执行档,高风险动作只能进建议档;没有例外清单,聚合分数会把高风险动作一起放出去。
  6. 把组织约束藏进分数。 A 选建议档的理由是组织接受度,不是分数算错;把这条线藏进分数,下次换人评审时又会被翻出来。

这一节把「为什么停在这一档」写成了可打分的判据。下一节进入 aia-lab,把评级模型跑起来,并故意让它给出与 A 实际选择不同的结论。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图