《AI Agent 产品开发·任务定义与能力边界》6.3 aia-lab:自主度评级模型与它的失效场景

aia-lab 把四维打分和定档线写成可运行模型,并故意让 A 的 5 分映射到审批档,再与它实际选择的建议档对照。本节解释组织接受度如何把 A 拉回建议档,给出分数失效的三种场景——组织约束、署名责任与任务内风险分层——并说明产品经理如何解释偏离、写清升档条件。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节把定档写成了四个维度、八分制和三案例的 5、6、6。那张表看起来已经足够客观:有锚点、有分数、有定档线,似乎代入就能得出结论。但真实评审里,最危险的恰恰是这种「代入就出结论」的模型。它会把一个需要解释的组织判断,压缩成一个看起来中立的数字。

aia-lab 这一节要做一件反直觉的事:先把模型写对,再让它给出一个与 A 实际选择不同的结论。A 的 5 分按定档线映射到审批档,但 A 实际选择建议档。模型没有算错,A 也没有选错;错的是把分数当成最终答案。这个差值就是本节要讲的东西。

评级模型只做两件事

06-3-lab-autonomy-score.ts 建立在上一节的 06-2-level-criteria.ts 之上,不重新定义维度和锚点。它只做两件事:把分数映射成一个「分数建议」档位,再把实际选择与这个建议档位做比较,算出方向和差值。

概念含义来源
分数四维相加,0 到 8 分CASE_SCORES
分数建议按定档线映射出的档位levelForScore
实际选择案例事实表里的自主档src/cases.ts
差值实际选择与分数建议之间隔几档LEVEL_RANK
理由为什么偏离分数建议人写的组织判断

这张表里只有最后一列是人写的。前四列都可以由代码复算,最后一列不能。评级模型的价值不是替人写理由,而是把「哪里偏离了、偏离几档」算清楚,让人只需要解释理由,不需要重新争论分数。

A 的 5 分为什么落到审批档

把 A Relay 的四维分数代入:错误代价 1 分,可回滚性 2 分,审计有效性 2 分,时延容忍 0 分,合计 5 分。按定档线,5 到 6 分是审批档,所以分数建议是审批档。

这个结论在能力上是成立的。A 的动作是写队列、写优先级、选模板,都是可枚举、可预览、可回滚的动作;审计也能全量判断,每条建议都带队列、优先级和模板号。如果只看「能不能让机器执行已批准的动作」,A 完全够审批档。

但 A 实际选择建议档:机器只给建议,人确认后才写入。事实表里,A 每单人工 0.75 分钟,模型 0.30 分钟,合计人机 1.05 分钟;月工单 26,400 单,人工从 1,540 小时降到 330 小时,月省 34,651.2 美元,节省率 75.0%。这套账是在建议档下成立的,不是审批档。

如果 A 真的升到审批档,产品形态会变成「机器提出写队列的动作,人点批准,机器写入」。技术上只差一个写权限,组织上差的却是责任:审批档里,人要为「允许机器写」负责;建议档里,人只为「这条建议对不对」负责。前者要求审批界面把动作、前后值、回滚方式都写清楚,后者只需要把建议和依据写清楚。

组织接受度这条线

A 的团队坚持人在决策链上,理由是分诊错误会影响客户体验与 SLA 承诺。这条理由不在四维分数里:错误代价已经打了 1 分,可回滚性已经打了 2 分,审计已经打了 2 分,时延打了 0 分。四维已经把能打的分都打了,剩下的不是分数问题,而是组织愿不愿意把「写队列」这个动作交给机器。

这就是组织接受度这条线。它不是一个可以加进总分的第五维,因为它的方向和任务风险无关:同样 5 分的任务,有的组织愿意审批,有的组织只愿意建议。它也不是一句「团队保守」可以打发的:分诊错误会影响客户体验与 SLA 承诺,这是真实的业务约束,不是情绪。

产品经理的工作不是把这条线藏进分数,而是解释为什么降档。解释要回答三个问题:

  1. 降档损失了多少效率? A 从审批档降到建议档,每单多一次确认,但确认只要 0.75 分钟;相比纯人工 3.5 分钟,仍然压缩了 78.6%。降档的代价是可算的。
  2. 不降档会带来什么风险? 如果机器直接写队列,分诊错误会在人看到之前进入系统,客户可能收到错误路由;SLA 承诺让这个风险不可接受。
  3. 什么条件下可以升档? 比如连续 4 周采纳率 ≥ 75%、错误率 ≤ 3%,并且审批界面能让人在 45 秒内看懂动作和回滚。条件写清楚,降档就不是永久放弃,而是有退出条件的试点。

这三个问题答完,降档就从「团队保守」变成了「有依据的产品决策」。评审会上最怕的不是降档,而是降档没有理由;没有理由的降档会在下一次换人时被推翻,然后产品在两种档位之间来回摇摆。

分数失效的三种场景

A 不是唯一偏离分数的案例。B 和 C 也偏离,只是方向不同。把三个案例放在一起,可以得到分数失效的三种典型场景。

场景案例分数建议实际选择差值失效原因
组织约束A Relay审批建议降 2 档分诊错误影响客户体验与 SLA 承诺
署名责任B Quill审批草稿降 1 档报告要由顾问署名,审批替代不了审改
任务内分层C Runner审批执行升 1 档聚合 6 分掩盖了低风险动作可进执行档

第一种是组织约束。 A 的分数够审批,但组织只接受建议。这类失效的特征是:技术控制已经具备,责任转移没有被接受。处理方式不是改分数,而是写清降档理由、降档代价和升档条件。

第二种是署名责任。 B 的分数够审批,但 B 的产出是客户报告,报告要由顾问署名。审批只能判断「能不能发」,不能替代逐段审改。B 的一次采纳率是 63%,小改率 28%,返工率 9%,事实错误率 4.6%;这些数字说明审改不可压缩。人不是在批准一个动作,而是在为一份署名文件负责,所以 B 必须停在草稿档。

第三种是任务内分层。 C 的聚合分数是 6 分,按整类任务只能到审批档。但 C 的任务内部有分层:低风险动作的错误代价低、可回滚性高、审计全量可判断,单独打分可以进执行档;高风险动作则只能进建议档。C 实际执行的是低风险和中风险动作,高风险动作不在执行范围内。聚合分数既低估了低风险子集,也高估了高风险子集;如果不做分层,6 分会把两类动作一起送进审批档,或者一起挡在执行档外面。

这三种场景有一个共同点:分数没有算错,错的是把聚合分数当成任务全貌。组织约束是分数之外的一条线,署名责任是审批能力之外的一条线,任务内分层是聚合粒度之外的一条线。三条线都不在四维模型里,但都会改变最终档位。

把差值和理由写进结构

下面这个模型把「分数建议、实际选择、方向、差值、理由」写成一个结构。它不是让代码替产品做决定,而是让偏离变得可见、可解释、可复查。

// file: src/handoff/06-3-lab-autonomy-score.ts
// tier: L2
// verify: node --test test/handoff/06-3-lab-autonomy-score.test.ts

// 评级模型先只按四维打分,再把组织与责任约束叠上去。
// 输出是「分数建议」与「实际选择」的差,不是一个自动结论。

import { type Autonomy, byKey } from "../cases.ts";
import {
  CASE_SCORES,
  evaluate,
  type Scores,
  type ScoreResult,
} from "./06-2-level-criteria.ts";

export type CaseKey = "A" | "B" | "C";

export const LEVEL_RANK: Record<Autonomy, number> = {
  advise: 0,
  draft: 1,
  approve: 2,
  execute: 3,
};

export type Direction = "downgrade" | "upgrade" | "match";

export type Reconciliation = {
  readonly caseKey: CaseKey;
  readonly score: ScoreResult;
  readonly ceiling: Autonomy;
  readonly chosen: Autonomy;
  readonly direction: Direction;
  readonly delta: number;
  readonly reason: string;
};

export function directionOf(ceiling: Autonomy, chosen: Autonomy): Direction {
  const diff = LEVEL_RANK[chosen] - LEVEL_RANK[ceiling];
  if (diff < 0) return "downgrade";
  if (diff > 0) return "upgrade";
  return "match";
}

export function reconcile(
  caseKey: CaseKey,
  scores: Scores,
  reason: string,
): Reconciliation {
  const score = evaluate(scores);
  const chosen = byKey(caseKey).autonomy;
  return {
    caseKey,
    score,
    ceiling: score.level,
    chosen,
    direction: directionOf(score.level, chosen),
    delta: Math.abs(LEVEL_RANK[chosen] - LEVEL_RANK[score.level]),
    reason,
  };
}

// 三种「分数失效」不是模型算错,而是分数之外还有三条线。
export const FAILURE_MODES: readonly Reconciliation[] = [
  reconcile(
    "A",
    CASE_SCORES.A,
    "组织接受度:分诊错误影响客户体验与 SLA 承诺,团队坚持人在决策链上",
  ),
  reconcile(
    "B",
    CASE_SCORES.B,
    "署名责任:客户报告要由顾问署名,审批不足以替代逐段审改",
  ),
  reconcile(
    "C",
    CASE_SCORES.C,
    "任务内分层:聚合 6 分掩盖了低风险动作可进执行档、高风险动作只能进建议档",
  ),
];

export function byCase(caseKey: CaseKey): Reconciliation {
  const found = FAILURE_MODES.find((item) => item.caseKey === caseKey);
  if (!found) throw new Error(`unknown case: ${caseKey}`);
  return found;
}

// 同一个分数可以落到不同选择;产品经理要能解释差在哪一条线上。
export function explain(caseKey: CaseKey): string {
  const item = byCase(caseKey);
  return `${caseKey} 分数 ${item.score.total} 建议 ${item.ceiling},实际 ${item.chosen}:${item.reason}`;
}

reconcile 接收案例键、分数和理由,返回一个 Reconciliation。它内部调用上一节的 evaluate 得到分数建议,再从 src/cases.ts 读取实际选择,用 LEVEL_RANK 算出方向和差值。方向和差值都是机械计算,理由是人写的,两者在结构上分开。

FAILURE_MODES 把三种场景写成三条记录。A 的记录是降 2 档,理由是组织接受度;B 的记录是降 1 档,理由是署名责任;C 的记录是升 1 档,理由是任务内分层。这三条记录可以直接放进评审材料,让评审者一眼看到「模型建议什么、实际选什么、为什么不同」。

explain 把一条记录读成一句话,例如「A 分数 5 建议 approve,实际 advise:组织接受度……」。这句话的作用不是说服谁,而是让会议从「你们为什么不用审批档」变成「组织接受度这条线是否仍然成立」。前者是立场之争,后者是可以被证据推翻的判断。

把偏离写成一张评审卡

三条偏离记录如果只留在代码里,评审会上仍然会被当成三个孤立的故事。把它们写成一张评审卡,可以让讨论围绕同一组字段展开。

字段A RelayB QuillC Runner
分数566
分数建议审批审批审批
实际选择建议草稿执行
方向与差值降 2 档降 1 档升 1 档
偏离理由组织接受度署名责任任务内分层
升档条件采纳率、错误率、审批界面返工率、事实错误率回滚成功率、不可回滚错误率

这张卡的作用是把「为什么不用审批档」拆成六个可以分别回答的问题。分数和建议是复算出来的,实际选择和理由是写出来的,升档条件是谈出来的。三类信息放在一张卡上,评审者可以先对数字,再对理由,最后对条件,不会一上来就争论立场。

评审卡还要留一列「复查日期」。偏离不是永久结论:A 的组织接受度会随信任变化,B 的审改比例会随模板变化,C 的风险分层会随动作类型变化。没有复查日期,评审卡会变成一张过期的许可证。

如果评审卡上出现「理由」一栏写不出来,或者「升档条件」一栏写不出来,说明这个偏离还没有被真正解释。前者是组织没有想清楚为什么降档,后者是组织没有想清楚什么情况下升档;两种情况下,档位都不应该被当成定论。

还有一个常见误读:把分数建议当成上限。C 的分数建议是审批,实际执行,说明分数建议不是上限;A 的分数建议是审批,实际建议,说明它也不是下限。分数建议只是一个参照点,实际档位可以在它之上或之下,前提是偏离有理由、有差值、有复查条件。

反过来,也不能因为「分数只是参照」就忽略分数。分数仍然是唯一可复算的部分;如果偏离理由和分数完全脱节,比如低分却直接执行、高分却停在建议,评审者就有理由要求重新打分。参照点的价值在于它让偏离可见,而不是让偏离随意。

评审卡可以按下面的顺序复查:

  1. 先看分数有没有变。 控制能力变了,分数才会变;模型升级不算控制能力变化。
  2. 再看理由有没有变。 组织信任、署名责任、风险分层都可能变化;理由变了,档位要重新讨论。
  3. 最后看升档条件有没有达到。 达到就升档,没达到就继续观察;不要用「感觉更稳了」替代条件。

怎么在评审会上用这个模型

这个模型不适合单独使用,它适合放在评审会的第二步。第一步是用上一节的四维打分对数字,第二步是用这个模型对偏离,第三步才是讨论理由是否成立。

  1. 先对分数。 四个人分别打分,差异超过 1 分就停下来对锚点,不要对结论。分数没对齐之前,讨论档位没有意义。
  2. 再看偏离。 用 reconcile 算出每个案例的方向和差值。偏离本身不是问题,无法解释的偏离才是问题。
  3. 逐条读理由。 组织约束、署名责任、任务内分层,三条线各自回答「为什么分数不够用」。理由要能被证据支持,不能只写「团队觉得」。
  4. 写升档条件。 降档不是永久放弃,要写清什么条件下可以升回去。A 的升档条件是采纳率、错误率和审批界面可读性;B 的升档条件是返工率和事实错误率;C 的升档条件是回滚成功率和不可回滚错误率。
  5. 定期复查。 分数会随控制能力变化,组织接受度也会随信任变化。建议每季度复查一次,而不是上线时定一次就再也不看。

这五步里,最容易被跳过的是第四步。降档如果没有升档条件,团队会把降档当成最终结论,产品永远停在低档;升档如果没有降档条件,团队会把升档当成一次性胜利,出了问题只能停用。两个方向都需要条件,档位才是一个可运营的状态,而不是一个一次性决策。

小结

  • aia-lab 的评级模型只做两件事:把分数映射成建议档位,把实际选择与建议档位做比较。
  • A 的 5 分按定档线映射到审批档,实际选择建议档,差值是降 2 档;模型没有算错,A 也没有选错。
  • 组织接受度不是第五维,而是分数之外的一条线;分诊错误影响客户体验与 SLA 承诺,是真实的业务约束。
  • 产品经理的工作是解释为什么降档:降档损失多少效率、不降档有什么风险、什么条件下可以升档。
  • 分数失效有三种场景:组织约束(A)、署名责任(B)、任务内分层(C)。
  • B 的 63% 一次采纳、28% 小改、9% 返工、4.6% 事实错误说明审改不可压缩,审批替代不了署名责任。
  • C 的聚合 6 分掩盖了低风险动作可进执行档、高风险动作只能进建议档;执行只覆盖低风险和中风险子集。
  • 偏离不可怕,无法解释的偏离才可怕;每条偏离都要有理由、有差值、有复查周期。

阅读导航:上一节:6.2 定档判据:错误代价、可回滚性与审计有效性 · 下一节:7.1 谁做决定:决策权分配表 。

常见错误与边界

  1. 把评级模型当成自动定档器。 模型只算分数建议和偏离,不写理由;理由必须由人给出,否则组织约束会被藏进数字里。
  2. 把组织接受度当成第五维。 它和任务风险无关,同样的分数在不同组织会落到不同档位;把它加进总分,会让分数失去可复算性。
  3. 降档不写理由。 没有理由的降档会在下一次换人时被推翻,产品在两种档位之间来回摇摆;理由要能回答损失、风险和升档条件。
  4. 把 B 的审批当成审改。 审批只能判断「能不能发」,不能替代逐段修改;B 的 63/28/9 和 4.6% 说明审改是责任的一部分。
  5. 用聚合分数覆盖任务内分层。 C 的 6 分是整类平均,低风险子集可以进执行档,高风险子集只能进建议档;不分层就会把两类动作一起放行或一起挡住。
  6. 只定档不复查。 分数和控制能力会变,组织信任也会变;没有复查周期的档位,迟早会变成一张过期的许可证。

这一节把评级模型和它的失效场景讲完了。下一节换一个角度:档位定了之后,谁提出、谁确认、谁否决、谁兜底,四种权利分别落在哪个角色身上。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图