以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
上一节把定档写成了四个维度、八分制和三案例的 5、6、6。那张表看起来已经足够客观:有锚点、有分数、有定档线,似乎代入就能得出结论。但真实评审里,最危险的恰恰是这种「代入就出结论」的模型。它会把一个需要解释的组织判断,压缩成一个看起来中立的数字。
aia-lab 这一节要做一件反直觉的事:先把模型写对,再让它给出一个与 A 实际选择不同的结论。A 的 5 分按定档线映射到审批档,但 A 实际选择建议档。模型没有算错,A 也没有选错;错的是把分数当成最终答案。这个差值就是本节要讲的东西。
评级模型只做两件事
06-3-lab-autonomy-score.ts 建立在上一节的 06-2-level-criteria.ts 之上,不重新定义维度和锚点。它只做两件事:把分数映射成一个「分数建议」档位,再把实际选择与这个建议档位做比较,算出方向和差值。
| 概念 | 含义 | 来源 |
|---|---|---|
| 分数 | 四维相加,0 到 8 分 | CASE_SCORES |
| 分数建议 | 按定档线映射出的档位 | levelForScore |
| 实际选择 | 案例事实表里的自主档 | src/cases.ts |
| 差值 | 实际选择与分数建议之间隔几档 | LEVEL_RANK |
| 理由 | 为什么偏离分数建议 | 人写的组织判断 |
这张表里只有最后一列是人写的。前四列都可以由代码复算,最后一列不能。评级模型的价值不是替人写理由,而是把「哪里偏离了、偏离几档」算清楚,让人只需要解释理由,不需要重新争论分数。
A 的 5 分为什么落到审批档
把 A Relay 的四维分数代入:错误代价 1 分,可回滚性 2 分,审计有效性 2 分,时延容忍 0 分,合计 5 分。按定档线,5 到 6 分是审批档,所以分数建议是审批档。
这个结论在能力上是成立的。A 的动作是写队列、写优先级、选模板,都是可枚举、可预览、可回滚的动作;审计也能全量判断,每条建议都带队列、优先级和模板号。如果只看「能不能让机器执行已批准的动作」,A 完全够审批档。
但 A 实际选择建议档:机器只给建议,人确认后才写入。事实表里,A 每单人工 0.75 分钟,模型 0.30 分钟,合计人机 1.05 分钟;月工单 26,400 单,人工从 1,540 小时降到 330 小时,月省 34,651.2 美元,节省率 75.0%。这套账是在建议档下成立的,不是审批档。
如果 A 真的升到审批档,产品形态会变成「机器提出写队列的动作,人点批准,机器写入」。技术上只差一个写权限,组织上差的却是责任:审批档里,人要为「允许机器写」负责;建议档里,人只为「这条建议对不对」负责。前者要求审批界面把动作、前后值、回滚方式都写清楚,后者只需要把建议和依据写清楚。
组织接受度这条线
A 的团队坚持人在决策链上,理由是分诊错误会影响客户体验与 SLA 承诺。这条理由不在四维分数里:错误代价已经打了 1 分,可回滚性已经打了 2 分,审计已经打了 2 分,时延打了 0 分。四维已经把能打的分都打了,剩下的不是分数问题,而是组织愿不愿意把「写队列」这个动作交给机器。
这就是组织接受度这条线。它不是一个可以加进总分的第五维,因为它的方向和任务风险无关:同样 5 分的任务,有的组织愿意审批,有的组织只愿意建议。它也不是一句「团队保守」可以打发的:分诊错误会影响客户体验与 SLA 承诺,这是真实的业务约束,不是情绪。
产品经理的工作不是把这条线藏进分数,而是解释为什么降档。解释要回答三个问题:
- 降档损失了多少效率? A 从审批档降到建议档,每单多一次确认,但确认只要 0.75 分钟;相比纯人工 3.5 分钟,仍然压缩了 78.6%。降档的代价是可算的。
- 不降档会带来什么风险? 如果机器直接写队列,分诊错误会在人看到之前进入系统,客户可能收到错误路由;SLA 承诺让这个风险不可接受。
- 什么条件下可以升档? 比如连续 4 周采纳率 ≥ 75%、错误率 ≤ 3%,并且审批界面能让人在 45 秒内看懂动作和回滚。条件写清楚,降档就不是永久放弃,而是有退出条件的试点。
这三个问题答完,降档就从「团队保守」变成了「有依据的产品决策」。评审会上最怕的不是降档,而是降档没有理由;没有理由的降档会在下一次换人时被推翻,然后产品在两种档位之间来回摇摆。
分数失效的三种场景
A 不是唯一偏离分数的案例。B 和 C 也偏离,只是方向不同。把三个案例放在一起,可以得到分数失效的三种典型场景。
| 场景 | 案例 | 分数建议 | 实际选择 | 差值 | 失效原因 |
|---|---|---|---|---|---|
| 组织约束 | A Relay | 审批 | 建议 | 降 2 档 | 分诊错误影响客户体验与 SLA 承诺 |
| 署名责任 | B Quill | 审批 | 草稿 | 降 1 档 | 报告要由顾问署名,审批替代不了审改 |
| 任务内分层 | C Runner | 审批 | 执行 | 升 1 档 | 聚合 6 分掩盖了低风险动作可进执行档 |
第一种是组织约束。 A 的分数够审批,但组织只接受建议。这类失效的特征是:技术控制已经具备,责任转移没有被接受。处理方式不是改分数,而是写清降档理由、降档代价和升档条件。
第二种是署名责任。 B 的分数够审批,但 B 的产出是客户报告,报告要由顾问署名。审批只能判断「能不能发」,不能替代逐段审改。B 的一次采纳率是 63%,小改率 28%,返工率 9%,事实错误率 4.6%;这些数字说明审改不可压缩。人不是在批准一个动作,而是在为一份署名文件负责,所以 B 必须停在草稿档。
第三种是任务内分层。 C 的聚合分数是 6 分,按整类任务只能到审批档。但 C 的任务内部有分层:低风险动作的错误代价低、可回滚性高、审计全量可判断,单独打分可以进执行档;高风险动作则只能进建议档。C 实际执行的是低风险和中风险动作,高风险动作不在执行范围内。聚合分数既低估了低风险子集,也高估了高风险子集;如果不做分层,6 分会把两类动作一起送进审批档,或者一起挡在执行档外面。
这三种场景有一个共同点:分数没有算错,错的是把聚合分数当成任务全貌。组织约束是分数之外的一条线,署名责任是审批能力之外的一条线,任务内分层是聚合粒度之外的一条线。三条线都不在四维模型里,但都会改变最终档位。
把差值和理由写进结构
下面这个模型把「分数建议、实际选择、方向、差值、理由」写成一个结构。它不是让代码替产品做决定,而是让偏离变得可见、可解释、可复查。
// file: src/handoff/06-3-lab-autonomy-score.ts
// tier: L2
// verify: node --test test/handoff/06-3-lab-autonomy-score.test.ts
// 评级模型先只按四维打分,再把组织与责任约束叠上去。
// 输出是「分数建议」与「实际选择」的差,不是一个自动结论。
import { type Autonomy, byKey } from "../cases.ts";
import {
CASE_SCORES,
evaluate,
type Scores,
type ScoreResult,
} from "./06-2-level-criteria.ts";
export type CaseKey = "A" | "B" | "C";
export const LEVEL_RANK: Record<Autonomy, number> = {
advise: 0,
draft: 1,
approve: 2,
execute: 3,
};
export type Direction = "downgrade" | "upgrade" | "match";
export type Reconciliation = {
readonly caseKey: CaseKey;
readonly score: ScoreResult;
readonly ceiling: Autonomy;
readonly chosen: Autonomy;
readonly direction: Direction;
readonly delta: number;
readonly reason: string;
};
export function directionOf(ceiling: Autonomy, chosen: Autonomy): Direction {
const diff = LEVEL_RANK[chosen] - LEVEL_RANK[ceiling];
if (diff < 0) return "downgrade";
if (diff > 0) return "upgrade";
return "match";
}
export function reconcile(
caseKey: CaseKey,
scores: Scores,
reason: string,
): Reconciliation {
const score = evaluate(scores);
const chosen = byKey(caseKey).autonomy;
return {
caseKey,
score,
ceiling: score.level,
chosen,
direction: directionOf(score.level, chosen),
delta: Math.abs(LEVEL_RANK[chosen] - LEVEL_RANK[score.level]),
reason,
};
}
// 三种「分数失效」不是模型算错,而是分数之外还有三条线。
export const FAILURE_MODES: readonly Reconciliation[] = [
reconcile(
"A",
CASE_SCORES.A,
"组织接受度:分诊错误影响客户体验与 SLA 承诺,团队坚持人在决策链上",
),
reconcile(
"B",
CASE_SCORES.B,
"署名责任:客户报告要由顾问署名,审批不足以替代逐段审改",
),
reconcile(
"C",
CASE_SCORES.C,
"任务内分层:聚合 6 分掩盖了低风险动作可进执行档、高风险动作只能进建议档",
),
];
export function byCase(caseKey: CaseKey): Reconciliation {
const found = FAILURE_MODES.find((item) => item.caseKey === caseKey);
if (!found) throw new Error(`unknown case: ${caseKey}`);
return found;
}
// 同一个分数可以落到不同选择;产品经理要能解释差在哪一条线上。
export function explain(caseKey: CaseKey): string {
const item = byCase(caseKey);
return `${caseKey} 分数 ${item.score.total} 建议 ${item.ceiling},实际 ${item.chosen}:${item.reason}`;
}
reconcile 接收案例键、分数和理由,返回一个 Reconciliation。它内部调用上一节的 evaluate 得到分数建议,再从 src/cases.ts 读取实际选择,用 LEVEL_RANK 算出方向和差值。方向和差值都是机械计算,理由是人写的,两者在结构上分开。
FAILURE_MODES 把三种场景写成三条记录。A 的记录是降 2 档,理由是组织接受度;B 的记录是降 1 档,理由是署名责任;C 的记录是升 1 档,理由是任务内分层。这三条记录可以直接放进评审材料,让评审者一眼看到「模型建议什么、实际选什么、为什么不同」。
explain 把一条记录读成一句话,例如「A 分数 5 建议 approve,实际 advise:组织接受度……」。这句话的作用不是说服谁,而是让会议从「你们为什么不用审批档」变成「组织接受度这条线是否仍然成立」。前者是立场之争,后者是可以被证据推翻的判断。
把偏离写成一张评审卡
三条偏离记录如果只留在代码里,评审会上仍然会被当成三个孤立的故事。把它们写成一张评审卡,可以让讨论围绕同一组字段展开。
| 字段 | A Relay | B Quill | C Runner |
|---|---|---|---|
| 分数 | 5 | 6 | 6 |
| 分数建议 | 审批 | 审批 | 审批 |
| 实际选择 | 建议 | 草稿 | 执行 |
| 方向与差值 | 降 2 档 | 降 1 档 | 升 1 档 |
| 偏离理由 | 组织接受度 | 署名责任 | 任务内分层 |
| 升档条件 | 采纳率、错误率、审批界面 | 返工率、事实错误率 | 回滚成功率、不可回滚错误率 |
这张卡的作用是把「为什么不用审批档」拆成六个可以分别回答的问题。分数和建议是复算出来的,实际选择和理由是写出来的,升档条件是谈出来的。三类信息放在一张卡上,评审者可以先对数字,再对理由,最后对条件,不会一上来就争论立场。
评审卡还要留一列「复查日期」。偏离不是永久结论:A 的组织接受度会随信任变化,B 的审改比例会随模板变化,C 的风险分层会随动作类型变化。没有复查日期,评审卡会变成一张过期的许可证。
如果评审卡上出现「理由」一栏写不出来,或者「升档条件」一栏写不出来,说明这个偏离还没有被真正解释。前者是组织没有想清楚为什么降档,后者是组织没有想清楚什么情况下升档;两种情况下,档位都不应该被当成定论。
还有一个常见误读:把分数建议当成上限。C 的分数建议是审批,实际执行,说明分数建议不是上限;A 的分数建议是审批,实际建议,说明它也不是下限。分数建议只是一个参照点,实际档位可以在它之上或之下,前提是偏离有理由、有差值、有复查条件。
反过来,也不能因为「分数只是参照」就忽略分数。分数仍然是唯一可复算的部分;如果偏离理由和分数完全脱节,比如低分却直接执行、高分却停在建议,评审者就有理由要求重新打分。参照点的价值在于它让偏离可见,而不是让偏离随意。
评审卡可以按下面的顺序复查:
- 先看分数有没有变。 控制能力变了,分数才会变;模型升级不算控制能力变化。
- 再看理由有没有变。 组织信任、署名责任、风险分层都可能变化;理由变了,档位要重新讨论。
- 最后看升档条件有没有达到。 达到就升档,没达到就继续观察;不要用「感觉更稳了」替代条件。
怎么在评审会上用这个模型
这个模型不适合单独使用,它适合放在评审会的第二步。第一步是用上一节的四维打分对数字,第二步是用这个模型对偏离,第三步才是讨论理由是否成立。
- 先对分数。 四个人分别打分,差异超过 1 分就停下来对锚点,不要对结论。分数没对齐之前,讨论档位没有意义。
- 再看偏离。 用
reconcile算出每个案例的方向和差值。偏离本身不是问题,无法解释的偏离才是问题。 - 逐条读理由。 组织约束、署名责任、任务内分层,三条线各自回答「为什么分数不够用」。理由要能被证据支持,不能只写「团队觉得」。
- 写升档条件。 降档不是永久放弃,要写清什么条件下可以升回去。A 的升档条件是采纳率、错误率和审批界面可读性;B 的升档条件是返工率和事实错误率;C 的升档条件是回滚成功率和不可回滚错误率。
- 定期复查。 分数会随控制能力变化,组织接受度也会随信任变化。建议每季度复查一次,而不是上线时定一次就再也不看。
这五步里,最容易被跳过的是第四步。降档如果没有升档条件,团队会把降档当成最终结论,产品永远停在低档;升档如果没有降档条件,团队会把升档当成一次性胜利,出了问题只能停用。两个方向都需要条件,档位才是一个可运营的状态,而不是一个一次性决策。
小结
- aia-lab 的评级模型只做两件事:把分数映射成建议档位,把实际选择与建议档位做比较。
- A 的 5 分按定档线映射到审批档,实际选择建议档,差值是降 2 档;模型没有算错,A 也没有选错。
- 组织接受度不是第五维,而是分数之外的一条线;分诊错误影响客户体验与 SLA 承诺,是真实的业务约束。
- 产品经理的工作是解释为什么降档:降档损失多少效率、不降档有什么风险、什么条件下可以升档。
- 分数失效有三种场景:组织约束(A)、署名责任(B)、任务内分层(C)。
- B 的 63% 一次采纳、28% 小改、9% 返工、4.6% 事实错误说明审改不可压缩,审批替代不了署名责任。
- C 的聚合 6 分掩盖了低风险动作可进执行档、高风险动作只能进建议档;执行只覆盖低风险和中风险子集。
- 偏离不可怕,无法解释的偏离才可怕;每条偏离都要有理由、有差值、有复查周期。
阅读导航:上一节:6.2 定档判据:错误代价、可回滚性与审计有效性 · 下一节:7.1 谁做决定:决策权分配表 。
常见错误与边界
- 把评级模型当成自动定档器。 模型只算分数建议和偏离,不写理由;理由必须由人给出,否则组织约束会被藏进数字里。
- 把组织接受度当成第五维。 它和任务风险无关,同样的分数在不同组织会落到不同档位;把它加进总分,会让分数失去可复算性。
- 降档不写理由。 没有理由的降档会在下一次换人时被推翻,产品在两种档位之间来回摇摆;理由要能回答损失、风险和升档条件。
- 把 B 的审批当成审改。 审批只能判断「能不能发」,不能替代逐段修改;B 的 63/28/9 和 4.6% 说明审改是责任的一部分。
- 用聚合分数覆盖任务内分层。 C 的 6 分是整类平均,低风险子集可以进执行档,高风险子集只能进建议档;不分层就会把两类动作一起放行或一起挡住。
- 只定档不复查。 分数和控制能力会变,组织信任也会变;没有复查周期的档位,迟早会变成一张过期的许可证。
这一节把评级模型和它的失效场景讲完了。下一节换一个角度:档位定了之后,谁提出、谁确认、谁否决、谁兜底,四种权利分别落在哪个角色身上。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。