三卷写完,评审项也攒到了 45 条。单看每一条,判断都不难;难的是把它们汇总成一个能用于决策的结论:这家产品到底差在哪,先补哪一块,补完之后算不算成熟。
汇总的规则很简单:每项 0/1/2 分,三卷各 15 项,单卷满分 30,全书满分 90,通过线 72。规则简单不代表结论简单,因为同样的总分可以由完全不同的分布拼出来。三个案例是 A Relay(Northwind 的客服工单分诊 Agent)、B Quill(Meridian 的客户报告起草 Agent)、C Runner(Kettle 的电商运营任务执行 Agent):A 的 52 分和 B 的 44 分差了 8 分,但两家的 0 分项一样多;C 的 70 分只差 2 分过线,但它的成熟度仍然停在 L3。这一节把总分、逐卷差距、0 分项与补分空间放在一张桌上,说明它们各自回答什么问题。
45 项怎么分到三卷
三卷的 15 项不是平均切分,而是按产品从定义到上线的顺序分工。每一卷的 15 项回答一个阶段的核心问题。
| 卷 | 项号 | 回答的问题 | 单卷满分 |
|---|---|---|---|
| 卷一 任务定义 | 1–15 | 这件事值不值得做、做成什么样算完成 | 30 |
| 卷二 交互与上线 | 16–30 | 人怎么用它、出错怎么办、怎么放量 | 30 |
| 卷三 组织与规模化 | 31–45 | 能不能复制、谁负责、钱花在哪、怎么治理 | 30 |
卷一和卷二的评审在各自的分册里已经展开,本卷只复述口径,不重复判断标准。卷三的 15 项在附录 C 里有完整的 0/1/2 描述,本节只做汇总。
需要提醒的是:45 项要一次打完,不要分卷打。分卷打会让人倾向于给本卷打分,尤其是卷三的很多项涉及组织事实,负责本卷的人最容易高估自己团队的文档化程度。
汇总表:52 / 44 / 70
把三卷得分加起来,三家的结果是:
| 卷 | A Relay | B Quill | C Runner |
|---|---|---|---|
| 卷一(1–15) | 22 | 18 | 26 |
| 卷二(16–30) | 18 | 16 | 24 |
| 卷三(31–45) | 12 | 10 | 20 |
| 合计 | 52/90 | 44/90 | 70/90 |
| 距离 72 | 20 | 28 | 2 |
三家全部低于 72 分通过线。C 最接近,只差 2 分;A 差 20 分;B 差 28 分。这个结果不是设计成「让人沮丧」,而是为了让补分路径看得见:越往组织层走,分数越低,因为攒结构能力比做功能慢得多。
总分只能回答「离通过线多远」,不能回答「差在哪」。同样差 20 分,可能是三个 0 分项,也可能是十个 1 分项,对应的动作完全不同。所以下一步必须拆到卷,再拆到项。
逐卷看差距
A Relay 的分布是 22 / 18 / 12。 卷一最高,说明任务定义是清楚的:分诊这件事做什么、不做什么、验收标准是什么,都写得出来。卷二降到 18,说明交互与上线还有缺口,具体项在卷二的分册里,本节不重复。卷三只有 12,是三卷中最低的:它只有一个产品、没有能力目录、没有平台、没有第二个产品,组织层的 15 项里有 7 项是 0 分。
B Quill 的分布是 18 / 16 / 10。 三卷都低于 A 的同卷得分,但差距在缩小:卷一差 4 分,卷二差 2 分,卷三差 2 分。这说明 B 的问题不是某一卷特别弱,而是每一卷都差一点。它的两个产品、30% 的复用率、半页能力目录,让它看起来比 A 更接近规模化,但评审分数不认「看起来」:目录没有 SLA、没有评测集、没有平台边界,卷三仍然只有 10 分。
C Runner 的分布是 26 / 24 / 20。 它是三家里唯一三卷都不低于 20 分的,卷三的 20 分也是最高。C 的组织事实最完整:三条任务线、内部平台、能力目录含 SLA 与责任人、主备两家模型供应商、一次切换演练、退出恢复时长估计 4 小时。它仍然没过线,原因是三个 0 分项:平台边界、供应商依赖、价值计量。
三家的共同点是卷三最低。这不是巧合:卷一靠写清楚,卷二靠做扎实,卷三靠组织长出结构,而结构需要时间和重复。一个团队可以在一个季度里把任务规格写全,但很难在一个季度里长出一个能被第二个团队接手的能力目录。
0 分项比总分更能预测事故
附录 C 给了一条使用建议:先看 0 分项数量,再看总分。原因是总分会被容易的项拉高,0 分项不会。一个 0 分项代表「这件事完全没有做」,它比一个 1 分项更危险,因为 1 分至少有人在做,只是做得不完整。
三家在卷三的 0 分项是:
| 案例 | 0 分项数量 | 具体项 |
|---|---|---|
| A Relay | 7 | 32 能力复用、33 平台边界、34 多 Agent 逻辑、36 岗位影响、38 供应商依赖、43 价值计量、44 竞争定位 |
| B Quill | 7 | 33 平台边界、34 多 Agent 逻辑、36 岗位影响、38 供应商依赖、41 披露义务、43 价值计量、45 成熟度自评 |
| C Runner | 3 | 33 平台边界、38 供应商依赖、43 价值计量 |
有三项是三家共同为 0 的:平台边界、供应商依赖、价值计量。这三项的共同点是「不做也不会立刻出事」——平台边界模糊,团队小的时候靠人记;供应商单一,没切换过也没坏过;按调用量计费,收入照样进来。它们不会在下一个季度暴露,但会在规模化的第一个拐点暴露。
A 和 B 各有 7 个 0 分项,但性质不同。A 的 0 分里,能力复用与多 Agent 逻辑建立在多个产品之上,没有第二个产品就无法验证;岗位影响则是另一个问题——工作内容变了,考核没有变。B 的 0 分里有一项是 A 没有的:41 披露义务。B 的客户报告不提 AI 参与,而报告涉及事实结论与对外承诺,这是必须披露的场景。这一项与产品规模无关,是判断问题。
C 只有 3 个 0 分项,但它仍然没过线,因为它的 1 分项多。1 分项代表「做了但不够」:流程替换了步骤但没改交接,岗位知道会变但没说怎么变,审计有日志但不可导出,竞争定位有差异但不可持续。这些项补起来比 0 分项便宜,但也最容易被忽略,因为它们看起来「已经有了」。
补分路径:30 减卷得分
卷内可补分等于 30 减去该卷得分。三家的补分空间是:
| 案例 | 卷一 | 卷二 | 卷三 | 合计 | 距离 72 |
|---|---|---|---|---|---|
| A Relay | 8 | 12 | 18 | 38 | 20 |
| B Quill | 12 | 14 | 20 | 46 | 28 |
| C Runner | 4 | 6 | 10 | 20 | 2 |
这张表最容易读错的地方是「补分空间大」不等于「应该先补」。A 的卷三可补 18 分,是它三卷里最大的,但它的卷三低分不是「组织能力差」,而是「还没有到需要组织能力的阶段」。对一个只有一个产品的团队来说,先补第 32 项能力复用,等于在没有第二个产品的情况下写复用规范,写出来也是空的。
所以补分要分两种:
- 补分能过线的:C。它只差 2 分,第 33 项平台边界补满就是 2 分,直接到 72;第 40 项审计日志可导出再补 1 分,是余量。两项都是文书工作,一周内可以完成。
- 补分不能解决根本问题的:A 和 B。它们的差距在 20 分和 28 分,靠补 1 分项要补很久,而且补完仍然没有解决结构问题——A 缺第二个产品,B 缺可复用的目录与评测集。正确的动作是先做产品,再回来打分。
A 需要第二个产品,B 需要第三个产品。B 已经有两个产品(报告起草、会议纪要整理),但复用率只有约 30%,第二个产品没有把能力目录与评测集带起来。再做第三个产品时,如果还是靠人记得模板放在哪,复用率不会自己上升。
补分顺序也有讲究。三家可补分最多的都是卷三,但卷三的项分两类:一类是文书工作(平台边界、审计可导出、责任地图补一格),一类是结构工作(第二个产品、能力目录、评测集)。文书工作可以立刻做,结构工作需要周期。先做文书把分数拉过线,再腾出周期做结构,是可行的;反过来先做结构再补文书,通常会在过线前失去耐心。
过线与成熟度是两张表
C 补完第 33 项就能到 72 分,但它的成熟度仍然是 L3。这不是矛盾,因为两张表回答不同问题:
| 表 | 回答的问题 | C 的状态 |
|---|---|---|
| 45 项评审 | 做得多全 | 70/90,补 2 分过线 |
| 五级成熟度 | 能不能复制 | L3,差一份成文边界到 L4 |
评审分数是横向的:45 个维度各看一眼,看有没有漏。成熟度是纵向的:从 L1 到 L5,看能不能把这一级的能力交给下一级。一个产品可以 45 项补得很全,但仍然停在 L2,因为它的第二个产品还没有验证复用;也可以分数不高但级别不低,因为它的组织能力已经到位,只是还没写全。
这也是为什么附录 C 说「过线不等于成熟」。过线是合格线,成熟是复制线。对 C 来说,过线只需要文书工作;对 A 和 B 来说,过线需要先做产品,再补文书,周期长得多。
把汇总写成可复算的表
下面这个模型把汇总做成可执行的函数:输入案例代号,输出三卷得分、总分、距离通过线、每卷可补分、最弱一卷与 0 分项数量。逐项分数不在代码里重复,直接引用事实表的评审块,避免两处数字打架。
// file: src/scale/13-2-full-review.ts
// tier: L2
// verify: node --test test/scale/13-2-full-review.test.ts
// 45 项评审汇总:三卷各 15 项,单项 0/1/2,单卷 30,全书 90,通过线 72。
// 汇总只做加减与排序;逐项分数以附录 C 的逐项表为准。
import {
REVIEW,
REVIEW_MAX_PER_VOLUME,
REVIEW_MAX_TOTAL,
REVIEW_PASS_TOTAL,
} from "../cases.ts";
import { divide, formatBps } from "../core/rate.ts";
export type VolumeKey = "task" | "trust" | "scale";
export const VOLUME_ORDER: readonly VolumeKey[] = ["task", "trust", "scale"];
export const VOLUME_LABEL: Record<VolumeKey, string> = {
task: "卷一 任务定义",
trust: "卷二 交互与上线",
scale: "卷三 组织与规模化",
};
// 卷三 15 项里的 0 分项编号,来自附录 C 的逐项表。
export const ZERO_ITEMS: Record<"A" | "B" | "C", readonly number[]> = {
A: [32, 33, 34, 36, 38, 43, 44],
B: [33, 34, 36, 38, 41, 43, 45],
C: [33, 38, 43],
};
export const PASS_LINE = REVIEW_PASS_TOTAL;
export const MAX_TOTAL = REVIEW_MAX_TOTAL;
export const PASS_RATE = formatBps(divide(PASS_LINE, MAX_TOTAL));
export type ReviewSummary = {
readonly key: "A" | "B" | "C";
readonly scores: Record<VolumeKey, number>;
readonly total: number;
readonly gap: number;
readonly passed: boolean;
readonly fillable: Record<VolumeKey, number>;
readonly fillableTotal: number;
readonly weakest: VolumeKey;
readonly strongest: VolumeKey;
readonly passRate: string;
readonly zeroCount: number;
};
export function summarize(key: "A" | "B" | "C"): ReviewSummary {
const scores = REVIEW[key];
const total = VOLUME_ORDER.reduce((acc, volume) => acc + scores[volume], 0);
const fillable: Record<VolumeKey, number> = {
task: REVIEW_MAX_PER_VOLUME - scores.task,
trust: REVIEW_MAX_PER_VOLUME - scores.trust,
scale: REVIEW_MAX_PER_VOLUME - scores.scale,
};
const fillableTotal = VOLUME_ORDER.reduce(
(acc, volume) => acc + fillable[volume],
0,
);
let weakest: VolumeKey = VOLUME_ORDER[0];
let strongest: VolumeKey = VOLUME_ORDER[0];
for (const volume of VOLUME_ORDER) {
if (scores[volume] < scores[weakest]) weakest = volume;
if (scores[volume] > scores[strongest]) strongest = volume;
}
return {
key,
scores,
total,
gap: PASS_LINE - total,
passed: total >= PASS_LINE,
fillable,
fillableTotal,
weakest,
strongest,
passRate: formatBps(divide(total, MAX_TOTAL)),
zeroCount: ZERO_ITEMS[key].length,
};
}
export const ALL_SUMMARIES: Record<"A" | "B" | "C", ReviewSummary> = {
A: summarize("A"),
B: summarize("B"),
C: summarize("C"),
};
// 补分顺序:可补分最多的卷排前面。三家都是卷三。
export function fillOrder(key: "A" | "B" | "C"): readonly VolumeKey[] {
const { fillable } = summarize(key);
return [...VOLUME_ORDER].sort((left, right) => fillable[right] - fillable[left]);
}
export function totalScore(key: "A" | "B" | "C"): number {
return summarize(key).total;
}
export function gapToPass(key: "A" | "B" | "C"): number {
return summarize(key).gap;
}
summarize 只做三件事:按卷求和、算可补分、找最弱与最强卷。fillOrder 按可补分从大到小排序,三家的结果都是卷三、卷二、卷一。这个顺序不是价值判断,只是提示「分数上最容易动的是哪一卷」;真正先做哪件事,还要看上一节说的文书工作与结构工作之分。
ZERO_ITEMS 只记录了卷三的 0 分项,因为本节汇总的是卷三的 15 项。这个数组的用途不是算分,而是让评审会先看「完全没做」的项,再看「做了但不够」的项。三家共同的 33、38、43 三项,应该出现在同一张待办清单的最上面。
模型不处理「不适用」。单一产品没有产品组合,不等于这一项自动通过——缺席本身就是规模化阶段的缺口,按 0 分计。这条规则写在附录 C 里,代码不做特殊分支,因为特殊分支会让「不适用」变成逃避打分的借口。
怎么用这张表开一次评审会
一次评审会两个小时足够,顺序建议如下:
- 先对事实。 在运营几个产品、复用率多少、目录有没有 SLA、平台边界有没有文档、退出演练做过几次。事实不对齐,打分没有意义。
- 再打 0 分项。 三家里共同的 33、38、43 先过一遍,确认是真没做,还是做了没写。真没做的进待办,做了没写的补文档。
- 然后看逐卷分布。 哪一卷最低,低在结构项还是文书项。结构项排到下季度,文书项排到本周。
- 最后对成熟度。 用 13.1 的判据单独定级,不要用总分换算级别。总分 70 可以是 L3,也可以是 L2,取决于第二个产品有没有验证复用。
- 留下证据。 每次评审的分数、0 分项、定级与下一步存档,半年后对比。分数上升但 0 分项没减少,说明在补容易的项。
这张表的价值不在这一次的分数,而在两次评审之间的变化。单次分数只能说明现在差多少,两次对比才能说明团队在补结构还是在补表面。
小结
- 45 项分三卷,每卷 15 项,单项 0/1/2,单卷 30,全书 90,通过线 72。
- 三案例总分为 A 52、B 44、C 70,分别差 20、28、2 分,三家都未过线。
- 三家卷三得分都是各自最低:A 12、B 10、C 20,说明组织能力比功能慢。
- 卷内可补分等于 30 减卷得分:A 8/12/18,B 12/14/20,C 4/6/10。
- 0 分项数量比总分更能预测事故:A 与 B 各 7 项,C 3 项;共同为 0 的是 33、38、43。
- C 补第 33 项即可过线,但仍是 L3;A 与 B 应先做第二、第三个产品,再回来打分。
- 过线与成熟度是两张表:前者看全不全,后者看能不能复制。
阅读导航:上一节:13.1 五级成熟度模型 · 下一节:13.3 收口:把「交多少活」变成组织能力 。
常见错误与边界
- 用总分代替分布。 52 分和 44 分看起来只差 8 分,但两家的 0 分项一样多;不拆到卷和项,就不知道该补结构还是补文档。
- 把可补分大当成先补。 A 的卷三可补 18 分,但它没有第二个产品,先写复用规范只会得到一份空文档。
- 把「不适用」当自动通过。 单一产品没有组合,不等于组合项合格;缺席本身就是规模化阶段的缺口,按 0 分计。
- 用评审分数换算成熟度。 70 分可以是 L3 也可以是 L2,取决于第二个产品有没有验证复用;两张表必须分开打。
- 只补 1 分项,不碰 0 分项。 1 分项便宜,补起来有成就感;但 0 分项才是下一次事故最可能出现的地方。
- 补完文书就宣布成熟。 C 补两项可以过线,但它仍然差一份成文边界才到 L4;过线是合格,不是复制能力。
下一节收口:把这一章的五级模型与 45 项汇总,压缩成五条结论、三个动作和一张能与站内其他书稿分工的地图。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。