《AI Agent 产品开发·组织、平台与规模化》13.2 全书 45 项评审汇总

45 项评审怎么汇总成一张能用的表。本节给出三卷各 15 项的评分口径、三案例的总分与逐卷差距(A 52、B 44、C 70,通过线 72),统计每家的 0 分项数量,按「30 减卷得分」算出补分空间与顺序,并说明为什么过线不等于成熟、A 与 B 的正确动作不是补分而是先做产品。

三卷写完,评审项也攒到了 45 条。单看每一条,判断都不难;难的是把它们汇总成一个能用于决策的结论:这家产品到底差在哪,先补哪一块,补完之后算不算成熟。

汇总的规则很简单:每项 0/1/2 分,三卷各 15 项,单卷满分 30,全书满分 90,通过线 72。规则简单不代表结论简单,因为同样的总分可以由完全不同的分布拼出来。三个案例是 A Relay(Northwind 的客服工单分诊 Agent)、B Quill(Meridian 的客户报告起草 Agent)、C Runner(Kettle 的电商运营任务执行 Agent):A 的 52 分和 B 的 44 分差了 8 分,但两家的 0 分项一样多;C 的 70 分只差 2 分过线,但它的成熟度仍然停在 L3。这一节把总分、逐卷差距、0 分项与补分空间放在一张桌上,说明它们各自回答什么问题。

45 项怎么分到三卷

三卷的 15 项不是平均切分,而是按产品从定义到上线的顺序分工。每一卷的 15 项回答一个阶段的核心问题。

卷项号回答的问题单卷满分
卷一 任务定义1–15这件事值不值得做、做成什么样算完成30
卷二 交互与上线16–30人怎么用它、出错怎么办、怎么放量30
卷三 组织与规模化31–45能不能复制、谁负责、钱花在哪、怎么治理30

卷一和卷二的评审在各自的分册里已经展开,本卷只复述口径,不重复判断标准。卷三的 15 项在附录 C 里有完整的 0/1/2 描述,本节只做汇总。

需要提醒的是:45 项要一次打完,不要分卷打。分卷打会让人倾向于给本卷打分,尤其是卷三的很多项涉及组织事实,负责本卷的人最容易高估自己团队的文档化程度。

汇总表:52 / 44 / 70

把三卷得分加起来,三家的结果是:

卷A RelayB QuillC Runner
卷一(1–15)221826
卷二(16–30)181624
卷三(31–45)121020
合计52/9044/9070/90
距离 7220282

三家全部低于 72 分通过线。C 最接近,只差 2 分;A 差 20 分;B 差 28 分。这个结果不是设计成「让人沮丧」,而是为了让补分路径看得见:越往组织层走,分数越低,因为攒结构能力比做功能慢得多。

总分只能回答「离通过线多远」,不能回答「差在哪」。同样差 20 分,可能是三个 0 分项,也可能是十个 1 分项,对应的动作完全不同。所以下一步必须拆到卷,再拆到项。

逐卷看差距

A Relay 的分布是 22 / 18 / 12。 卷一最高,说明任务定义是清楚的:分诊这件事做什么、不做什么、验收标准是什么,都写得出来。卷二降到 18,说明交互与上线还有缺口,具体项在卷二的分册里,本节不重复。卷三只有 12,是三卷中最低的:它只有一个产品、没有能力目录、没有平台、没有第二个产品,组织层的 15 项里有 7 项是 0 分。

B Quill 的分布是 18 / 16 / 10。 三卷都低于 A 的同卷得分,但差距在缩小:卷一差 4 分,卷二差 2 分,卷三差 2 分。这说明 B 的问题不是某一卷特别弱,而是每一卷都差一点。它的两个产品、30% 的复用率、半页能力目录,让它看起来比 A 更接近规模化,但评审分数不认「看起来」:目录没有 SLA、没有评测集、没有平台边界,卷三仍然只有 10 分。

C Runner 的分布是 26 / 24 / 20。 它是三家里唯一三卷都不低于 20 分的,卷三的 20 分也是最高。C 的组织事实最完整:三条任务线、内部平台、能力目录含 SLA 与责任人、主备两家模型供应商、一次切换演练、退出恢复时长估计 4 小时。它仍然没过线,原因是三个 0 分项:平台边界、供应商依赖、价值计量。

三家的共同点是卷三最低。这不是巧合:卷一靠写清楚,卷二靠做扎实,卷三靠组织长出结构,而结构需要时间和重复。一个团队可以在一个季度里把任务规格写全,但很难在一个季度里长出一个能被第二个团队接手的能力目录。

0 分项比总分更能预测事故

附录 C 给了一条使用建议:先看 0 分项数量,再看总分。原因是总分会被容易的项拉高,0 分项不会。一个 0 分项代表「这件事完全没有做」,它比一个 1 分项更危险,因为 1 分至少有人在做,只是做得不完整。

三家在卷三的 0 分项是:

案例0 分项数量具体项
A Relay732 能力复用、33 平台边界、34 多 Agent 逻辑、36 岗位影响、38 供应商依赖、43 价值计量、44 竞争定位
B Quill733 平台边界、34 多 Agent 逻辑、36 岗位影响、38 供应商依赖、41 披露义务、43 价值计量、45 成熟度自评
C Runner333 平台边界、38 供应商依赖、43 价值计量

有三项是三家共同为 0 的:平台边界、供应商依赖、价值计量。这三项的共同点是「不做也不会立刻出事」——平台边界模糊,团队小的时候靠人记;供应商单一,没切换过也没坏过;按调用量计费,收入照样进来。它们不会在下一个季度暴露,但会在规模化的第一个拐点暴露。

A 和 B 各有 7 个 0 分项,但性质不同。A 的 0 分里,能力复用与多 Agent 逻辑建立在多个产品之上,没有第二个产品就无法验证;岗位影响则是另一个问题——工作内容变了,考核没有变。B 的 0 分里有一项是 A 没有的:41 披露义务。B 的客户报告不提 AI 参与,而报告涉及事实结论与对外承诺,这是必须披露的场景。这一项与产品规模无关,是判断问题。

C 只有 3 个 0 分项,但它仍然没过线,因为它的 1 分项多。1 分项代表「做了但不够」:流程替换了步骤但没改交接,岗位知道会变但没说怎么变,审计有日志但不可导出,竞争定位有差异但不可持续。这些项补起来比 0 分项便宜,但也最容易被忽略,因为它们看起来「已经有了」。

补分路径:30 减卷得分

卷内可补分等于 30 减去该卷得分。三家的补分空间是:

案例卷一卷二卷三合计距离 72
A Relay812183820
B Quill1214204628
C Runner4610202

这张表最容易读错的地方是「补分空间大」不等于「应该先补」。A 的卷三可补 18 分,是它三卷里最大的,但它的卷三低分不是「组织能力差」,而是「还没有到需要组织能力的阶段」。对一个只有一个产品的团队来说,先补第 32 项能力复用,等于在没有第二个产品的情况下写复用规范,写出来也是空的。

所以补分要分两种:

  • 补分能过线的:C。它只差 2 分,第 33 项平台边界补满就是 2 分,直接到 72;第 40 项审计日志可导出再补 1 分,是余量。两项都是文书工作,一周内可以完成。
  • 补分不能解决根本问题的:A 和 B。它们的差距在 20 分和 28 分,靠补 1 分项要补很久,而且补完仍然没有解决结构问题——A 缺第二个产品,B 缺可复用的目录与评测集。正确的动作是先做产品,再回来打分。

A 需要第二个产品,B 需要第三个产品。B 已经有两个产品(报告起草、会议纪要整理),但复用率只有约 30%,第二个产品没有把能力目录与评测集带起来。再做第三个产品时,如果还是靠人记得模板放在哪,复用率不会自己上升。

补分顺序也有讲究。三家可补分最多的都是卷三,但卷三的项分两类:一类是文书工作(平台边界、审计可导出、责任地图补一格),一类是结构工作(第二个产品、能力目录、评测集)。文书工作可以立刻做,结构工作需要周期。先做文书把分数拉过线,再腾出周期做结构,是可行的;反过来先做结构再补文书,通常会在过线前失去耐心。

过线与成熟度是两张表

C 补完第 33 项就能到 72 分,但它的成熟度仍然是 L3。这不是矛盾,因为两张表回答不同问题:

表回答的问题C 的状态
45 项评审做得多全70/90,补 2 分过线
五级成熟度能不能复制L3,差一份成文边界到 L4

评审分数是横向的:45 个维度各看一眼,看有没有漏。成熟度是纵向的:从 L1 到 L5,看能不能把这一级的能力交给下一级。一个产品可以 45 项补得很全,但仍然停在 L2,因为它的第二个产品还没有验证复用;也可以分数不高但级别不低,因为它的组织能力已经到位,只是还没写全。

这也是为什么附录 C 说「过线不等于成熟」。过线是合格线,成熟是复制线。对 C 来说,过线只需要文书工作;对 A 和 B 来说,过线需要先做产品,再补文书,周期长得多。

把汇总写成可复算的表

下面这个模型把汇总做成可执行的函数:输入案例代号,输出三卷得分、总分、距离通过线、每卷可补分、最弱一卷与 0 分项数量。逐项分数不在代码里重复,直接引用事实表的评审块,避免两处数字打架。

// file: src/scale/13-2-full-review.ts
// tier: L2
// verify: node --test test/scale/13-2-full-review.test.ts

// 45 项评审汇总:三卷各 15 项,单项 0/1/2,单卷 30,全书 90,通过线 72。
// 汇总只做加减与排序;逐项分数以附录 C 的逐项表为准。

import {
  REVIEW,
  REVIEW_MAX_PER_VOLUME,
  REVIEW_MAX_TOTAL,
  REVIEW_PASS_TOTAL,
} from "../cases.ts";
import { divide, formatBps } from "../core/rate.ts";

export type VolumeKey = "task" | "trust" | "scale";

export const VOLUME_ORDER: readonly VolumeKey[] = ["task", "trust", "scale"];

export const VOLUME_LABEL: Record<VolumeKey, string> = {
  task: "卷一 任务定义",
  trust: "卷二 交互与上线",
  scale: "卷三 组织与规模化",
};

// 卷三 15 项里的 0 分项编号,来自附录 C 的逐项表。
export const ZERO_ITEMS: Record<"A" | "B" | "C", readonly number[]> = {
  A: [32, 33, 34, 36, 38, 43, 44],
  B: [33, 34, 36, 38, 41, 43, 45],
  C: [33, 38, 43],
};

export const PASS_LINE = REVIEW_PASS_TOTAL;
export const MAX_TOTAL = REVIEW_MAX_TOTAL;
export const PASS_RATE = formatBps(divide(PASS_LINE, MAX_TOTAL));

export type ReviewSummary = {
  readonly key: "A" | "B" | "C";
  readonly scores: Record<VolumeKey, number>;
  readonly total: number;
  readonly gap: number;
  readonly passed: boolean;
  readonly fillable: Record<VolumeKey, number>;
  readonly fillableTotal: number;
  readonly weakest: VolumeKey;
  readonly strongest: VolumeKey;
  readonly passRate: string;
  readonly zeroCount: number;
};

export function summarize(key: "A" | "B" | "C"): ReviewSummary {
  const scores = REVIEW[key];
  const total = VOLUME_ORDER.reduce((acc, volume) => acc + scores[volume], 0);
  const fillable: Record<VolumeKey, number> = {
    task: REVIEW_MAX_PER_VOLUME - scores.task,
    trust: REVIEW_MAX_PER_VOLUME - scores.trust,
    scale: REVIEW_MAX_PER_VOLUME - scores.scale,
  };
  const fillableTotal = VOLUME_ORDER.reduce(
    (acc, volume) => acc + fillable[volume],
    0,
  );

  let weakest: VolumeKey = VOLUME_ORDER[0];
  let strongest: VolumeKey = VOLUME_ORDER[0];
  for (const volume of VOLUME_ORDER) {
    if (scores[volume] < scores[weakest]) weakest = volume;
    if (scores[volume] > scores[strongest]) strongest = volume;
  }

  return {
    key,
    scores,
    total,
    gap: PASS_LINE - total,
    passed: total >= PASS_LINE,
    fillable,
    fillableTotal,
    weakest,
    strongest,
    passRate: formatBps(divide(total, MAX_TOTAL)),
    zeroCount: ZERO_ITEMS[key].length,
  };
}

export const ALL_SUMMARIES: Record<"A" | "B" | "C", ReviewSummary> = {
  A: summarize("A"),
  B: summarize("B"),
  C: summarize("C"),
};

// 补分顺序:可补分最多的卷排前面。三家都是卷三。
export function fillOrder(key: "A" | "B" | "C"): readonly VolumeKey[] {
  const { fillable } = summarize(key);
  return [...VOLUME_ORDER].sort((left, right) => fillable[right] - fillable[left]);
}

export function totalScore(key: "A" | "B" | "C"): number {
  return summarize(key).total;
}

export function gapToPass(key: "A" | "B" | "C"): number {
  return summarize(key).gap;
}

summarize 只做三件事:按卷求和、算可补分、找最弱与最强卷。fillOrder 按可补分从大到小排序,三家的结果都是卷三、卷二、卷一。这个顺序不是价值判断,只是提示「分数上最容易动的是哪一卷」;真正先做哪件事,还要看上一节说的文书工作与结构工作之分。

ZERO_ITEMS 只记录了卷三的 0 分项,因为本节汇总的是卷三的 15 项。这个数组的用途不是算分,而是让评审会先看「完全没做」的项,再看「做了但不够」的项。三家共同的 33、38、43 三项,应该出现在同一张待办清单的最上面。

模型不处理「不适用」。单一产品没有产品组合,不等于这一项自动通过——缺席本身就是规模化阶段的缺口,按 0 分计。这条规则写在附录 C 里,代码不做特殊分支,因为特殊分支会让「不适用」变成逃避打分的借口。

怎么用这张表开一次评审会

一次评审会两个小时足够,顺序建议如下:

  1. 先对事实。 在运营几个产品、复用率多少、目录有没有 SLA、平台边界有没有文档、退出演练做过几次。事实不对齐,打分没有意义。
  2. 再打 0 分项。 三家里共同的 33、38、43 先过一遍,确认是真没做,还是做了没写。真没做的进待办,做了没写的补文档。
  3. 然后看逐卷分布。 哪一卷最低,低在结构项还是文书项。结构项排到下季度,文书项排到本周。
  4. 最后对成熟度。 用 13.1 的判据单独定级,不要用总分换算级别。总分 70 可以是 L3,也可以是 L2,取决于第二个产品有没有验证复用。
  5. 留下证据。 每次评审的分数、0 分项、定级与下一步存档,半年后对比。分数上升但 0 分项没减少,说明在补容易的项。

这张表的价值不在这一次的分数,而在两次评审之间的变化。单次分数只能说明现在差多少,两次对比才能说明团队在补结构还是在补表面。

小结

  • 45 项分三卷,每卷 15 项,单项 0/1/2,单卷 30,全书 90,通过线 72。
  • 三案例总分为 A 52、B 44、C 70,分别差 20、28、2 分,三家都未过线。
  • 三家卷三得分都是各自最低:A 12、B 10、C 20,说明组织能力比功能慢。
  • 卷内可补分等于 30 减卷得分:A 8/12/18,B 12/14/20,C 4/6/10。
  • 0 分项数量比总分更能预测事故:A 与 B 各 7 项,C 3 项;共同为 0 的是 33、38、43。
  • C 补第 33 项即可过线,但仍是 L3;A 与 B 应先做第二、第三个产品,再回来打分。
  • 过线与成熟度是两张表:前者看全不全,后者看能不能复制。

阅读导航:上一节:13.1 五级成熟度模型 · 下一节:13.3 收口:把「交多少活」变成组织能力 。

常见错误与边界

  1. 用总分代替分布。 52 分和 44 分看起来只差 8 分,但两家的 0 分项一样多;不拆到卷和项,就不知道该补结构还是补文档。
  2. 把可补分大当成先补。 A 的卷三可补 18 分,但它没有第二个产品,先写复用规范只会得到一份空文档。
  3. 把「不适用」当自动通过。 单一产品没有组合,不等于组合项合格;缺席本身就是规模化阶段的缺口,按 0 分计。
  4. 用评审分数换算成熟度。 70 分可以是 L3 也可以是 L2,取决于第二个产品有没有验证复用;两张表必须分开打。
  5. 只补 1 分项,不碰 0 分项。 1 分项便宜,补起来有成就感;但 0 分项才是下一次事故最可能出现的地方。
  6. 补完文书就宣布成熟。 C 补两项可以过线,但它仍然差一份成文边界才到 L4;过线是合格,不是复制能力。

下一节收口:把这一章的五级模型与 45 项汇总,压缩成五条结论、三个动作和一张能与站内其他书稿分工的地图。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图