《AI Agent 产品开发·组织、平台与规模化》附录 C 全书评审与成熟度模型

全书 45 项评审的汇总表与五级成熟度模型:卷三第 31–45 项的判断锚点与三案例逐项得分(A 12、B 10、C 20),三卷合计(A 52、B 44、C 70)与 72 分通过线的差距,以及每一家的补分顺序和成熟度定级依据,可直接用于半年一次的整书评审。

本附录是卷三的评审工具,同时是全书 45 项评审的汇总表。

评审规则与前两卷一致:每项 0/1/2 分,单卷满分 30,全书满分 90,通过线 72。

一、怎么打

  • 需要外部视角:由不直接负责该产品的产品负责人、领域专家、工程负责人各一人独立打分。
  • 卷三的很多项涉及组织事实(谁负责、谁审批、谁兜底),打分前先把这些事实写下来,不要凭印象。
  • “不适用"按 0 分计。单一产品没有产品组合,不等于这一项自动通过——缺席本身就是规模化阶段的缺口。
  • 任何 0 分项都必须给出责任人与期限。

二、15 项

#项0 分1 分2 分
31产品组合多个产品互不相干有组合但边界靠感觉边界按责任划且写了交接点
32能力复用每个产品重写复用了代码没复用承诺能力目录含 SLA、责任人、评测集
33平台边界没有平台平台什么都做平台与业务职责各有书面边界
34多 Agent 逻辑为多而多多 Agent 但用户不理解三条判据成立且用户能理解分工
35流程改造只加了一步 AI替换了步骤但没改交接按能力重排流程并配套培训
36岗位影响没想过知道岗位会变没说怎么变角色、技能、考核三者都改
37采购决策只看价格有判据但没有退出路径核心性、数据、退出、路线四项都评
38供应商依赖单一来源且无备份有备份但没演练依赖地图 + 切换演练 + 恢复时长
39责任边界出事没人认有责任人但没有兜底四类事件的责任人写清
40审计要求日志不可用有日志但不可核对可导出、可核对、可重建
41披露义务从不说明是 AI全场景都加免责声明按三条判据决定何时必须说
42成本结构只算模型调用系统与人工分开但缺维护三项齐全且按月核算
43价值计量按调用次数计费有计费点但不对应价值计费点落在价值单位上
44竞争定位卖点是"更聪明”有差异但不可持续差异化来自四源之一
45成熟度自评没有定级有级别没有依据有级别、依据与下一步

三、三案例逐项得分

#项A RelayB QuillC Runner
31产品组合222
32能力复用012
33平台边界000
34多 Agent 逻辑002
35流程改造211
36岗位影响001
37采购决策222
38供应商依赖000
39责任边界112
40审计要求111
41披露义务102
42成本结构212
43价值计量000
44竞争定位011
45成熟度自评102
合计12/3010/3020/30

四、逐项解读

第 33 项(平台边界)三家都是 0 分。 A 与 B 根本没有平台;C 有内部平台,但边界没有写成文档。C 的平台之所以还能运转,是因为团队小、靠人记得边界——这正是规模化阶段最先失效的东西。

第 38 项(供应商依赖)三家都是 0 分。 A 与 B 是单一模型供应商且从未演练过切换;C 有主备两家,但依赖是采购部门推动的,产品团队没有依赖地图,也没有恢复时长承诺。附录 B 里 C 的"4 小时"是估计值,不是演练结果。

第 43 项(价值计量)三家都是 0 分。 三家都按席位或按调用量计费,没有把计费点落在"一个工单分对了"“一份报告能发了"“一个商品保住了"这类价值单位上。这是全书最普遍、也最难补的一项。

第 41 项(披露义务)B 是 0 分。 B 的客户报告不提 AI 参与,理由是"客户不关心”。但报告涉及事实结论与对外承诺,按卷三 6.3 的三条判据,这类产出必须披露。

第 36 项(岗位影响)A 与 B 是 0 分。 两家都改变了工作内容,却没有改变考核。A 的考核仍是处理量,B 的考核仍是交付数量,结果都是人被推着在"闭眼通过"和"自己重做"之间选。

第 44 项(竞争定位)A 是 0 分。 A 的对外说法是"AI 驱动的智能分诊”,这是一句会被下一版模型抹平的话。

第 40 项(审计要求)三家都只有 1 分。 三家都有日志,但都不能完整核对:A 只记录建议不记录采纳理由,B 只记录生成不记录改动,C 有审计日志但不可导出。

五、三卷汇总

卷A RelayB QuillC Runner
卷一(1–15,任务定义)221826
卷二(16–30,交互与上线)181624
卷三(31–45,组织与规模化)121020
合计52/9044/9070/90

通过线 72。三家全部未通过:C 差 2 分,A 差 20 分,B 差 28 分。

这个结果不是设计成"让人沮丧",而是为了让补分路径看得见:越往组织层走,分数越低,因为攒结构能力比做功能慢得多。

六、补分路径

案例卷一卷二卷三合计距离 72
A Relay2218125220
B Quill1816104428
C Runner262420702

卷内可补分 = 30 − 卷得分:A 8/12/18,B 12/14/20,C 4/6/10。

C 只需要 2 分就能过线,优先补第 33 项(把平台边界写成一页文档)与第 40 项(让审计日志可导出核对),两项都是文书工作,一周内可完成。补完之后它仍然是 L3,不会自动升到 L4——过线不等于成熟。

A 与 B 的差距主要在卷三,但它们的卷三低分不是"组织能力差",而是"还没有到需要组织能力的阶段"。对这两家来说,正确的动作不是补分,而是先把第二、第三个产品做出来,再回来打分。

七、五级成熟度模型

级别名称判据典型特征
L1单点可用一个任务跑通,指标靠人工观察有 Demo 与早期用户,无放量曲线
L2可上线有放量曲线、回滚演练、质量节奏生产可用,但每上新能力都要重来
L3可复制第二个产品复用能力目录与评测集平台雏形,边界开始写成文档
L4平台化新团队做第十个产品的周期不超过第一个能力目录、评测集、责任边界可交接
L5组织能力组合、责任、成本、路线图进入常规治理决策有固定场所,成本有固定口径

三案例定级:

案例级别依据下一步
A RelayL2有放量曲线与质量节奏;无能力目录、无平台、无第二个产品做第二个产品,验证复用
B QuillL2有两个产品,但复用靠人记;无平台、无评测集把模板与格式沉淀成能力目录
C RunnerL3有平台、能力目录、一次退出演练;边界未成文边界成文,补审计可导出

定级要由外部人做。自己给自己定级,通常高一到两级——这不是谦虚问题,是信息问题:内部人看不到自己依赖的那些"没人写下来但大家都记得"的东西。

八、使用建议

  1. 45 项一次打完,不要分卷打——分卷打会让人倾向于给本卷打分。
  2. 先看 0 分项数量,再看总分。0 分项数量比总分更能预测下一次事故。
  3. 成熟度定级与评审分数不要混用:分数衡量"做得多全",级别衡量"能不能复制"。
  4. 这张表每半年重打一次,存档对比。分数上升但 0 分项没减少,说明是在补容易的项。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图