《AI Agent 产品开发·组织、平台与规模化》13.3 收口:把「交多少活」变成组织能力

全书的收口不是总结,而是把「交多少活」变成可复用的组织能力。本节给出五条结论及其数字依据、三家各自从今天开始就能做的三个动作、与站内其他 Agent 书稿的分工边界,以及一份把评分、成熟度与下一步压成一页的收口清单,并说明这本书刻意不解决哪些问题,方便直接带进季度规划会。

三卷写到这里,该回答一个最朴素的问题:一个 Agent 产品到底给组织留下了什么?

如果它只是把某个环节的速度提高了,那它是一笔一次性的效率收益;如果它把「怎么判断任务成立、怎么控制放量、怎么划分责任、怎么复制到下一个产品」变成了可交接的东西,那它才是组织能力。前两卷解决「怎么把活交出去」,这一卷解决「交出去之后,组织剩下什么」。收口要做的,是把这两件事压成几张能带进季度规划会的表。

五条结论

全书有五个判断,每一个都能被前面的数字复算。它们不是并列的口号,而是同一条链上的五个环节:责任怎么分、人工怎么算、成本在哪、瓶颈在哪、成熟怎么定。

第一,责任分配先于能力。 三个案例都过了四条线,差别不在能不能做,而在机器承担到哪一步:A Relay(Northwind 的客服工单分诊 Agent)是建议,B Quill(Meridian 的客户报告起草 Agent)是草稿,C Runner(Kettle 的电商运营任务执行 Agent)是执行。A 的分诊正确率 91.4%、采纳率 78%,按分数它够得上审批档,但团队仍然选择建议档,因为分诊错误会影响客户体验与 SLA 承诺。这条组织线在分数之上,产品经理的工作是解释为什么降档,而不是用分数压过组织。

第二,人工账必须含接管。 C 的每个任务人工是 4.04 分钟,由 0.96 分钟审计与 3.08 分钟转人工组成。只算审计不算转人工,月总成本会从 31,214.4 美元错成 10,886.4 美元,节省率会从 73.7% 夸大成 90.8%。这不是计算错误,是责任遗漏:转人工的那部分工作真实发生了,只是它不在 Agent 的日志里。

第三,成本主体是维护。 维护占系统成本的比例,A 是 168%、B 是 1,238%、C 是 379%,三家都超过模型调用与基础设施之和。Agent 产品的成本不是「调用一次多少钱」,而是「让它持续正确多少钱」。B 的比例最高,因为报告起草需要持续维护模板、评测与领域知识;这也解释了为什么 B 的节省率 58.5% 是三家中最低的。

第四,规模化瓶颈在组织。 三家的卷三得分是 12、10、20,都低于各自的前两卷。A 的支持团队 9 人、工程 2 人,只有一个产品;B 的咨询团队 15 人、工程 1 人加外包,有两个产品但复用率约 30%;C 的运营团队 24 人、工程 4 人,有三条任务线与内部平台,复用率约 55%。复用率不是技术指标,是组织有没有把能力写成带承诺的条目。

第五,过线不等于成熟。 C 的总分 70,距离 72 只差 2 分,补第 33 项平台边界就能过线;但它的成熟度仍然是 L3,因为平台边界还没有成为可交接的文档。分数看的是「做得多全」,级别看的是「能不能复制」。把两者混为一谈,会出现「评审通过但第二个团队接不住」的产品。

三家现在分别该做什么

结论要落到动作,才有意义。把评分、成熟度与下一级缺口放在一起,三家的收口判断是:

案例级别总分差距下一级缺口三个动作
A RelayL252203 项做第二个产品;记录复用清单;选一个价值单位
B QuillL244282 项沉淀带 SLA 的能力目录;建评测集;选一个价值单位
C RunnerL37021 项平台边界成文;审计日志可导出;选一个价值单位

A 的三个动作里,前两个是结构工作,第三个是计量工作。它不该先去补评审分数,因为它的 7 个 0 分项里,能力复用与多 Agent 逻辑都卡在「没有第二个产品」;产品不做出来,那些项补了也是空的。

B 的三个动作里,前两个是把隐性知识写成可复用的条目。B 已经有第二个产品,但复用率只有约 30%,说明第二个产品没有把模板与格式带起来。再做第三个产品之前,先把目录与评测集补齐,否则第三个产品会重复第二个产品的路。

C 的三个动作里,前两个是文书工作,一周内可以完成。C 的复制周期比是 0.64(第一个产品 14 周,第二个 9 周),说明它的平台已经能缩短复制时间;它缺的不是能力,是把能力写成别人能接手的形式。第三个动作是三家的共同项,见下一节。

从今天开始的三个动作

如果把这一卷压缩成三件今天就能开始的事,是这样的:

  1. 选一个价值单位,把计费点挪过去。 第 43 项三家都是 0 分。三家都按席位或调用量计费,没有把计费点落在「一个工单分对了」「一份报告能发了」「一个商品保住了」这类价值单位上。这件事不需要等产品成熟,今天就可以定义单位、埋点、按月核算。
  2. 画一张依赖地图,做一次切换演练。 第 38 项三家都是 0 分。A 与 B 是单一模型供应商且从未演练;C 有主备两家并演练过一次,但依赖是采购部门推动的,产品团队没有依赖地图。恢复时长要来自演练,不来自估计:B 的 2 周、C 的 4 小时都还是估计值。
  3. 把一项隐性知识写成可交接的文档。 第 33 项三家都是 0 分。A 与 B 没有平台,C 有平台但边界只有一页说明。选一项「大家都知道但没人写下来」的规则,写成新同事能照着做的文档。这件事的成本最低,收益最慢,但它决定了第二个团队能不能接住。

这三个动作的共同点是:都不依赖模型能力,都可以从现有团队开始,都能在下一个评审周期看到证据。它们也正好对应三家共同为 0 的三项:价值计量、供应商依赖、平台边界。

与站内其他 Agent 书稿的分工

这本书不是站内唯一的 Agent 内容。写清楚分工,比重复写一遍更有用。

书稿管什么不管什么
《AI Agent 开发》三卷引擎实现、生产化工程、框架与前沿协议不展开任务定义与组织改造
《互联网产品的 AI 架构》四卷网关、路由、编排、成本工程与平台治理不展开用户交互与组织能力
LLM Agent 架构模型与 Agent 的总体架构、组件关系不展开任务规格与组织改造
Agent 工作流编排工作流、编排、多步执行不展开成本结构与责任边界
AI Agent 产品设计产品形态、交互与用户体验不展开采购、平台与成熟度
Agent 部署与生产部署、监控、生产运行不展开组合划分与组织能力
本书任务定义、交互上线、组织规模化不展开模型训练与推理优化

三套书稿的分工以卷一 toc 的表为准,本表是它在收口处的展开。安全与护栏的部分,站内已有 LLM 护栏 专门讨论;本书只在责任地图与披露义务两处引用它的结论,不重复展开。成本与定价的分工也一样:本书只算人机总成本与价值单位,定价结构、毛利管理、渠道分成属于《AI 产品的商业化》,不在这里展开。

这个分工不是领地划分,而是阅读顺序。一个团队如果还没把任务定义清楚,先读卷一;如果已经上线但在放量上反复,先读卷二;如果已经在做第二个产品,卷三才有用。三卷的顺序不是难度递增,而是问题出现的顺序。

一页收口清单

把上面的内容压成一页,季度规划会可以直接用:

项要填什么证据从哪里来
当前级别L1–L5 中的一级13.1 的五级判据,外部三人独立定级
评审总分三卷各 15 项,满分 9045 项逐项打分,0 分项单独列出
距离通过线72 减总分负数表示已过线
最弱一卷三卷中得分最低的一卷决定补结构还是补文档
下一级缺口还缺哪几条判据13.1 的 missingForNext
三个动作一个结构动作、一个计量动作、一个文档动作本节的三条

这张表故意不写「目标分数」。目标分数会诱导团队补容易的项;目标级别会诱导团队跳级。要写的是「下一级缺口」与「三个动作」,因为这两列可以直接变成待办。

清单每半年重打一次,存档对比。分数上升但 0 分项没减少,说明在补表面;级别上升但复制周期没缩短,说明级别是自评出来的。

把收口写成一页判断

下面这个模型把 13.1 的成熟度与 13.2 的评审汇总接在一起:输入案例代号,输出级别、总分、差距、最弱一卷、下一级缺口数量与三个动作。它不引入新数字,所有输入都来自事实表与前面两个模型。

// file: src/scale/13-3-closing.ts
// tier: L2
// verify: node --test test/scale/13-3-closing.test.ts

// 收口:把三卷评分、成熟度与下一步压成一页判断。
// 这里不引入新数字,输入全部来自 cases.ts 与 13-1 / 13-2 两个模型。

import {
  CASE_FACTS,
  CASE_LEVEL,
  levelLabel,
  missingForNext,
  type Level,
} from "./13-1-maturity-model.ts";
import { summarize, VOLUME_LABEL } from "./13-2-full-review.ts";

export type Conclusion = {
  readonly id: number;
  readonly title: string;
  readonly evidence: string;
};

export const FIVE_CONCLUSIONS: readonly Conclusion[] = [
  {
    id: 1,
    title: "责任分配先于能力",
    evidence: "三案例都过四条线,差别在机器承担到哪一步:建议、草稿、执行。",
  },
  {
    id: 2,
    title: "人工账必须含接管",
    evidence:
      "C 每个任务 4.04 分钟 = 0.96 审计 + 3.08 转人工;漏算会把节省率从 73.7% 夸大成 90.8%。",
  },
  {
    id: 3,
    title: "成本主体是维护",
    evidence:
      "维护占系统成本 A 168%、B 1,238%、C 379%,都超过模型与基础设施之和。",
  },
  {
    id: 4,
    title: "规模化瓶颈在组织",
    evidence: "卷三得分 12/10/20,三家都低于各自前两卷;越往组织层走,分越低。",
  },
  {
    id: 5,
    title: "过线不等于成熟",
    evidence:
      "C 差 2 分即可过 72 分线,但成熟度仍是 L3;分数看全不全,级别看能不能复制。",
  },
];

export type Move = {
  readonly order: number;
  readonly title: string;
  readonly reason: string;
};

type MoveDraft = Omit<Move, "order">;

// 三家都是 0 分的价值计量项,作为兜底动作,永远排在最后。
const VALUE_UNIT_MOVE: MoveDraft = {
  title: "选一个价值单位",
  reason: "第 43 项三家都是 0 分;计费点要落在「一个工单分对了」这类单位上。",
};

function structuralMoves(key: "A" | "B" | "C"): readonly MoveDraft[] {
  const summary = summarize(key);

  // 只差两分以内的,优先做文书工作;这两项不影响成熟度级别。
  if (summary.gap > 0 && summary.gap <= 2) {
    return [
      {
        title: "把平台边界写成一页",
        reason: "第 33 项 0 分,文书工作,一周内可完成。",
      },
      {
        title: "让审计日志可导出核对",
        reason: "第 40 项只有 1 分,补齐后即可过 72 分线。",
      },
    ];
  }

  // 还没到第二个产品的,先复制,再谈平台。
  if (CASE_FACTS[key].runningProducts < 2) {
    return [
      {
        title: "做第二个产品",
        reason: "L3 要求第二个产品复用能力目录与评测集;没有第二个产品,复用无从验证。",
      },
      {
        title: "在第二个产品上记录复用清单",
        reason: "复用率要能被数出来,而不是靠人记得。",
      },
    ];
  }

  // 已经有第二个产品的,把靠人记的东西写成带承诺的条目。
  return [
    {
      title: "把模板与格式沉淀成能力目录",
      reason: "目录要含 SLA 与责任人,才能被别的团队直接引用。",
    },
    {
      title: "建一个可重复运行的评测集",
      reason: "抽样看报告不算评测集;要能回归,才能支撑第二个产品。",
    },
  ];
}

export function closingMoves(key: "A" | "B" | "C"): readonly Move[] {
  const drafts = [...structuralMoves(key)];
  if (drafts.length < 3) drafts.push(VALUE_UNIT_MOVE);
  return drafts
    .slice(0, 3)
    .map((draft, index) => ({ order: index + 1, ...draft }));
}

export type Brief = {
  readonly key: "A" | "B" | "C";
  readonly level: Level | null;
  readonly levelName: string;
  readonly total: number;
  readonly gap: number;
  readonly passed: boolean;
  readonly weakest: string;
  readonly nextLevel: Level | null;
  readonly missingCount: number;
  readonly moves: readonly Move[];
};

export function buildBrief(key: "A" | "B" | "C"): Brief {
  const summary = summarize(key);
  const gap = missingForNext(CASE_FACTS[key]);
  return {
    key,
    level: CASE_LEVEL[key],
    levelName: levelLabel(CASE_LEVEL[key]),
    total: summary.total,
    gap: summary.gap,
    passed: summary.passed,
    weakest: VOLUME_LABEL[summary.weakest],
    nextLevel: gap === null ? null : gap.level,
    missingCount: gap === null ? 0 : gap.missing.length,
    moves: closingMoves(key),
  };
}

export const ALL_BRIEFS: Record<"A" | "B" | "C", Brief> = {
  A: buildBrief("A"),
  B: buildBrief("B"),
  C: buildBrief("C"),
};

export type Division = {
  readonly slug: string;
  readonly focus: string;
  readonly boundary: string;
};

// 与站内既有 Agent 书稿的分工:本书只写到「任务、交互、组织」。
export const SITE_DIVISION: readonly Division[] = [
  {
    slug: "llm-agent-architecture",
    focus: "模型与 Agent 的总体架构",
    boundary: "不展开任务规格与组织改造",
  },
  {
    slug: "llm-agent-workflow-orchestration",
    focus: "工作流与编排",
    boundary: "不展开成本结构与责任边界",
  },
  {
    slug: "ai-agent-product-design",
    focus: "产品设计与交互",
    boundary: "不展开采购、平台与成熟度",
  },
  {
    slug: "ai-agent-deployment-production",
    focus: "部署与生产运行",
    boundary: "不展开组合划分与组织能力",
  },
  {
    slug: "aia-scale-toc",
    focus: "本书:任务定义、交互上线、组织规模化",
    boundary: "不展开模型训练与推理优化",
  },
];

buildBrief 是收口的入口:它先把评分与级别放在同一个对象里,再根据差距与产品数量选择动作分支。C 的差距是 2,走「文书补齐」分支;A 只有一个产品,走「先做第二个产品」分支;B 有两个产品,走「把模板沉淀成目录」分支。三个分支的最后一步都是选价值单位,因为第 43 项三家都是 0 分。

closingMoves 只返回三个动作,顺序固定。第一个动作解决当前最紧的结构缺口,第二个动作是它的配套,第三个动作是三家的共同短板。把动作数量限死在三个,是为了防止清单变成愿望列表:一个季度能做完三件事,已经算快。

SITE_DIVISION 把站内分工写成数据,是为了让「这本书不写什么」也能被检查。写作时最容易发生的事,是把别的书稿的内容再讲一遍,然后两边说法不一致。分工写进代码,至少能让本书的边界在被引用时保持稳定。

这本书不解决的问题

收口也要说清楚边界。以下四件事,本书刻意没有展开:

  • 模型训练与推理优化。 本书把模型当成一个会变的供应商能力,讨论的是换模型对产品意味着什么,不是怎么训练或加速。
  • 定价结构、毛利与渠道分成。 这些属于《AI 产品的商业化》,本书只算人机总成本与价值单位。
  • 安全攻击面与护栏实现。 站内已有专门书稿,本书只在责任与披露处引用结论。
  • 具体行业的领域知识。 三个案例是教学设定,不是行业模板;套用到真实业务时,任务量、工时与成本都要重新测。

知道不写什么,和知道写什么一样重要。一本产品书如果什么都想覆盖,最后会变成一本没有判断的资料汇编。

小结

  • 收口不是总结,而是把「交多少活」变成可复用的组织能力。
  • 责任分配先于能力:三案例同过四条线,差别在机器承担到哪一步。
  • 人工账必须含接管:C 的 4.04 分钟 = 0.96 审计 + 3.08 转人工,漏算会把节省率夸大到 90.8%。
  • 成本主体是维护:A 168%、B 1,238%、C 379%,都超过模型与基础设施之和。
  • 规模化瓶颈在组织:三家卷三得分 12/10/20,都低于各自前两卷。
  • 过线不等于成熟:C 补 2 分可过 72 分线,但仍是 L3。
  • 今天能做的三个动作:选价值单位、画依赖地图并演练切换、把一项隐性知识写成文档。

阅读导航:上一节:13.2 全书 45 项评审汇总 · 下一节:目录与学习路径 。

常见错误与边界

  1. 把收口当成复述。 收口要给判断和动作,不是把前面 12 章再讲一遍;如果一页纸写不完,说明还没收口。
  2. 用目标分数代替目标级别。 目标分数会诱导补容易的项,目标级别会诱导跳级;要写下一级缺口与三个动作。
  3. 把三个动作写成愿望清单。 一个季度能做完三件事已经算快;动作超过三个,通常会一个都完不成。
  4. 忽略共同短板。 价值计量、供应商依赖、平台边界三家都是 0 分,先补这些比补自家独有的项更有杠杆。
  5. 把成熟度定级交给内部人。 自评通常高一到两级;定级要由不直接负责该产品的人独立完成。
  6. 把本书当成行业模板。 三个案例是教学设定,任务量、工时与成本换到真实业务都要重新测。

全书到这里结束。如果只带走一句话:Agent 产品的终点不是「它替人做了多少」,而是「组织在没有它的时候,还能不能把这件事说清楚」。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图