三卷写到这里,该回答一个最朴素的问题:一个 Agent 产品到底给组织留下了什么?
如果它只是把某个环节的速度提高了,那它是一笔一次性的效率收益;如果它把「怎么判断任务成立、怎么控制放量、怎么划分责任、怎么复制到下一个产品」变成了可交接的东西,那它才是组织能力。前两卷解决「怎么把活交出去」,这一卷解决「交出去之后,组织剩下什么」。收口要做的,是把这两件事压成几张能带进季度规划会的表。
五条结论
全书有五个判断,每一个都能被前面的数字复算。它们不是并列的口号,而是同一条链上的五个环节:责任怎么分、人工怎么算、成本在哪、瓶颈在哪、成熟怎么定。
第一,责任分配先于能力。 三个案例都过了四条线,差别不在能不能做,而在机器承担到哪一步:A Relay(Northwind 的客服工单分诊 Agent)是建议,B Quill(Meridian 的客户报告起草 Agent)是草稿,C Runner(Kettle 的电商运营任务执行 Agent)是执行。A 的分诊正确率 91.4%、采纳率 78%,按分数它够得上审批档,但团队仍然选择建议档,因为分诊错误会影响客户体验与 SLA 承诺。这条组织线在分数之上,产品经理的工作是解释为什么降档,而不是用分数压过组织。
第二,人工账必须含接管。 C 的每个任务人工是 4.04 分钟,由 0.96 分钟审计与 3.08 分钟转人工组成。只算审计不算转人工,月总成本会从 31,214.4 美元错成 10,886.4 美元,节省率会从 73.7% 夸大成 90.8%。这不是计算错误,是责任遗漏:转人工的那部分工作真实发生了,只是它不在 Agent 的日志里。
第三,成本主体是维护。 维护占系统成本的比例,A 是 168%、B 是 1,238%、C 是 379%,三家都超过模型调用与基础设施之和。Agent 产品的成本不是「调用一次多少钱」,而是「让它持续正确多少钱」。B 的比例最高,因为报告起草需要持续维护模板、评测与领域知识;这也解释了为什么 B 的节省率 58.5% 是三家中最低的。
第四,规模化瓶颈在组织。 三家的卷三得分是 12、10、20,都低于各自的前两卷。A 的支持团队 9 人、工程 2 人,只有一个产品;B 的咨询团队 15 人、工程 1 人加外包,有两个产品但复用率约 30%;C 的运营团队 24 人、工程 4 人,有三条任务线与内部平台,复用率约 55%。复用率不是技术指标,是组织有没有把能力写成带承诺的条目。
第五,过线不等于成熟。 C 的总分 70,距离 72 只差 2 分,补第 33 项平台边界就能过线;但它的成熟度仍然是 L3,因为平台边界还没有成为可交接的文档。分数看的是「做得多全」,级别看的是「能不能复制」。把两者混为一谈,会出现「评审通过但第二个团队接不住」的产品。
三家现在分别该做什么
结论要落到动作,才有意义。把评分、成熟度与下一级缺口放在一起,三家的收口判断是:
| 案例 | 级别 | 总分 | 差距 | 下一级缺口 | 三个动作 |
|---|---|---|---|---|---|
| A Relay | L2 | 52 | 20 | 3 项 | 做第二个产品;记录复用清单;选一个价值单位 |
| B Quill | L2 | 44 | 28 | 2 项 | 沉淀带 SLA 的能力目录;建评测集;选一个价值单位 |
| C Runner | L3 | 70 | 2 | 1 项 | 平台边界成文;审计日志可导出;选一个价值单位 |
A 的三个动作里,前两个是结构工作,第三个是计量工作。它不该先去补评审分数,因为它的 7 个 0 分项里,能力复用与多 Agent 逻辑都卡在「没有第二个产品」;产品不做出来,那些项补了也是空的。
B 的三个动作里,前两个是把隐性知识写成可复用的条目。B 已经有第二个产品,但复用率只有约 30%,说明第二个产品没有把模板与格式带起来。再做第三个产品之前,先把目录与评测集补齐,否则第三个产品会重复第二个产品的路。
C 的三个动作里,前两个是文书工作,一周内可以完成。C 的复制周期比是 0.64(第一个产品 14 周,第二个 9 周),说明它的平台已经能缩短复制时间;它缺的不是能力,是把能力写成别人能接手的形式。第三个动作是三家的共同项,见下一节。
从今天开始的三个动作
如果把这一卷压缩成三件今天就能开始的事,是这样的:
- 选一个价值单位,把计费点挪过去。 第 43 项三家都是 0 分。三家都按席位或调用量计费,没有把计费点落在「一个工单分对了」「一份报告能发了」「一个商品保住了」这类价值单位上。这件事不需要等产品成熟,今天就可以定义单位、埋点、按月核算。
- 画一张依赖地图,做一次切换演练。 第 38 项三家都是 0 分。A 与 B 是单一模型供应商且从未演练;C 有主备两家并演练过一次,但依赖是采购部门推动的,产品团队没有依赖地图。恢复时长要来自演练,不来自估计:B 的 2 周、C 的 4 小时都还是估计值。
- 把一项隐性知识写成可交接的文档。 第 33 项三家都是 0 分。A 与 B 没有平台,C 有平台但边界只有一页说明。选一项「大家都知道但没人写下来」的规则,写成新同事能照着做的文档。这件事的成本最低,收益最慢,但它决定了第二个团队能不能接住。
这三个动作的共同点是:都不依赖模型能力,都可以从现有团队开始,都能在下一个评审周期看到证据。它们也正好对应三家共同为 0 的三项:价值计量、供应商依赖、平台边界。
与站内其他 Agent 书稿的分工
这本书不是站内唯一的 Agent 内容。写清楚分工,比重复写一遍更有用。
| 书稿 | 管什么 | 不管什么 |
|---|---|---|
| 《AI Agent 开发》三卷 | 引擎实现、生产化工程、框架与前沿协议 | 不展开任务定义与组织改造 |
| 《互联网产品的 AI 架构》四卷 | 网关、路由、编排、成本工程与平台治理 | 不展开用户交互与组织能力 |
| LLM Agent 架构 | 模型与 Agent 的总体架构、组件关系 | 不展开任务规格与组织改造 |
| Agent 工作流编排 | 工作流、编排、多步执行 | 不展开成本结构与责任边界 |
| AI Agent 产品设计 | 产品形态、交互与用户体验 | 不展开采购、平台与成熟度 |
| Agent 部署与生产 | 部署、监控、生产运行 | 不展开组合划分与组织能力 |
| 本书 | 任务定义、交互上线、组织规模化 | 不展开模型训练与推理优化 |
三套书稿的分工以卷一 toc 的表为准,本表是它在收口处的展开。安全与护栏的部分,站内已有 LLM 护栏 专门讨论;本书只在责任地图与披露义务两处引用它的结论,不重复展开。成本与定价的分工也一样:本书只算人机总成本与价值单位,定价结构、毛利管理、渠道分成属于《AI 产品的商业化》,不在这里展开。
这个分工不是领地划分,而是阅读顺序。一个团队如果还没把任务定义清楚,先读卷一;如果已经上线但在放量上反复,先读卷二;如果已经在做第二个产品,卷三才有用。三卷的顺序不是难度递增,而是问题出现的顺序。
一页收口清单
把上面的内容压成一页,季度规划会可以直接用:
| 项 | 要填什么 | 证据从哪里来 |
|---|---|---|
| 当前级别 | L1–L5 中的一级 | 13.1 的五级判据,外部三人独立定级 |
| 评审总分 | 三卷各 15 项,满分 90 | 45 项逐项打分,0 分项单独列出 |
| 距离通过线 | 72 减总分 | 负数表示已过线 |
| 最弱一卷 | 三卷中得分最低的一卷 | 决定补结构还是补文档 |
| 下一级缺口 | 还缺哪几条判据 | 13.1 的 missingForNext |
| 三个动作 | 一个结构动作、一个计量动作、一个文档动作 | 本节的三条 |
这张表故意不写「目标分数」。目标分数会诱导团队补容易的项;目标级别会诱导团队跳级。要写的是「下一级缺口」与「三个动作」,因为这两列可以直接变成待办。
清单每半年重打一次,存档对比。分数上升但 0 分项没减少,说明在补表面;级别上升但复制周期没缩短,说明级别是自评出来的。
把收口写成一页判断
下面这个模型把 13.1 的成熟度与 13.2 的评审汇总接在一起:输入案例代号,输出级别、总分、差距、最弱一卷、下一级缺口数量与三个动作。它不引入新数字,所有输入都来自事实表与前面两个模型。
// file: src/scale/13-3-closing.ts
// tier: L2
// verify: node --test test/scale/13-3-closing.test.ts
// 收口:把三卷评分、成熟度与下一步压成一页判断。
// 这里不引入新数字,输入全部来自 cases.ts 与 13-1 / 13-2 两个模型。
import {
CASE_FACTS,
CASE_LEVEL,
levelLabel,
missingForNext,
type Level,
} from "./13-1-maturity-model.ts";
import { summarize, VOLUME_LABEL } from "./13-2-full-review.ts";
export type Conclusion = {
readonly id: number;
readonly title: string;
readonly evidence: string;
};
export const FIVE_CONCLUSIONS: readonly Conclusion[] = [
{
id: 1,
title: "责任分配先于能力",
evidence: "三案例都过四条线,差别在机器承担到哪一步:建议、草稿、执行。",
},
{
id: 2,
title: "人工账必须含接管",
evidence:
"C 每个任务 4.04 分钟 = 0.96 审计 + 3.08 转人工;漏算会把节省率从 73.7% 夸大成 90.8%。",
},
{
id: 3,
title: "成本主体是维护",
evidence:
"维护占系统成本 A 168%、B 1,238%、C 379%,都超过模型与基础设施之和。",
},
{
id: 4,
title: "规模化瓶颈在组织",
evidence: "卷三得分 12/10/20,三家都低于各自前两卷;越往组织层走,分越低。",
},
{
id: 5,
title: "过线不等于成熟",
evidence:
"C 差 2 分即可过 72 分线,但成熟度仍是 L3;分数看全不全,级别看能不能复制。",
},
];
export type Move = {
readonly order: number;
readonly title: string;
readonly reason: string;
};
type MoveDraft = Omit<Move, "order">;
// 三家都是 0 分的价值计量项,作为兜底动作,永远排在最后。
const VALUE_UNIT_MOVE: MoveDraft = {
title: "选一个价值单位",
reason: "第 43 项三家都是 0 分;计费点要落在「一个工单分对了」这类单位上。",
};
function structuralMoves(key: "A" | "B" | "C"): readonly MoveDraft[] {
const summary = summarize(key);
// 只差两分以内的,优先做文书工作;这两项不影响成熟度级别。
if (summary.gap > 0 && summary.gap <= 2) {
return [
{
title: "把平台边界写成一页",
reason: "第 33 项 0 分,文书工作,一周内可完成。",
},
{
title: "让审计日志可导出核对",
reason: "第 40 项只有 1 分,补齐后即可过 72 分线。",
},
];
}
// 还没到第二个产品的,先复制,再谈平台。
if (CASE_FACTS[key].runningProducts < 2) {
return [
{
title: "做第二个产品",
reason: "L3 要求第二个产品复用能力目录与评测集;没有第二个产品,复用无从验证。",
},
{
title: "在第二个产品上记录复用清单",
reason: "复用率要能被数出来,而不是靠人记得。",
},
];
}
// 已经有第二个产品的,把靠人记的东西写成带承诺的条目。
return [
{
title: "把模板与格式沉淀成能力目录",
reason: "目录要含 SLA 与责任人,才能被别的团队直接引用。",
},
{
title: "建一个可重复运行的评测集",
reason: "抽样看报告不算评测集;要能回归,才能支撑第二个产品。",
},
];
}
export function closingMoves(key: "A" | "B" | "C"): readonly Move[] {
const drafts = [...structuralMoves(key)];
if (drafts.length < 3) drafts.push(VALUE_UNIT_MOVE);
return drafts
.slice(0, 3)
.map((draft, index) => ({ order: index + 1, ...draft }));
}
export type Brief = {
readonly key: "A" | "B" | "C";
readonly level: Level | null;
readonly levelName: string;
readonly total: number;
readonly gap: number;
readonly passed: boolean;
readonly weakest: string;
readonly nextLevel: Level | null;
readonly missingCount: number;
readonly moves: readonly Move[];
};
export function buildBrief(key: "A" | "B" | "C"): Brief {
const summary = summarize(key);
const gap = missingForNext(CASE_FACTS[key]);
return {
key,
level: CASE_LEVEL[key],
levelName: levelLabel(CASE_LEVEL[key]),
total: summary.total,
gap: summary.gap,
passed: summary.passed,
weakest: VOLUME_LABEL[summary.weakest],
nextLevel: gap === null ? null : gap.level,
missingCount: gap === null ? 0 : gap.missing.length,
moves: closingMoves(key),
};
}
export const ALL_BRIEFS: Record<"A" | "B" | "C", Brief> = {
A: buildBrief("A"),
B: buildBrief("B"),
C: buildBrief("C"),
};
export type Division = {
readonly slug: string;
readonly focus: string;
readonly boundary: string;
};
// 与站内既有 Agent 书稿的分工:本书只写到「任务、交互、组织」。
export const SITE_DIVISION: readonly Division[] = [
{
slug: "llm-agent-architecture",
focus: "模型与 Agent 的总体架构",
boundary: "不展开任务规格与组织改造",
},
{
slug: "llm-agent-workflow-orchestration",
focus: "工作流与编排",
boundary: "不展开成本结构与责任边界",
},
{
slug: "ai-agent-product-design",
focus: "产品设计与交互",
boundary: "不展开采购、平台与成熟度",
},
{
slug: "ai-agent-deployment-production",
focus: "部署与生产运行",
boundary: "不展开组合划分与组织能力",
},
{
slug: "aia-scale-toc",
focus: "本书:任务定义、交互上线、组织规模化",
boundary: "不展开模型训练与推理优化",
},
];
buildBrief 是收口的入口:它先把评分与级别放在同一个对象里,再根据差距与产品数量选择动作分支。C 的差距是 2,走「文书补齐」分支;A 只有一个产品,走「先做第二个产品」分支;B 有两个产品,走「把模板沉淀成目录」分支。三个分支的最后一步都是选价值单位,因为第 43 项三家都是 0 分。
closingMoves 只返回三个动作,顺序固定。第一个动作解决当前最紧的结构缺口,第二个动作是它的配套,第三个动作是三家的共同短板。把动作数量限死在三个,是为了防止清单变成愿望列表:一个季度能做完三件事,已经算快。
SITE_DIVISION 把站内分工写成数据,是为了让「这本书不写什么」也能被检查。写作时最容易发生的事,是把别的书稿的内容再讲一遍,然后两边说法不一致。分工写进代码,至少能让本书的边界在被引用时保持稳定。
这本书不解决的问题
收口也要说清楚边界。以下四件事,本书刻意没有展开:
- 模型训练与推理优化。 本书把模型当成一个会变的供应商能力,讨论的是换模型对产品意味着什么,不是怎么训练或加速。
- 定价结构、毛利与渠道分成。 这些属于《AI 产品的商业化》,本书只算人机总成本与价值单位。
- 安全攻击面与护栏实现。 站内已有专门书稿,本书只在责任与披露处引用结论。
- 具体行业的领域知识。 三个案例是教学设定,不是行业模板;套用到真实业务时,任务量、工时与成本都要重新测。
知道不写什么,和知道写什么一样重要。一本产品书如果什么都想覆盖,最后会变成一本没有判断的资料汇编。
小结
- 收口不是总结,而是把「交多少活」变成可复用的组织能力。
- 责任分配先于能力:三案例同过四条线,差别在机器承担到哪一步。
- 人工账必须含接管:C 的 4.04 分钟 = 0.96 审计 + 3.08 转人工,漏算会把节省率夸大到 90.8%。
- 成本主体是维护:A 168%、B 1,238%、C 379%,都超过模型与基础设施之和。
- 规模化瓶颈在组织:三家卷三得分 12/10/20,都低于各自前两卷。
- 过线不等于成熟:C 补 2 分可过 72 分线,但仍是 L3。
- 今天能做的三个动作:选价值单位、画依赖地图并演练切换、把一项隐性知识写成文档。
阅读导航:上一节:13.2 全书 45 项评审汇总 · 下一节:目录与学习路径 。
常见错误与边界
- 把收口当成复述。 收口要给判断和动作,不是把前面 12 章再讲一遍;如果一页纸写不完,说明还没收口。
- 用目标分数代替目标级别。 目标分数会诱导补容易的项,目标级别会诱导跳级;要写下一级缺口与三个动作。
- 把三个动作写成愿望清单。 一个季度能做完三件事已经算快;动作超过三个,通常会一个都完不成。
- 忽略共同短板。 价值计量、供应商依赖、平台边界三家都是 0 分,先补这些比补自家独有的项更有杠杆。
- 把成熟度定级交给内部人。 自评通常高一到两级;定级要由不直接负责该产品的人独立完成。
- 把本书当成行业模板。 三个案例是教学设定,任务量、工时与成本换到真实业务都要重新测。
全书到这里结束。如果只带走一句话:Agent 产品的终点不是「它替人做了多少」,而是「组织在没有它的时候,还能不能把这件事说清楚」。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。