以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
第 10 章讲的是失败与容错。从这一章开始讲一个更前置的问题:没有数据的时候,Agent 靠什么开始工作。
这个问题在立项会上经常被一句「等我们积累一些数据再做」带过去。听起来稳妥,实际上把项目无限期推迟了,因为「够了」从来没有定义。更现实的答案是:冷启动只有三条路,三条都不快,但都可以在数据不足时启动。产品经理的工作不是等数据,而是选一条路并承担它的代价。
冷启动的三种起点
三条路分别是规则兜底、人工标注起步、公开数据迁移。它们的区别不在技术难度,而在「第一条可用路径依赖什么」。
| 路径 | 依赖什么 | 第一个价值形态 | 主要风险 |
|---|---|---|---|
| 规则兜底 | 检查项可枚举,高频项能写成明确条件 | 机器做判定,人做解释 | 长尾覆盖不到,容易沉默 |
| 人工标注起步 | 有历史处理记录,能抽出统一标注口径 | 小样本评测 + 建议 | 标注标准不统一,固化个人偏差 |
| 公开数据迁移 | 行业模板、公开报告能对齐输出结构 | 先出骨架,再补私有口径 | 公开口径与客户口径不一致 |
三条路不是互斥的。实际项目往往是「规则兜底先上线,人工标注补长尾,公开数据补结构」。但在冷启动的第一个月,团队必须选一条作为主路径,否则三条都做一点,哪条都跑不通。
选主路径的判断标准是「哪条能在最短时间内跑通一个真实任务」。不是哪条最先进,也不是哪条最终效果最好。冷启动阶段最重要的是让系统真的处理一件真实工作,而不是在离线评测里刷分。
三条路的成本与周期
冷启动的成本主要是工程人周,不是模型调用费。用案例事实表里的工程投入与第一个产品周期相乘,可以得到一个大致的量级。
A Relay 的工程投入是 2 人,第一个产品周期 10 周,合计 20 人周。B Quill 是 1 人加外包,第一个周期 16 周,内部投入 16 人周,外包另计。C Runner 是 4 人,第一个周期 14 周,合计 56 人周。
| 案例 | 工程投入 | 第一个周期 | 人周 | 选的主路径 |
|---|---|---|---|---|
| A Relay | 2 人 | 10 周 | 20 | 人工标注起步 |
| B Quill | 1 人 + 外包 | 16 周 | 16(内部) | 公开数据迁移 |
| C Runner | 4 人 | 14 周 | 56 | 规则兜底 |
这三个数字说明一件事:冷启动的周期由组织投入决定,不由数据量决定。C 的 56 人周不是因为它的数据最少,而是因为它要覆盖三条任务线和五类动作,工程面最大。A 的 20 人周也不是因为数据最全,而是因为分诊任务边界最窄。
人周只是工程成本。冷启动还要算业务侧的标注、评审、试点协调时间,这些时间不在人周里,但会决定项目能不能按期完成。产品经理排期时要把两部分都放进去,否则工程做完了,业务还没准备好。
三案例各选一条
A Relay 选人工标注起步。 支持团队 9 人,每天处理 1,200 张工单,历史处理记录本身就在工单系统里。团队不需要从零造数据,只需要把过去两周的处理结果按队列、优先级、模板三个字段重新标注一遍。标注口径由资深支持人员定,先标 200 张做一致性检查,一致率达到要求再扩到全量。
A 选这条路的理由不是标注便宜,而是标注能暴露口径分歧。分诊的难点往往不是模型不会分,而是两个人对同一张工单的队列判断不一致。先把人的口径统一,模型才有稳定的学习目标。
B Quill 选公开数据迁移。 咨询报告有成熟的行业模板,公开报告也能提供结构参照。B 的 15 人团队不需要先积累几百份内部报告,可以先用模板搭出章节骨架,再让顾问补客户私有口径。11 分钟的生成时间里,大部分花在结构组织和图表渲染,而不是从零想要写什么。
B 选这条路的代价是事实准确性。公开模板能解决「像不像报告」,解决不了「数字对不对」。所以 B 的冷启动验收必须把事实核对单独列出来,不能因为初稿看起来完整就认为成功。
C Runner 选规则兜底。 运营任务里有一部分是明确的检查项:价格低于成本线、库存低于安全线、商品状态与库存不一致。这些规则可以先写成确定性判断,不依赖模型。C 的 24 人团队先用规则覆盖高频、低风险的部分,模型只在规则覆盖不到时介入。
C 选这条路的理由是风险控制。执行档的动作有副作用,冷启动阶段不适合让模型直接做开放判断。规则兜底虽然覆盖有限,但每一次判定都可解释、可回滚,适合作为执行档的第一条路径。
「等数据够了再做」是最常见的拖延
等待看起来没有成本,实际上每周都在损失可节省的人工。
A 每周处理 6,000 张工单(26,400 ÷ 22 天 × 5 天),每张节省 2.75 分钟(3.5 − 0.75),按 0.50 美元/分钟计算,一周的机会成本是 8,250 美元。B 每周 140 份报告,每份节省 156 分钟(252 − 96),一周是 10,920 美元。C 每周 3,000 个任务(600 × 5),每个节省 13.96 分钟(18 − 4.04),一周是 20,940 美元。
| 案例 | 每周任务量 | 每任务节省 | 每周机会成本 |
|---|---|---|---|
| A Relay | 6,000 单 | 2.75 分钟 | 8,250 美元 |
| B Quill | 140 份 | 156 分钟 | 10,920 美元 |
| C Runner | 3,000 个 | 13.96 分钟 | 20,940 美元 |
这些数字不是说要立刻全量上线,而是说「等」有价格。等一个季度,A 损失约 107,250 美元的可节省人工,C 损失约 272,220 美元。项目延期当然可能有其他原因,但「等数据够了」不应该是一个不被计价的理由。
更关键的是,等待并不会让数据自动变好。没有标注口径,历史记录再多也只是原始日志;没有评测集,数据积累再多也无法判断模型有没有进步。冷启动真正缺的不是数据量,而是「把数据处理成可用反馈」的机制。这个机制越早建,数据越早有用。
冷启动的第一条验收线
冷启动的验收线不是准确率,而是「能不能跑通一个真实任务」。
具体可以写成三条:
- 真实输入。 用生产环境的一条真实任务,不用构造的样例。
- 完整输出。 输出形态符合任务规格,字段齐全,不是半成品。
- 人能接手。 人能在可接受的时间内确认、修改或回滚,接管成本有估值。
三条都过,才算冷启动完成。准确率可以低,覆盖面可以窄,但流程必须是真的。很多项目在离线评测里表现很好,一到真实任务就卡住,原因是评测集和真实输入的结构不一致,或者输出缺少人接手所需的字段。
第一条验收线还要记录「第一个价值时刻」的时间。从用户提交任务到拿到可用结果,一共花了多久。这个时间决定用户愿不愿意继续用,第 11.2 节会展开。
把起步方案写成可运行的模型
下面这个模型把三条路径的依赖、三案例的选择、人周成本和每周等待成本写在一起。planFor 返回一条完整的起步方案,waitCost 把「再等等」换算成金额。
// file: src/task/11-1-no-data-start.ts
// tier: L2
// verify: node --test test/task/11-1-no-data-start.test.ts
// 冷启动只有三条路:规则兜底、人工标注起步、公开数据迁移。
// 三条都不快;真正的区别是第一条可用路径依赖什么,以及等下去的代价。
import { byKey } from "../cases.ts";
import { format, mul, type Cents } from "../core/money.ts";
export type StartPath = "rules" | "labeling" | "public-data";
export type PathSpec = {
readonly label: string;
readonly prerequisite: string;
readonly firstValue: string;
readonly risk: string;
};
export const PATH_SPEC: Record<StartPath, PathSpec> = {
rules: {
label: "规则兜底",
prerequisite: "检查项可枚举,且高频项能写成明确条件",
firstValue: "先覆盖高频、低风险的规则项,机器只做判定不做解释",
risk: "规则覆盖不到的长尾会沉默,必须配人工兜底入口",
},
labeling: {
label: "人工标注起步",
prerequisite: "有可访问的历史处理记录,且能抽出统一标注口径",
firstValue: "用两周处理记录标出队列、优先级与模板,先做小样本评测",
risk: "标注标准不统一,会把个人习惯固化成系统偏差",
},
"public-data": {
label: "公开数据迁移",
prerequisite: "行业模板、公开报告或通用语料能对齐目标输出结构",
firstValue: "先用模板搭出骨架,再让团队补客户私有口径",
risk: "公开口径与客户口径不一致,初稿看起来完整但事实错",
},
};
// 工程投入与第一个产品周期来自案例事实表;两者相乘就是人周成本。
export const ENGINEERING: Record<"A" | "B" | "C", number> = {
A: 2,
B: 1,
C: 4,
};
export const FIRST_CYCLE_WEEKS: Record<"A" | "B" | "C", number> = {
A: 10,
B: 16,
C: 14,
};
export const CASE_PATH: Record<"A" | "B" | "C", StartPath> = {
A: "labeling",
B: "public-data",
C: "rules",
};
export type StartPlan = {
readonly key: "A" | "B" | "C";
readonly path: StartPath;
readonly spec: PathSpec;
readonly engineering: number;
readonly cycleWeeks: number;
readonly personWeeks: number;
readonly weeklyDelayCents: Cents;
};
// 每周任务量:A 按 26,400 / 22 天 × 5 天,B 直接用事实表的 140 份/周,
// C 按 600 / 天 × 5 天。人工节省只算人工,不含机器时间。
export const WEEKLY_TASKS: Record<"A" | "B" | "C", number> = {
A: 6_000,
B: 140,
C: 3_000,
};
export function savedMinutes(key: "A" | "B" | "C"): number {
const profile = byKey(key);
return profile.manualMinutes - profile.humanMinutes;
}
// 等待一周的机会成本:本周任务量 × 每任务省下的人工分钟 × 0.50 美元/分钟。
export function weeklyDelayCents(key: "A" | "B" | "C"): Cents {
return mul(mul(WEEKLY_TASKS[key], savedMinutes(key)), 50);
}
export function planFor(key: "A" | "B" | "C"): StartPlan {
const path = CASE_PATH[key];
return {
key,
path,
spec: PATH_SPEC[path],
engineering: ENGINEERING[key],
cycleWeeks: FIRST_CYCLE_WEEKS[key],
personWeeks: ENGINEERING[key] * FIRST_CYCLE_WEEKS[key],
weeklyDelayCents: weeklyDelayCents(key),
};
}
export function plans(): readonly StartPlan[] {
return (["A", "B", "C"] as const).map(planFor);
}
// 「等数据够了再做」把等待当成零成本。按周计价后,等待本身就是一个可否决的方案。
export function waitCost(key: "A" | "B" | "C", weeks: number): Cents {
if (weeks < 0) throw new Error("weeks must not be negative");
return weeklyDelayCents(key) * weeks;
}
export function waitCostLabel(key: "A" | "B" | "C", weeks: number): string {
return format(waitCost(key, weeks));
}
PATH_SPEC 里的 prerequisite 是选路径的硬条件。没有历史处理记录,人工标注起步就无从谈起;没有可枚举的检查项,规则兜底也写不出来。评审时先对照这条,再看团队偏好。
ENGINEERING 与 FIRST_CYCLE_WEEKS 直接来自案例事实表,两者相乘得到人周。B 的 1 人是内部投入,外包不计入 16 人周,这个口径要在预算里写清,否则实际成本会被低估。
weeklyDelayCents 用每周任务量乘每任务节省的人工分钟,再乘 0.50 美元/分钟。它只算人工节省,不含系统成本,也不含模型耗时。这个口径和全书一致:模型时间不是人工时间。
waitCost 把等待周数变成金额,并且拒绝负数。它的作用不是精确财务预测,而是在立项会上把「再等等」从一个模糊态度变成一个可比较的数字。
冷启动的组织前提
三条路都需要一个组织前提:有人对「第一条路径」负责。
规则兜底需要业务专家写规则,人工标注需要资深员工定口径,公开数据迁移需要顾问判断哪些模板可用。这些角色不在工程团队里,但他们决定了冷启动能不能按期完成。产品经理要做的不是替他们做判断,而是把他们的时间排进计划。
第二个前提是「允许第一条路径不完美」。规则兜底会有长尾,人工标注会有分歧,公开数据会有口径差异。如果团队要求第一条路径就达到最终质量,项目会永远停在准备阶段。正确的做法是先上线一条窄路径,用真实反馈决定下一步补什么。
第三个前提是「反馈要能回流」。冷启动阶段产生的每一次修改、每一次转人工,都是后续改进的输入。如果这些反馈只留在个人手里,没有进入系统,冷启动就只是一次性演示,不会变成可持续的能力。第 11.3 节会讲反馈回流需要满足什么条件。
小结
- 冷启动只有三条路:规则兜底、人工标注起步、公开数据迁移,三条都不快。
- 选主路径的标准是哪条能最快跑通一个真实任务,不是哪条最先进。
- 三案例各选一条:A 人工标注、B 公开数据迁移、C 规则兜底,分别对应 20、16、56 人周。
- 人周由工程投入乘第一个产品周期得出,B 的 16 人周只算内部投入,外包另计。
- 等待有价格:A 每周 8,250 美元、B 每周 10,920 美元、C 每周 20,940 美元的可节省人工。
- 冷启动的第一条验收线是跑通真实任务,不是离线准确率;真实输入、完整输出、人能接手三条都要过。
- 三条路都需要业务角色投入,产品经理要把他们的时间排进计划。
- 第一条路径允许不完美,但反馈必须能回流,否则冷启动只是一次性演示。
阅读导航:上一节:10.3 容错预算:错到什么程度还能接受 · 下一节:11.2 第一次价值时刻的设计 。
常见错误与边界
- 把「等数据够了」当成计划。 没有定义「够了」是多少、什么时候到,项目会被无限期推迟,而等待本身每周都在损失可节省人工。
- 三条路同时做。 冷启动资源有限,三条各做一点,哪条都跑不通;第一个月必须选一条主路径。
- 用离线评测代替真实任务。 评测集结构与生产输入不一致,离线分数再高也不能证明能跑通真实工作。
- 只算工程人周,不算业务投入。 标注、评审、试点协调都要时间,漏掉这部分排期一定延期。
- 要求第一条路径就达到最终质量。 规则有长尾、标注有分歧,要求完美会让项目停在准备阶段。
- 反馈不回流。 修改和转人工只留在个人手里,冷启动无法沉淀为后续能力。
下一节讨论冷启动里最关键的单个瞬间:用户第一次拿到价值的那一刻,以及为什么它几乎不能失败。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。