《AI Agent 产品开发·任务定义与能力边界》11.1 没有数据时怎么起步

冷启动只有三条路:规则兜底、人工标注起步、公开数据迁移,三条都不快。本节给出三条路的依赖条件、首个价值形态与周期成本,用 A/B/C 三案例各选一条说明 20、16、56 人周的投入从哪来,并把等一周的机会成本算成 8250、10920、20940 美元,论证等数据够了再做为何是最贵的拖延。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

第 10 章讲的是失败与容错。从这一章开始讲一个更前置的问题:没有数据的时候,Agent 靠什么开始工作。

这个问题在立项会上经常被一句「等我们积累一些数据再做」带过去。听起来稳妥,实际上把项目无限期推迟了,因为「够了」从来没有定义。更现实的答案是:冷启动只有三条路,三条都不快,但都可以在数据不足时启动。产品经理的工作不是等数据,而是选一条路并承担它的代价。

冷启动的三种起点

三条路分别是规则兜底、人工标注起步、公开数据迁移。它们的区别不在技术难度,而在「第一条可用路径依赖什么」。

路径依赖什么第一个价值形态主要风险
规则兜底检查项可枚举,高频项能写成明确条件机器做判定,人做解释长尾覆盖不到,容易沉默
人工标注起步有历史处理记录,能抽出统一标注口径小样本评测 + 建议标注标准不统一,固化个人偏差
公开数据迁移行业模板、公开报告能对齐输出结构先出骨架,再补私有口径公开口径与客户口径不一致

三条路不是互斥的。实际项目往往是「规则兜底先上线,人工标注补长尾,公开数据补结构」。但在冷启动的第一个月,团队必须选一条作为主路径,否则三条都做一点,哪条都跑不通。

选主路径的判断标准是「哪条能在最短时间内跑通一个真实任务」。不是哪条最先进,也不是哪条最终效果最好。冷启动阶段最重要的是让系统真的处理一件真实工作,而不是在离线评测里刷分。

三条路的成本与周期

冷启动的成本主要是工程人周,不是模型调用费。用案例事实表里的工程投入与第一个产品周期相乘,可以得到一个大致的量级。

A Relay 的工程投入是 2 人,第一个产品周期 10 周,合计 20 人周。B Quill 是 1 人加外包,第一个周期 16 周,内部投入 16 人周,外包另计。C Runner 是 4 人,第一个周期 14 周,合计 56 人周。

案例工程投入第一个周期人周选的主路径
A Relay2 人10 周20人工标注起步
B Quill1 人 + 外包16 周16(内部)公开数据迁移
C Runner4 人14 周56规则兜底

这三个数字说明一件事:冷启动的周期由组织投入决定,不由数据量决定。C 的 56 人周不是因为它的数据最少,而是因为它要覆盖三条任务线和五类动作,工程面最大。A 的 20 人周也不是因为数据最全,而是因为分诊任务边界最窄。

人周只是工程成本。冷启动还要算业务侧的标注、评审、试点协调时间,这些时间不在人周里,但会决定项目能不能按期完成。产品经理排期时要把两部分都放进去,否则工程做完了,业务还没准备好。

三案例各选一条

A Relay 选人工标注起步。 支持团队 9 人,每天处理 1,200 张工单,历史处理记录本身就在工单系统里。团队不需要从零造数据,只需要把过去两周的处理结果按队列、优先级、模板三个字段重新标注一遍。标注口径由资深支持人员定,先标 200 张做一致性检查,一致率达到要求再扩到全量。

A 选这条路的理由不是标注便宜,而是标注能暴露口径分歧。分诊的难点往往不是模型不会分,而是两个人对同一张工单的队列判断不一致。先把人的口径统一,模型才有稳定的学习目标。

B Quill 选公开数据迁移。 咨询报告有成熟的行业模板,公开报告也能提供结构参照。B 的 15 人团队不需要先积累几百份内部报告,可以先用模板搭出章节骨架,再让顾问补客户私有口径。11 分钟的生成时间里,大部分花在结构组织和图表渲染,而不是从零想要写什么。

B 选这条路的代价是事实准确性。公开模板能解决「像不像报告」,解决不了「数字对不对」。所以 B 的冷启动验收必须把事实核对单独列出来,不能因为初稿看起来完整就认为成功。

C Runner 选规则兜底。 运营任务里有一部分是明确的检查项:价格低于成本线、库存低于安全线、商品状态与库存不一致。这些规则可以先写成确定性判断,不依赖模型。C 的 24 人团队先用规则覆盖高频、低风险的部分,模型只在规则覆盖不到时介入。

C 选这条路的理由是风险控制。执行档的动作有副作用,冷启动阶段不适合让模型直接做开放判断。规则兜底虽然覆盖有限,但每一次判定都可解释、可回滚,适合作为执行档的第一条路径。

「等数据够了再做」是最常见的拖延

等待看起来没有成本,实际上每周都在损失可节省的人工。

A 每周处理 6,000 张工单(26,400 ÷ 22 天 × 5 天),每张节省 2.75 分钟(3.5 − 0.75),按 0.50 美元/分钟计算,一周的机会成本是 8,250 美元。B 每周 140 份报告,每份节省 156 分钟(252 − 96),一周是 10,920 美元。C 每周 3,000 个任务(600 × 5),每个节省 13.96 分钟(18 − 4.04),一周是 20,940 美元。

案例每周任务量每任务节省每周机会成本
A Relay6,000 单2.75 分钟8,250 美元
B Quill140 份156 分钟10,920 美元
C Runner3,000 个13.96 分钟20,940 美元

这些数字不是说要立刻全量上线,而是说「等」有价格。等一个季度,A 损失约 107,250 美元的可节省人工,C 损失约 272,220 美元。项目延期当然可能有其他原因,但「等数据够了」不应该是一个不被计价的理由。

更关键的是,等待并不会让数据自动变好。没有标注口径,历史记录再多也只是原始日志;没有评测集,数据积累再多也无法判断模型有没有进步。冷启动真正缺的不是数据量,而是「把数据处理成可用反馈」的机制。这个机制越早建,数据越早有用。

冷启动的第一条验收线

冷启动的验收线不是准确率,而是「能不能跑通一个真实任务」。

具体可以写成三条:

  1. 真实输入。 用生产环境的一条真实任务,不用构造的样例。
  2. 完整输出。 输出形态符合任务规格,字段齐全,不是半成品。
  3. 人能接手。 人能在可接受的时间内确认、修改或回滚,接管成本有估值。

三条都过,才算冷启动完成。准确率可以低,覆盖面可以窄,但流程必须是真的。很多项目在离线评测里表现很好,一到真实任务就卡住,原因是评测集和真实输入的结构不一致,或者输出缺少人接手所需的字段。

第一条验收线还要记录「第一个价值时刻」的时间。从用户提交任务到拿到可用结果,一共花了多久。这个时间决定用户愿不愿意继续用,第 11.2 节会展开。

把起步方案写成可运行的模型

下面这个模型把三条路径的依赖、三案例的选择、人周成本和每周等待成本写在一起。planFor 返回一条完整的起步方案,waitCost 把「再等等」换算成金额。

// file: src/task/11-1-no-data-start.ts
// tier: L2
// verify: node --test test/task/11-1-no-data-start.test.ts

// 冷启动只有三条路:规则兜底、人工标注起步、公开数据迁移。
// 三条都不快;真正的区别是第一条可用路径依赖什么,以及等下去的代价。

import { byKey } from "../cases.ts";
import { format, mul, type Cents } from "../core/money.ts";

export type StartPath = "rules" | "labeling" | "public-data";

export type PathSpec = {
  readonly label: string;
  readonly prerequisite: string;
  readonly firstValue: string;
  readonly risk: string;
};

export const PATH_SPEC: Record<StartPath, PathSpec> = {
  rules: {
    label: "规则兜底",
    prerequisite: "检查项可枚举,且高频项能写成明确条件",
    firstValue: "先覆盖高频、低风险的规则项,机器只做判定不做解释",
    risk: "规则覆盖不到的长尾会沉默,必须配人工兜底入口",
  },
  labeling: {
    label: "人工标注起步",
    prerequisite: "有可访问的历史处理记录,且能抽出统一标注口径",
    firstValue: "用两周处理记录标出队列、优先级与模板,先做小样本评测",
    risk: "标注标准不统一,会把个人习惯固化成系统偏差",
  },
  "public-data": {
    label: "公开数据迁移",
    prerequisite: "行业模板、公开报告或通用语料能对齐目标输出结构",
    firstValue: "先用模板搭出骨架,再让团队补客户私有口径",
    risk: "公开口径与客户口径不一致,初稿看起来完整但事实错",
  },
};

// 工程投入与第一个产品周期来自案例事实表;两者相乘就是人周成本。
export const ENGINEERING: Record<"A" | "B" | "C", number> = {
  A: 2,
  B: 1,
  C: 4,
};

export const FIRST_CYCLE_WEEKS: Record<"A" | "B" | "C", number> = {
  A: 10,
  B: 16,
  C: 14,
};

export const CASE_PATH: Record<"A" | "B" | "C", StartPath> = {
  A: "labeling",
  B: "public-data",
  C: "rules",
};

export type StartPlan = {
  readonly key: "A" | "B" | "C";
  readonly path: StartPath;
  readonly spec: PathSpec;
  readonly engineering: number;
  readonly cycleWeeks: number;
  readonly personWeeks: number;
  readonly weeklyDelayCents: Cents;
};

// 每周任务量:A 按 26,400 / 22 天 × 5 天,B 直接用事实表的 140 份/周,
// C 按 600 / 天 × 5 天。人工节省只算人工,不含机器时间。
export const WEEKLY_TASKS: Record<"A" | "B" | "C", number> = {
  A: 6_000,
  B: 140,
  C: 3_000,
};

export function savedMinutes(key: "A" | "B" | "C"): number {
  const profile = byKey(key);
  return profile.manualMinutes - profile.humanMinutes;
}

// 等待一周的机会成本:本周任务量 × 每任务省下的人工分钟 × 0.50 美元/分钟。
export function weeklyDelayCents(key: "A" | "B" | "C"): Cents {
  return mul(mul(WEEKLY_TASKS[key], savedMinutes(key)), 50);
}

export function planFor(key: "A" | "B" | "C"): StartPlan {
  const path = CASE_PATH[key];
  return {
    key,
    path,
    spec: PATH_SPEC[path],
    engineering: ENGINEERING[key],
    cycleWeeks: FIRST_CYCLE_WEEKS[key],
    personWeeks: ENGINEERING[key] * FIRST_CYCLE_WEEKS[key],
    weeklyDelayCents: weeklyDelayCents(key),
  };
}

export function plans(): readonly StartPlan[] {
  return (["A", "B", "C"] as const).map(planFor);
}

// 「等数据够了再做」把等待当成零成本。按周计价后,等待本身就是一个可否决的方案。
export function waitCost(key: "A" | "B" | "C", weeks: number): Cents {
  if (weeks < 0) throw new Error("weeks must not be negative");
  return weeklyDelayCents(key) * weeks;
}

export function waitCostLabel(key: "A" | "B" | "C", weeks: number): string {
  return format(waitCost(key, weeks));
}

PATH_SPEC 里的 prerequisite 是选路径的硬条件。没有历史处理记录,人工标注起步就无从谈起;没有可枚举的检查项,规则兜底也写不出来。评审时先对照这条,再看团队偏好。

ENGINEERING 与 FIRST_CYCLE_WEEKS 直接来自案例事实表,两者相乘得到人周。B 的 1 人是内部投入,外包不计入 16 人周,这个口径要在预算里写清,否则实际成本会被低估。

weeklyDelayCents 用每周任务量乘每任务节省的人工分钟,再乘 0.50 美元/分钟。它只算人工节省,不含系统成本,也不含模型耗时。这个口径和全书一致:模型时间不是人工时间。

waitCost 把等待周数变成金额,并且拒绝负数。它的作用不是精确财务预测,而是在立项会上把「再等等」从一个模糊态度变成一个可比较的数字。

冷启动的组织前提

三条路都需要一个组织前提:有人对「第一条路径」负责。

规则兜底需要业务专家写规则,人工标注需要资深员工定口径,公开数据迁移需要顾问判断哪些模板可用。这些角色不在工程团队里,但他们决定了冷启动能不能按期完成。产品经理要做的不是替他们做判断,而是把他们的时间排进计划。

第二个前提是「允许第一条路径不完美」。规则兜底会有长尾,人工标注会有分歧,公开数据会有口径差异。如果团队要求第一条路径就达到最终质量,项目会永远停在准备阶段。正确的做法是先上线一条窄路径,用真实反馈决定下一步补什么。

第三个前提是「反馈要能回流」。冷启动阶段产生的每一次修改、每一次转人工,都是后续改进的输入。如果这些反馈只留在个人手里,没有进入系统,冷启动就只是一次性演示,不会变成可持续的能力。第 11.3 节会讲反馈回流需要满足什么条件。

小结

  • 冷启动只有三条路:规则兜底、人工标注起步、公开数据迁移,三条都不快。
  • 选主路径的标准是哪条能最快跑通一个真实任务,不是哪条最先进。
  • 三案例各选一条:A 人工标注、B 公开数据迁移、C 规则兜底,分别对应 20、16、56 人周。
  • 人周由工程投入乘第一个产品周期得出,B 的 16 人周只算内部投入,外包另计。
  • 等待有价格:A 每周 8,250 美元、B 每周 10,920 美元、C 每周 20,940 美元的可节省人工。
  • 冷启动的第一条验收线是跑通真实任务,不是离线准确率;真实输入、完整输出、人能接手三条都要过。
  • 三条路都需要业务角色投入,产品经理要把他们的时间排进计划。
  • 第一条路径允许不完美,但反馈必须能回流,否则冷启动只是一次性演示。

阅读导航:上一节:10.3 容错预算:错到什么程度还能接受 · 下一节:11.2 第一次价值时刻的设计 。

常见错误与边界

  1. 把「等数据够了」当成计划。 没有定义「够了」是多少、什么时候到,项目会被无限期推迟,而等待本身每周都在损失可节省人工。
  2. 三条路同时做。 冷启动资源有限,三条各做一点,哪条都跑不通;第一个月必须选一条主路径。
  3. 用离线评测代替真实任务。 评测集结构与生产输入不一致,离线分数再高也不能证明能跑通真实工作。
  4. 只算工程人周,不算业务投入。 标注、评审、试点协调都要时间,漏掉这部分排期一定延期。
  5. 要求第一条路径就达到最终质量。 规则有长尾、标注有分歧,要求完美会让项目停在准备阶段。
  6. 反馈不回流。 修改和转人工只留在个人手里,冷启动无法沉淀为后续能力。

下一节讨论冷启动里最关键的单个瞬间:用户第一次拿到价值的那一刻,以及为什么它几乎不能失败。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图