《AI Agent 产品开发·任务定义与能力边界》11.2 第一次价值时刻的设计

第一次价值必须发生在第一个真实任务里,而且不能依赖历史数据。本节给出首次体验的五步模板,用 A Relay 的第一张工单说明 1.05 分钟、78% 采纳率与三条依据如何构成单次价值,拆解首次失败为何几乎不可挽回,并提供可运行的首次体验审计模型与连续三次不顺的概率估算。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节讲没有数据怎么起步。这一节讲起步之后最关键的一个瞬间:用户第一次从 Agent 那里拿到价值。

很多团队把「第一次使用」当成一次功能演示:预置一个漂亮样例,让用户点几下,看到结果。演示结束,用户鼓掌,然后回到原来的工作方式。问题在于,演示展示的是产品的最好状态,不是用户自己的任务。第一次价值如果不是发生在用户的真实任务上,它就不是价值,只是表演。

第一次价值不是第一次使用

第一次使用是产品事件,第一次价值是用户事件。两者的区别在于「解决的是谁的问题」。

产品事件关心的是:用户有没有看到界面、有没有点按钮、有没有完成引导。用户事件关心的是:用户手上的那件真实工作,有没有因为 Agent 而变快、变准、变省心。

A Relay 的第一次使用可能是支持人员打开工单页,看到侧栏里有一个「分诊建议」。第一次价值则是他把一张真实工单交给它,18 秒后看到队列、优先级和首响模板,确认后直接开始回复客户。前者只要界面加载就成立,后者必须有一个真实任务被推进。

把两者混为一谈,会导致一套错误的指标:引导完成率、功能点击率、演示满意度。这些指标可以很好看,但用户第二天不再使用,因为它们没有回答「我的工作有没有变好」。

第一次价值的设计目标只有一个:让用户在第一个真实任务里就拿到一个可用的结果,并且知道这个结果是怎么来的。

首次体验的五步模板

一个合格的首次体验,至少包含五步。

步骤用户看到什么设计要点
预置样例一个已脱敏的真实任务与结果让用户先看懂输出长什么样,不要求他提供数据
真实任务用户自己选的一条任务不从系统队列硬塞,用户要有选择权
时间上限明确的最长等待时间超时先给中间态,不让用户干等
依据可见结论对应的输入与来源用户能判断该不该信,而不是只看结论
允许纠正改一处并记录原因第一次就能参与,而不是只能接受或放弃

五步的顺序有讲究。预置样例在前,是为了降低第一次操作的门槛;真实任务在后,是为了让价值发生在用户自己的工作里。如果顺序反过来,用户还没看懂输出就先被要求提供数据,很容易退出。

时间上限是容易被忽略的一步。用户对等待的容忍度远低于团队的想象,尤其是第一次使用。A Relay 的机器耗时是 18 秒,加上人工确认 45 秒,人机总耗时 1.05 分钟。这个量级用户能接受,因为它比人工分诊的 3.5 分钟快得多。如果第一次使用要等 5 分钟,即使用户最后拿到了正确结果,体验也已经受损。

依据可见决定了用户敢不敢用第二次。第一次使用时,用户没有历史经验判断 Agent 准不准,只能看依据。依据充分,用户会把一次正确归因为能力;依据缺失,用户会把一次正确归因为运气。

允许纠正是把用户从「旁观者」变成「参与者」。用户改了一处,系统记录了原因,下一次就会更好。这个动作本身也在告诉用户:它不是一次性产品,会随着使用变好。

A Relay 的第一张工单

把五步模板落到 A Relay 上,第一次价值可以这样发生。

支持人员打开一张真实工单,侧栏显示建议:队列「登录」、优先级 P2、首响模板 T-14。建议旁边有三条依据:客户原话里提到「验证码收不到」、产品线是「账号服务」、历史同类工单 37 张中 34 张进入登录队列。支持人员扫一眼,确认无误,点采纳,开始回复。

整个过程 1.05 分钟,其中机器 18 秒、人 45 秒。相比人工分诊的 3.5 分钟,第一次就省了 2.45 分钟。更重要的是,支持人员看到了依据,知道这个建议不是随机猜的。

如果建议错了呢?支持人员改成「账单」队列,系统记录改动原因「客户同时提到扣费异常」。这一次修改进入了反馈,下一次遇到同类工单时,建议会更准。第一次价值不要求 100% 正确,它要求「即使错了,用户也知道怎么改,并且改完有用」。

A 的采纳率是 78%,可以把它当作第一次被直接接受的概率估计。剩下 22% 需要修改,平均修改时长 91 秒;这个时长说明改动通常是局部的,而不是推倒重来。这个分布支持「单次就够好」的设计:用户不需要用十次才能感受到价值,第一次就有较大概率拿到可用结果。

「单次就够好」的判据

「单次就够好」不是指一次就完美,而是指一次就能完成一个完整的工作单元。

判据可以写成三条:

  1. 闭环。 用户拿到结果后,能直接进入下一步工作,不需要再去别处补信息。
  2. 可判断。 用户能在几十秒内判断结果对不对,依据足够具体。
  3. 可修正。 如果不对,用户能在一次操作内改好,不需要重来。

A 的第一张工单满足三条:确认后直接回复客户,闭环;三条依据让判断发生在几十秒内,可判断;改队列只需一次选择,可修正。

B Quill 的第一次价值则不同。它生成的是 12 到 20 页初稿,人审改要 1.6 小时,单次不可能「直接交付」。B 的「单次就够好」应该定义为:初稿结构可用、每段有来源、需要改的地方集中在少数章节。用户不需要重写整篇,但必须投入审改时间。这不是缺陷,而是草稿档的责任分配。

C Runner 的第一次价值又不同。它执行的是动作,用户第一次看不到「结果好不好」,只能看审计记录。C 的「单次就够好」应定义为:动作正确、可回滚、审计记录能看懂。用户第一次可能只让它做一条只读检查,确认判断逻辑后再放开写操作。

三家的判据不同,但结构一致:一次完整工作单元、用户能判断、错了能修。用这个结构去设计首次体验,比套用同一个模板更靠谱。

首次失败为什么几乎不可挽回

第一次失败的成本远高于第十次失败,因为用户还没有形成「它大多数时候是对的」这个信念。

A 的一次通过率是 78%,连续三次都不顺的概率是 0.22 × 0.22 × 0.22 ≈ 1.06%。B 的一次通过率是 63%,连续三次不顺的概率是 0.37 × 0.37 × 0.37 ≈ 5.07%。单看一次失败,22% 和 37% 都不算高;但第一次就失败的用户,很可能不会给第二次机会。

这不是危言耸听,而是首次体验的心理结构决定的。用户第一次使用时,没有成功案例可以抵消失败,一次错误就是全部证据。第十次失败时,前面九次成功已经建立了基线,用户会说「这次不太对」,而不是「这东西不行」。

所以首次体验的设计要宁可窄、不可宽。与其让用户第一次就尝试一个复杂任务然后失败,不如让他先做一个边界清晰、成功率高的小任务。A 的分诊建议比「自动回复客户」窄得多,但正是这个窄任务让第一次价值稳定发生。

首次失败之后,补救动作要比平时更快、更具体。不是发一封「抱歉给您带来不便」,而是直接告诉用户「这次是因为工单缺少产品线字段,补充后重新生成即可」。用户能理解具体原因,才有可能给第二次机会;一句笼统的道歉,只会确认「这东西不可靠」。

把首次体验写成可运行的模型

下面这个模型把五步模板、三案例的首次价值时间和连续三次不顺的概率写在一起。auditFirstRun 检查五步是否齐全,firstRunTemplate 给每个案例生成具体的首次体验脚本。

// file: src/task/11-2-first-value-moment.ts
// tier: L2
// verify: node --test test/task/11-2-first-value-moment.test.ts

// 第一次价值必须发生在第一个真实任务里,而且不能依赖历史数据。
// 首次失败几乎不可挽回:用户不会给第二次「第一次」的机会。

import { byKey } from "../cases.ts";
import { FULL } from "../core/rate.ts";

export type FirstRunStep =
  | "sample"
  | "real-task"
  | "time-box"
  | "evidence"
  | "correction";

export const FIRST_RUN_STEPS: readonly FirstRunStep[] = [
  "sample",
  "real-task",
  "time-box",
  "evidence",
  "correction",
];

export const STEP_LABEL: Record<FirstRunStep, string> = {
  sample: "预置样例",
  "real-task": "真实任务",
  "time-box": "时间上限",
  evidence: "依据可见",
  correction: "允许纠正",
};

export type FirstRunAudit = {
  readonly ready: boolean;
  readonly missing: readonly FirstRunStep[];
  readonly completed: number;
};

export function auditFirstRun(done: readonly FirstRunStep[]): FirstRunAudit {
  const missing = FIRST_RUN_STEPS.filter((step) => !done.includes(step));
  return {
    ready: missing.length === 0,
    missing,
    completed: FIRST_RUN_STEPS.length - missing.length,
  };
}

// 人机总耗时 = 机器耗时 + 人工耗时。模型那一段不计入人工。
export function timeToFirstValue(key: "A" | "B" | "C"): number {
  const profile = byKey(key);
  return profile.machineMinutes + profile.humanMinutes;
}

export function beatsManualBaseline(key: "A" | "B" | "C"): boolean {
  return timeToFirstValue(key) < byKey(key).manualMinutes;
}

// 一次通过率:A 采纳 78%,B 一次采纳 63%,C 自动完成 78%。
export const FIRST_PASS_BPS: Record<"A" | "B" | "C", number> = {
  A: 7800,
  B: 6300,
  C: 7800,
};

// 连续三次都不顺的概率。它解释为什么首次体验不能靠「多用几次就好了」。
export function threeStrikeRisk(key: "A" | "B" | "C"): number {
  const miss = (FULL - FIRST_PASS_BPS[key]) / FULL;
  return miss * miss * miss;
}

export function formatMinutes(minutes: number): string {
  return minutes < 10 ? minutes.toFixed(2) : String(Math.round(minutes));
}

export type RunTemplate = {
  readonly key: "A" | "B" | "C";
  readonly steps: readonly { readonly step: FirstRunStep; readonly text: string }[];
  readonly success: string;
};

const SAMPLE_TEXT: Record<"A" | "B" | "C", string> = {
  A: "用一张已结案的工单预填,先让用户看建议长什么样,不要求他提供数据",
  B: "用一份脱敏数据包预生成目录,先让用户看结构而不是整篇初稿",
  C: "用一条只读任务预演,全程不执行写操作,让用户看清动作边界",
};

const EVIDENCE_TEXT: Record<"A" | "B" | "C", string> = {
  A: "给出三条依据:客户原话、产品线、历史同类工单,点得开",
  B: "每段标注数据包条目,事实核对清单与正文并排",
  C: "每个动作指向规则编号与执行前快照,可回放到具体字段",
};

const CORRECTION_TEXT: Record<"A" | "B" | "C", string> = {
  A: "允许直接改队列或优先级,并记录改动原因,下一次不再犯同一个错",
  B: "允许指定章节重写,保留已确认段落,不要求整篇重来",
  C: "允许跳过当前动作并留下原因,跳过的动作进入人工队列",
};

export function firstRunTemplate(key: "A" | "B" | "C"): RunTemplate {
  const minutes = formatMinutes(timeToFirstValue(key));
  return {
    key,
    steps: [
      { step: "sample", text: SAMPLE_TEXT[key] },
      { step: "real-task", text: "第一个真实任务由用户自己选,不从系统队列里硬塞" },
      { step: "time-box", text: `在 ${minutes} 分钟内交出第一份结果,超时就先给中间态` },
      { step: "evidence", text: EVIDENCE_TEXT[key] },
      { step: "correction", text: CORRECTION_TEXT[key] },
    ],
    success:
      key === "A"
        ? "用户在一次确认内采纳,或改一处后明确说「下次照这个来」"
        : key === "B"
          ? "用户在一轮审改内交出初稿,且没有推翻整篇结构"
          : "用户在一次审计抽检中确认动作正确,或完成一次成功回滚",
  };
}

timeToFirstValue 用的是机器耗时加人工耗时,A 是 0.30 + 0.75 = 1.05 分钟,B 是 11 + 96 = 107 分钟,C 是 2.4 + 4.04 = 6.44 分钟。模型时间不计入人工,但计入用户等待,所以首次价值时间必须把它加上。

beatsManualBaseline 检查首次价值时间是否低于人工基线。三家都成立:A 1.05 < 3.5,B 107 < 252,C 6.44 < 18。这个检查看起来简单,却能拦住一类常见错误:首次体验设计得很完整,但比人工还慢,用户没有理由继续用。

threeStrikeRisk 把一次通过率换算成连续三次不顺的概率。A 和 C 约 1.06%,B 约 5.07%。B 的风险更高,因为它的第一次价值需要用户投入 1.6 小时审改,连续三次不顺的挫败感会被放大。B 的首次体验应该更强调「结构可用」,而不是「内容完美」。

firstRunTemplate 的五步是固定顺序,但每一步的文案按案例生成。A 的样例是一张已结案工单,B 是一份脱敏数据包,C 是一条只读任务。同一个模板,不同的责任分配。

第二次与第 N 次

第一次价值决定用户会不会再来,第二次决定他会不会形成习惯。

第二次体验的设计重点不是「再给一次惊喜」,而是「确认第一次的价值可以重复」。用户第一次改了队列,第二次应该看到同类工单的建议更准;用户第一次审改了报告,第二次应该看到同类章节的问题减少。没有这种可见的进步,用户会把第一次的成功当成偶然。

进步不一定要很大。A 的采纳率从 78% 提升到 80%,用户未必感知得到;但「上次我改的那类工单,这次它分对了」是能被感知的。产品要在第二次体验里主动指出这种变化,而不是等用户自己发现。

第 N 次之后,用户会形成稳定的使用模式:哪些任务直接采纳、哪些任务先看依据、哪些任务干脆自己做。这个模式就是任务边界的真实版本,比任何规格文档都准确。产品团队应该把它收集起来,用来修正任务定义,而不是继续按立项时的假设迭代。

小结

  • 第一次使用是产品事件,第一次价值是用户事件;前者只要界面加载就成立,后者必须推进一件真实工作。
  • 首次体验五步:预置样例、真实任务、时间上限、依据可见、允许纠正,顺序不能乱。
  • A Relay 的第一张工单在 1.05 分钟内完成,其中机器 18 秒、人 45 秒,78% 的概率直接被采纳。
  • 「单次就够好」的判据是闭环、可判断、可修正,三家案例的具体标准不同但结构一致。
  • 首次失败的成本远高于第十次失败,因为用户还没有成功基线可以抵消它。
  • 连续三次不顺的概率:A 约 1.06%、B 约 5.07%、C 约 1.06%,B 的首次体验风险最高。
  • 首次体验要宁可窄、不可宽,先让用户在一个边界清晰的小任务上成功。
  • 第二次体验要证明价值可重复,让用户看到「上次改过的地方这次变好了」。

阅读导航:上一节:11.1 没有数据时怎么起步 · 下一节:11.3 数据飞轮什么时候才转起来 。

常见错误与边界

  1. 把演示当第一次价值。 预置样例只能让用户看懂输出,不能证明它能在真实任务上工作。
  2. 第一次就推复杂任务。 首次成功率低,用户没有成功基线,一次失败就会流失;先给边界清晰的小任务。
  3. 没有时间上限。 第一次等待超过预期,用户会在结果出来前离开;超时要先给中间态。
  4. 只给结论不给依据。 用户无法判断该不该信,第一次正确也会被归因为运气。
  5. 不允许纠正。 用户只能接受或放弃,无法参与;改一处并记录原因,才能让下一次更好。
  6. 第二次没有可见进步。 用户会把第一次成功当成偶然;要主动指出同类任务的变化。

下一节讨论一个更大的问题:这些修改和纠正要积累到什么程度,才会变成真正的数据飞轮。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图