《AI Agent 产品开发·任务定义与能力边界》10.2 预期管理:怎么介绍它才不会让人失望

预期管理不是一句免责声明,而是把能做、不能做、不确定时怎么办写成用户看得懂的三段介绍。本节对比最强 AI 与分诊助手两种说法带来的后果,用 A Relay 的 18 秒、78% 采纳率与约每 5 张工单改一次说明第一次出错为何取决于介绍,并给出可运行的说明检查模型。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节把失败拆成六种。这一节讨论一个更靠前的问题:在用户第一次遇到失败之前,产品已经通过介绍给他设定了预期。预期设错了,第一次失败就会被理解成欺骗;预期设对了,第一次失败只是计划内的一次修正。

很多团队把预期管理理解为在界面底部加一句「AI 生成内容仅供参考」。这句话既没有告诉用户它能做什么,也没有告诉用户错了怎么办,只是一份免责声明。真正的预期管理是一段具体的、可验证的介绍,写在用户第一次使用之前。

预期不是免责声明

免责声明的作用是划分法律责任,不是建立信任。用户读完「仅供参考」,仍然不知道这个 Agent 能不能信、该信到什么程度、什么时候该自己看一眼。

预期管理要回答三个问题:

  1. 它替我做什么,做到什么程度?
  2. 它不做什么,哪些事仍然由我负责?
  3. 它不确定的时候,会怎么表现?

三个问题都答了,用户才有能力判断一次输出该接受还是该怀疑。只答第一个,用户会高估;一个都不答,用户只能靠第一次使用的运气形成预期。

预期管理的目标不是让用户「觉得它很强」,而是让用户「知道它什么时候不强」。前者带来短期试用,后者带来长期使用。

三段式:能做、不能做、不确定时怎么办

一段合格的介绍由三段组成,顺序不能换。

段落要写什么不合格的写法合格的写法
能做具体动作、时间、输出形态「智能分诊,提升效率」「18 秒内给出队列、优先级和首响模板建议」
不能做明确的拒绝与责任归属「结果仅供参考」「最终分诊由你确认,赔付与退款不在它的权限内」
不确定缺数据、冲突、越界时的动作「如有疑问请联系客服」「缺少产品线时列出两个候选队列,由你选定」

第一段要用可验证的量词。不是「快速」,而是「18 秒」;不是「高质量初稿」,而是「12 到 20 页」。量词让用户在第一次使用后能对照:它说的和做的是不是一回事。

第二段要写明确的拒绝,而不是笼统的免责。A Relay 不能承诺赔付、不能改账号、不能替人做最终决定,这三条要写出来。写出来的拒绝不是自曝其短,而是把责任边界提前说清,避免用户在越界时才发现。

第三段最容易被省略,却最影响信任。用户真正焦虑的不是「它会不会错」,而是「它错了我会不会不知道」。告诉用户不确定时会发生什么,比如列出两个候选、标注依据不足、转人工,用户才敢在不确定的场景里继续用。

三段之间不是并列关系,而是递进关系:能做建立预期,不能做划定边界,不确定时怎么办给出退路。缺任何一段,另外两段都会失效。

两种介绍,两种第一次出错

同一个 A Relay,两种介绍方式会带来完全不同的第一次失败体验。

第一种介绍叫「最强 AI 分诊」。 文案强调「业界最强模型」「准确率超过人工」「一键完成分诊」。用户形成的预期是:它基本不会错。第一次遇到一张分错队列的工单时,用户的反应不是「哦,这里需要我改一下」,而是「它不是说很强吗」。一次错误就足以推翻之前所有的正确。

第二种介绍叫「分诊助手」。 文案写「18 秒内给出队列、优先级和首响模板建议;最终分诊由你确认;约每 5 张工单有 1 张需要你改动」。用户形成的预期是:它是一个需要我确认的助手,平均五次里有一次要动手。第一次遇到需要改的工单时,用户会把它当成约定内的事,而不是产品失灵。

两种介绍的差别不在措辞,而在第一次出错是否被提前定价。A 的建议采纳率是 78%,意味着 22% 的工单会被修改,平均约每 5 张出现一次。这个事实不会因为介绍方式改变,但用户对它的解释会。

「最强 AI」的介绍还有一个隐性代价:它把用户的注意力引向「准不准」,而不是「怎么用」。用户会拿个别案例判断整体能力,一旦遇到错例就失去信心。「分诊助手」的介绍把注意力引向「怎么确认、怎么改」,用户更容易形成稳定的使用习惯。

A Relay 的介绍怎么写

把三段式落到 A Relay 上,可以写成这样:

它会在 18 秒内给出队列、优先级和首响模板建议。最终分诊由你确认,赔付、退款和账号操作不在它的权限内。约每 5 张工单有 1 张需要你改动;如果工单缺少产品线字段,它会列出两个候选队列并说明依据不足,由你选定。

这段话包含四个可核对的信息:时间 18 秒、动作三项、拒绝三项、修改频率约每 5 张一次。用户读完,对第一次使用会发生什么已经有了预期。

其中「约每 5 张改一次」来自 78% 的采纳率:22% 不采纳,1 ÷ 0.22 ≈ 4.55,向上取整为 5。这不是精确承诺,而是一个量级,让用户知道修改是常态而不是异常。

这段话还要和界面一致。如果介绍里说 18 秒,界面却在 40 秒后才出结果,预期管理就失败了;如果介绍里说最终由人确认,界面上却有一个「全部采纳」按钮,责任边界就被产品自己破坏了。介绍不是营销文案,而是产品契约,必须和实际交互对得上。

A 的确认耗时也支持这种介绍方式。采纳时平均确认 32 秒,不采纳时平均修改 91 秒,加权后约 45 秒。用户知道自己平均要花 45 秒确认一张工单,就不会把「用了 Agent」理解成「完全不用管」。

介绍要出现在哪里

介绍只写在官网页是不够的。用户真正形成预期的地方有四个:

位置用户此时的疑问要放什么
首次进入这是什么东西三段式全文,可展开
空状态我该给它什么输入清单与一个预置样例
结果页我该不该信依据、时间、置信说明
失败态现在怎么办失败类型、下一步动作、人工入口

四个位置的文案要互相呼应。首次进入说「最终由你确认」,结果页就要把确认按钮放在依据旁边;失败态说「缺少产品线会列两个候选」,界面上就真的要有两个候选,而不是一句「无法判断」。

销售材料也要遵守同一套说法。销售阶段承诺「全自动」「不用人管」,交付阶段的介绍再谨慎也救不回来,因为用户的预期已经在签约前形成了。预期管理是产品、市场、销售共用的一套口径,不是产品经理一个人的事。

把介绍写成可检查的模型

下面这个模型把三段式说明、一次通过率和第一次出错的位置写在一起。frameEffect 对比两种介绍方式: 「最强 AI」把预期设成零错误,第一次出错就是失信;「分诊助手」把一次通过率写进介绍,第一次出错仍在约定内。

// file: src/task/10-2-expectation-setting.ts
// tier: L2
// verify: node --test test/task/10-2-expectation-setting.test.ts

// 预期管理不是写一句免责声明,而是把「能做、不能做、不确定时怎么办」
// 三段写进入口。用户第一次遇到错误时的反应,在读到介绍时就已经定了。

import { byKey } from "../cases.ts";
import { FULL } from "../core/rate.ts";

export type CapabilityStatement = {
  readonly can: readonly string[];
  readonly cannot: readonly string[];
  readonly unsure: string;
};

const CAN_EXTRA: Record<"A" | "B" | "C", readonly string[]> = {
  A: ["给出 8 个队列之一的归属", "给出 P1 到 P4 的优先级", "给出首响模板编号"],
  B: ["按数据包与模板生成 12 到 20 页初稿", "为每段标注数据来源", "按章节重写而不是整篇重来"],
  C: ["执行上下架检查、价格异常与库存跟进", "对每个动作保留前后值与回滚句柄", "按批次提交审计记录"],
};

const CANNOT: Record<"A" | "B" | "C", readonly string[]> = {
  A: ["替代支持人员做最终分诊决定", "承诺客户赔付或退款", "处理工单之外的账号操作"],
  B: ["对客户数据做最终事实核验", "代替合伙人签发报告", "补造数据包里没有的口径"],
  C: ["执行未登记的高风险动作", "撤销已经发出的客户通知", "跳过审计直接放量"],
};

const UNSURE: Record<"A" | "B" | "C", string> = {
  A: "一张工单同时涉及账单与登录时,列出两个候选队列并说明依据不足,由人选定",
  B: "数据包缺少月度对比字段时,标出缺口,只写已有部分,不猜测缺失值",
  C: "规则与最新快照冲突时暂停当前批次,保留现场并请求人工确认",
};

// 三段式能力说明。第一段用可验证的量词,第二段用明确的拒绝,
// 第三段给出不确定时的动作,而不是一句「仅供参考」。
export function buildStatement(key: "A" | "B" | "C"): CapabilityStatement {
  const profile = byKey(key);
  const seconds = Math.round(profile.machineMinutes * 60);
  const head =
    key === "A"
      ? `${seconds} 秒内给出分诊建议`
      : key === "B"
        ? `${profile.machineMinutes} 分钟生成一份初稿`
        : `${profile.machineMinutes.toFixed(1)} 分钟内完成一个运营任务`;
  return {
    can: [head, ...CAN_EXTRA[key]],
    cannot: CANNOT[key],
    unsure: UNSURE[key],
  };
}

export function statementComplete(statement: CapabilityStatement): boolean {
  return (
    statement.can.length > 0 &&
    statement.cannot.length > 0 &&
    statement.unsure.trim().length > 0
  );
}

export type Framing = "strongest" | "assistant";

export type FrameEffect = {
  readonly framing: Framing;
  /** 按介绍里的承诺,第几个任务会遇到第一次需要修正的情况;null 表示用户预期永不遇到 */
  readonly firstErrorTicket: number | null;
  readonly surpriseAtFirstError: boolean;
  readonly message: string;
};

// 一次通过率:A 建议采纳 78%,B 一次采纳 63%,C 自动完成 78%。
export const FIRST_PASS_BPS: Record<"A" | "B" | "C", number> = {
  A: 7800,
  B: 6300,
  C: 7800,
};

export function firstErrorTicket(key: "A" | "B" | "C"): number {
  const missBps = FULL - FIRST_PASS_BPS[key];
  return Math.ceil(FULL / missBps);
}

// 「最强 AI」把预期设成零错误,第一次出错就是失信;
// 「分诊助手」把一次通过率写进介绍,第一次出错仍在约定之内。
export function frameEffect(
  framing: Framing,
  key: "A" | "B" | "C",
): FrameEffect {
  if (framing === "strongest") {
    return {
      framing,
      firstErrorTicket: null,
      surpriseAtFirstError: true,
      message: "介绍里没有留出错的位置,第一次修正会被当成产品失灵",
    };
  }
  const n = firstErrorTicket(key);
  return {
    framing,
    firstErrorTicket: n,
    surpriseAtFirstError: false,
    message: `介绍里写明约每 ${n} 个任务会有 1 次需要修正,第一次修正属于约定内`,
  };
}

// 同一句介绍在三家公司的具体写法。数字全部来自案例事实表。
export const INTRO_EXAMPLES: Record<"A" | "B" | "C", string> = {
  A: "它会在 18 秒内给出队列、优先级和首响模板建议;最终分诊由你确认,约每 5 张工单有 1 张需要你改。",
  B: "它会在 11 分钟内交出 12 到 20 页初稿;事实核验与签发由你负责,约每 3 份有 1 份需要你改动。",
  C: "它会在 2.4 分钟内处理一个运营任务;高风险动作需要审批,已发出的通知只能补偿、不能撤回。",
};

buildStatement 的第一段用案例事实表里的机器耗时生成,A 是 18 秒,B 是 11 分钟,C 是 2.4 分钟。这样介绍里的数字不会和案例数据脱节,改数据时文案自动跟着变。

statementComplete 检查三段是否齐全。它不能判断文案写得好不好,但能拦住「只写了能做」的半成品。评审时先把三段补齐,再讨论措辞。

firstErrorTicket 把一次通过率换算成「第几个任务会遇到第一次修正」。A 是 5,B 是 3,C 是 5。这个数字可以直接写进介绍,也可以用来培训客服:用户在第 3 次使用 B 时提出质疑,是预期内的,不是产品突然变差。

frameEffect 的 surpriseAtFirstError 是这套模型的核心。两种介绍下,第一次出错的时间点一样,用户的解释却完全不同。预期管理能改变的只有这个解释,改变不了错误本身。

预期校准是持续动作

介绍写完之后不是就不管了。产品迭代、模型更换、数据源变化,都会改变实际表现,介绍要跟着改。

校准的触发条件可以设三个:

  1. 一次通过率变化超过 5 个百分点。 介绍里的「约每几个任务改一次」需要重算。
  2. 新增或移除一类动作。 「不能做」那一段要更新,尤其是权限相关的变化。
  3. 连续两周收到同类投诉。 说明介绍与实际体验出现偏差,先查界面,再查文案。

校准的责任人要明确。产品经理负责文案与界面一致,运营负责客服口径,销售负责对外材料。三处不一致,用户会在不同渠道得到不同预期,最后以最乐观的那个为准。

预期管理还有一个反向作用:它会逼团队把能力边界想清楚。写不出「不能做」那一段,往往不是文案问题,而是任务边界还没定义好。这时候应该回到第 3 章重写任务规格,而不是硬凑一句免责声明。

小结

  • 预期管理不是免责声明,而是告诉用户它能做什么、不做什么、不确定时怎么办。
  • 三段式顺序不能换:能做建立预期,不能做划定边界,不确定时怎么办给出退路。
  • 「最强 AI」把预期设成零错误,第一次出错就是失信;「分诊助手」把一次通过率写进介绍,第一次出错仍在约定内。
  • A Relay 的介绍应包含 18 秒、三项动作、三项拒绝、约每 5 张改一次四个可核对信息。
  • 介绍要同时出现在首次进入、空状态、结果页和失败态,并与实际交互一致。
  • 第一次出错的位置由一次通过率决定:A 约第 5 张,B 约第 3 份,C 约第 5 个任务。
  • 预期校准要有触发条件与责任人,产品、运营、销售使用同一套口径。
  • 写不出「不能做」,通常不是文案问题,而是任务边界还没定义好。

阅读导航:上一节:10.1 六种失败:不知道、编造、过时、越权、半途、沉默 · 下一节:10.3 容错预算:错到什么程度还能接受 。

常见错误与边界

  1. 只写「仅供参考」。 这句话不提供任何可判断的信息,用户仍然不知道能信到什么程度。
  2. 把「最强」当卖点。 预期被设成零错误,第一次修正就会被当成产品失灵,之前的正确输出也一起被否定。
  3. 三段只写一段。 只写能做,用户会高估;只写不能做,用户不敢用;不写不确定时怎么办,用户遇到缺口就流失。
  4. 介绍与界面不一致。 说好由人确认,却提供「全部采纳」;说好 18 秒,实际 40 秒,介绍就变成了虚假承诺。
  5. 销售口径与产品口径不一致。 签约前承诺全自动,交付后再谨慎的介绍也救不回来。
  6. 介绍写完不校准。 通过率、动作范围、数据源变化后不更新,用户会按旧预期解释新表现。

下一节把「错到什么程度还能接受」变成一张可计算的预算表,讨论为什么总错误率达标不等于可以放量。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图