《AI Agent 产品开发·任务定义与能力边界》10.1 六种失败:不知道、编造、过时、越权、半途、沉默

六种失败不是六个形容词:不知道、编造、过时、越权、半途、沉默各有不同的识别信号与产品对策。本节用三案例各配两种高频失败,拆开编造与不知道为何必须使用不同界面,并给出可运行的失败判定模型与每月暴露量估算,帮助团队在试点前就把失败写进任务规格。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

前面九章讨论的是任务怎么定义、权限怎么划、记忆怎么管。这一章换一个方向:它会怎样失败。这个问题不回答,任务规格就只是一份愿望清单,团队不知道上线后该盯什么,也不知道什么样的错可以接受。

失败不是一个「准确率」能概括的。同一个 91.4% 的分诊正确率,可能意味着 8.6% 的工单被分错队列,也可能意味着其中一部分被标成「不确定」转给了人。这两种情况的用户感受、补救成本、产品对策完全不同。把失败拆开,是为了让每一种错都有名字、有信号、有负责人。

失败分类为什么必须先于准确率

准确率是一个聚合指标,它把不同性质的错误加在一起。产品评审时看到 91.4%,很容易得出「还不错」的结论;但用户遇到的是具体的一次编造、一次越权、一次没有回应。聚合指标无法告诉团队下一次该修哪里。

分类的价值有三点。

第一,它决定界面说什么。 不知道要引导用户补数据,编造要展示引用对不上,越权要说明被哪条权限挡住。三种情况用同一句「我不确定」,用户就失去了判断依据。

第二,它决定谁来兜底。 不知道通常由用户补一个字段就能解决;越权必须由运营改权限;沉默是系统可靠性问题,产品经理要盯超时和告警。责任不同,处理路径就不同。

第三,它决定放量节奏。 可回滚的错误可以带着跑,不可回滚的错误必须一票否决。只盯总错误率,会把后者藏在前者里面。

所以失败分类不是质量团队的内部文档,而是任务规格的一部分。第 3 章的验收标准如果只写「准确率不低于多少」,就还没有回答「错了会怎样」。工程侧如何把这几类失败落到异常类型、重试与降级策略,见 错误分类 ;本节只讨论每一类错误在产品上的界面与兜底。

六种失败:表现、信号、对策

失败典型表现识别信号产品对策
不知道答不出、缺字段、无法判断没有可支撑结论的输入,也没有引用说明缺什么,给补数据入口,必要时转人工
编造有结论、有引用,但引用对不上引用内容与结论不一致,或引用了不存在的条目强制引用校验,校验不过降级为不知道
过时用了旧价格、旧库存、旧口径数据日期超过阈值,或与最新快照冲突显示数据日期,超过阈值先刷新
越权改了不该改的价、发了不该发的通知动作落在授权范围外,或调用未登记工具权限前置校验,计划阶段就拒绝
半途步骤没走完就返回成功完成步数小于总步数,或缺收尾动作步骤状态机落库,未完成不许标成功
沉默超时、空结果、无错误码没有响应,或响应为空且无原因心跳与超时告警,空结果必须带原因码

这张表要在任务评审时逐行过。不是每一行都要得满分,而是每一行都要有人回答「我们这种情况会怎么表现」。

不知道是最容易被低估的一种。很多团队把它当成「模型能力不足」,于是拼命加提示词、换模型。实际上不知道往往不是能力问题,而是输入缺字段。A Relay 的工单如果只有一句「登录不了」,没有产品线、没有客户等级、没有历史工单,分诊本来就无从谈起。正确的对策不是让模型猜,而是把缺失字段变成用户可填的输入项。

编造比不知道危险一个量级,因为它看起来像知道。编造的典型形态不是凭空胡说,而是「引用了一条真实存在但不支持该结论的资料」。B Quill 生成报告时引用数据包里的表格,表格确实存在,但结论写的是另一列。用户扫一眼看到有引用,就默认它成立。对策只有一个:把结论和原文并排,让对不上的位置显式暴露。

过时在数据型 Agent 里最常见。C Runner 读到的库存快照如果是昨天晚上的,今天上午的补货动作就可能基于错误库存。过时不是模型错,是数据链路错,但用户感知到的是 Agent 错。所以产品必须显示数据时间,并在超过阈值时先刷新再回答,而不是让模型自己判断「这个数据还新不新」。

越权是执行档的专属风险。C Runner 的动作类型包括改价格、改库存、下架、发通知,其中发通知不可撤回。越权可能来自模型误解指令,也可能来自权限配置漏了一个工具。无论哪种,都不能靠事后审计发现,必须在动作计划阶段就做权限校验。

半途最隐蔽。Agent 跑了五步里的三步,返回「已完成」,用户以为结束了。B Quill 的初稿如果只生成了八章里的五章,不看到目录根本发现不了。对策是把步骤状态落库,未完成的步骤不允许整体标成功,界面要列出已完成与未完成。

沉默是工程问题,却经常被产品忽略。超时没有提示、空结果没有原因码、任务卡在队列里无人知晓。沉默的用户体验最差,因为用户连「它失败了」都不知道。心跳、超时告警、空结果原因码,三件事缺一不可。

三案例各配两种失败

三家公司的失败谱不一样,因为它们承担的责任不同。

案例先防的两种失败理由每月暴露量
A Relay不知道、编造分诊建议直接影响客户体验,错得看起来合理最危险765.6 单
B Quill过时、半途报告周期长,数据过期与章节缺失最难被一眼发现27.876 份
C Runner越权、沉默执行档的动作有副作用,越权和卡住都要第一时间知道224.4 个

暴露量是用案例事实表里的错误率乘月任务量算出来的:A 26,400 单 × 2.9% = 765.6 单;B 606 份 × 4.6% = 27.876 份;C 13,200 个 × 1.7% = 224.4 个。这个数字的意义不是精确预测,而是让团队看到「每个月会有多少次」。766 次和 28 次,需要的值班安排完全不同。

A 的 765.6 单里,单次错误看起来都不算严重,用户改一下就能继续;真正危险的是编造了一条不存在的首响模板,因为它看起来和正确建议一模一样。所以 A 的界面要把「建议」和「依据」放在一起,让确认动作发生在看到依据之后,而不是先点采纳再看详情。

B 的 27.876 份事实错误听起来不多,但报告是给客户看的,一份错报告的影响半径远大于一张错工单。B 的失败对策重点不在数量,而在拦截位置:数据日期要在生成前检查,章节完整性要在交付前检查,两个检查都不通过就不允许发布。

C 的 224.4 个错误里,按 86% 可回滚计算,约 31.4 个需要补偿。C 的失败对策必须区分「能反向执行」和「只能补发说明」,前者自动回滚,后者进入人工回访队列。把两者混在一起,回滚按钮会在不该出现的时候出现。

编造与不知道必须是两个界面

这是本节最具体的一条产品要求。

不知道的界面要回答:「缺什么,怎么补。」比如 A Relay 显示「工单缺少产品线字段,无法判断队列;请补充产品线或转人工」。用户看到的是一个可执行的动作。

编造的界面要回答:「哪句话对不上,原文是什么。」比如 B Quill 显示「第三页引用数据包表 2 的增长率,但表 2 是绝对值;建议改为引用表 3 或删除该句」。用户看到的是证据对照。

如果两者共用一句「我不确定」,会同时伤害两件事。用户不知道补数据有没有用,也不知道该不该信任已经给出的结论;团队也无法从反馈里区分「输入不足」和「引用错误」,改进方向就错了。

判断标准可以写得很简单:用户看完这个界面,能不能说出下一步做什么。 不知道的下一步是补字段或转人工;编造的下一步是核对引用或删掉结论。说不出下一步的界面,无论文案多礼貌,都是不合格的。

把失败判定写成可运行的模型

下面这个模型把六种失败的识别顺序、界面标识和三案例的暴露量写在一起。classifyFailure 的优先级很重要:先看有没有回应,再看有没有越权,然后才看内容对不对。顺序反了,会把「没回应」误判成「不知道」。

// file: src/task/10-1-failure-taxonomy.ts
// tier: L2
// verify: node --test test/task/10-1-failure-taxonomy.test.ts

// 六种失败不是六个形容词,而是六种不同的产品责任。
// 识别信号决定界面说什么,对策决定谁在什么时候接手。

import { byKey } from "../cases.ts";

export type FailureMode =
  | "unknown"
  | "fabricated"
  | "stale"
  | "overreach"
  | "half-done"
  | "silent";

export const FAILURE_ORDER: readonly FailureMode[] = [
  "unknown",
  "fabricated",
  "stale",
  "overreach",
  "half-done",
  "silent",
];

export type FailureSpec = {
  readonly label: string;
  readonly signal: string;
  readonly surface: string;
  readonly countermeasure: string;
  readonly owner: "user" | "product" | "ops";
};

// 六种失败的产品对策表。surface 是界面必须显示的东西,不是内部日志。
export const FAILURE_SPEC: Record<FailureMode, FailureSpec> = {
  unknown: {
    label: "不知道",
    signal: "输入里没有可支撑结论的字段,模型也没有引用任何来源",
    surface: "insufficient-evidence:说明缺哪一项,给出补数据的入口",
    countermeasure: "把缺失字段变成可填的输入项,必要时转人工",
    owner: "user",
  },
  fabricated: {
    label: "编造",
    signal: "给出了引用,但引用内容与结论对不上,或引用了不存在的条目",
    surface: "citation-mismatch:把结论与原文并排,标出对不上的位置",
    countermeasure: "强制引用校验,校验不过就降级为不知道",
    owner: "product",
  },
  stale: {
    label: "过时",
    signal: "引用的数据超过时效阈值,或与最新快照冲突",
    surface: "stale-source:显示数据日期与阈值,允许一键刷新",
    countermeasure: "接入更新时间,超过阈值先刷新再回答",
    owner: "product",
  },
  overreach: {
    label: "越权",
    signal: "动作落在授权范围之外,或调用了未登记的工具",
    surface: "permission-blocked:说明被哪条权限挡住,谁能授权",
    countermeasure: "权限面前置校验,越权动作在计划阶段就拒绝",
    owner: "ops",
  },
  "half-done": {
    label: "半途",
    signal: "步骤未走完就返回,或返回成功但缺少收尾动作",
    surface: "incomplete-run:列出已完成与未完成步骤,给继续或回滚",
    countermeasure: "步骤状态机落库,未完成不允许标成功",
    owner: "ops",
  },
  silent: {
    label: "沉默",
    signal: "超时、无响应、或返回空结果却没有错误码",
    surface: "no-response:给出超时原因、重试入口与人工兜底",
    countermeasure: "心跳与超时告警,空结果必须带原因码",
    owner: "product",
  },
};

export type Observation = {
  readonly hasEvidence: boolean;
  readonly citedSourceMatches: boolean | null;
  readonly sourceAgeDays: number;
  readonly maxAgeDays: number;
  readonly withinPermission: boolean;
  readonly completedSteps: number;
  readonly totalSteps: number;
  readonly responded: boolean;
};

// 判定有优先级:先看有没有回应,再看有没有越权,然后才看内容对不对。
// 顺序反了会把「没回应」误判成「不知道」,用户拿到的界面就是错的。
export function classifyFailure(observation: Observation): FailureMode | null {
  if (!observation.responded) return "silent";
  if (!observation.withinPermission) return "overreach";
  if (observation.completedSteps < observation.totalSteps) return "half-done";
  if (observation.citedSourceMatches === false) return "fabricated";
  if (observation.sourceAgeDays > observation.maxAgeDays) return "stale";
  if (!observation.hasEvidence) return "unknown";
  return null;
}

// 编造与不知道必须是两个界面。共用一句「我不确定」,
// 用户就无法判断是补数据能解决,还是系统在胡说。
export function interfaceFor(mode: FailureMode): string {
  return FAILURE_SPEC[mode].surface.split(":")[0];
}

export function isDistinctPair(a: FailureMode, b: FailureMode): boolean {
  return interfaceFor(a) !== interfaceFor(b);
}

// 三案例各配两种最该先防的失败。
export const CASE_FAILURES: Record<"A" | "B" | "C", readonly FailureMode[]> = {
  A: ["unknown", "fabricated"],
  B: ["stale", "half-done"],
  C: ["overreach", "silent"],
};

// 圣经里的错误率:A 采纳后仍出错 2.9%,B 事实错误 4.6%,C 审计发现 1.7%。
export const CASE_ERROR_BPS: Record<"A" | "B" | "C", number> = {
  A: 290,
  B: 460,
  C: 170,
};

// 用月任务量把比率还原成每月会发生多少次,产品评审时才看得见分量。
export function monthlyExposure(
  key: "A" | "B" | "C",
  rateBps: number = CASE_ERROR_BPS[key],
): number {
  return (byKey(key).monthlyTasks * rateBps) / 10_000;
}

export function exposureTable(): readonly {
  readonly key: "A" | "B" | "C";
  readonly perMonth: number;
  readonly modes: readonly FailureMode[];
}[] {
  return (["A", "B", "C"] as const).map((key) => ({
    key,
    perMonth: monthlyExposure(key),
    modes: CASE_FAILURES[key],
  }));
}

classifyFailure 返回 null 表示没有命中六种失败,而不是「成功」。这个区分让调用方必须显式处理「正常」分支,避免把未识别的情况默认当成成功。

interfaceFor 只取界面标识,不取完整文案,是为了让测试能断言「编造与不知道不是同一个界面」。isDistinctPair 把这条要求变成一个可执行的检查,界面改版时不会悄悄合并。

monthlyExposure 用月任务量乘错误率,把比率还原成次数。三家的错误率分别是 2.9%、4.6%、1.7%,乘出来是 765.6、27.876、224.4。产品评审时讨论「每月 766 次」比讨论「2.9%」更容易让资源安排落地。

失败分类怎么进任务规格

第 3 章讲过验收标准要可判定。失败分类是验收标准的另一面:不仅要知道「对了算什么样」,还要知道「错了算哪一种」。

具体做法是把六种失败写成任务规格里的一张附表,每行填三件事:本项目会不会发生、发生时的识别信号、谁负责处理。填不出来的行,说明团队还没想清楚,不应该进入试点。

这张附表还要和监控指标对应。不知道对应「缺字段转人工率」,编造对应「引用校验失败率」,过时对应「数据新鲜度超阈值比例」,越权对应「权限拦截次数」,半途对应「未完成即返回比例」,沉默对应「超时与空结果率」。六个指标不需要都做成大盘,但至少要有报警阈值。

失败分类还会反过来改任务边界。如果一类失败反复发生且没有可行对策,正确的动作不是加提示词,而是缩小任务范围,把它从「能做」移到「不能做」。第 10.2 节会讲怎么把这条边界写进用户看到的介绍里。

小结

  • 失败分类必须先于准确率,因为聚合指标无法告诉团队下一次该修哪里。
  • 六种失败各有识别信号与对策:不知道补输入,编造查引用,过时看日期,越权校权限,半途查步骤,沉默盯超时。
  • 不知道与编造必须使用不同界面;共用一句「我不确定」会同时损害用户判断与团队改进。
  • 三案例的失败谱不同:A 先防不知道与编造,B 先防过时与半途,C 先防越权与沉默。
  • 用月任务量乘错误率得到每月暴露量:A 765.6 单、B 27.876 份、C 224.4 个,比比率更能驱动资源安排。
  • 失败判定要有优先级:沉默、越权、半途、编造、过时、不知道,顺序决定界面是否正确。
  • 失败分类要写进任务规格附表,并与监控指标一一对应,填不出来的行不应进入试点。
  • 一类失败如果没有可行对策,正确动作是缩小任务范围,而不是继续加提示词。

阅读导航:上一节:9.3 忘记的权利:删除与重置 · 下一节:10.2 预期管理:怎么介绍它才不会让人失望 。

常见错误与边界

  1. 把失败当成一个准确率数字。 91.4% 无法区分分错队列、编造引用和没有回应;不拆开,团队就不知道该修哪里。
  2. 让编造和不知道共用一句「我不确定」。 用户不知道下一步是补数据还是核对引用,反馈也无法用于改进。
  3. 只做事后审计,不做动作前校验。 越权动作一旦发出通知就无法撤回,事后发现已经晚了。
  4. 把半途当成功。 步骤没走完就返回「已完成」,用户以为结束了;步骤状态必须落库并在界面列出。
  5. 沉默没有原因码。 超时和空结果如果不带原因,用户连「它失败了」都不知道,客服也无从解释。
  6. 六种失败都想要,结果一种也没防住。 先按案例选两种高频失败,做到有信号、有界面、有负责人,再扩到其余四种。

这一节建立了失败的分类。下一节讨论一个更靠前的问题:在用户第一次遇到这些失败之前,产品该怎么介绍自己。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图