《AI Agent 产品开发·任务定义与能力边界》13.3 从任务定义到交互与信任

卷一收口:五条结论分别回答 Agent 是什么、自主到哪、规格怎么写、指标怎么量、成本怎么算;再用 15 项评审的 0 分项划出进入卷二的判据。三案例各有一到两项必须先补齐,交互与信任不能替任务定义补课,也不能用界面掩盖冷启动与记忆口径的空白。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

卷一到收口时,需要回答两个问题:这十二节到底交付了什么,以及什么情况下可以进入下一卷。第一个问题不能只用「讲完了」回答,第二个问题也不能只用「都懂了」回答。两者都需要可检查的产物。

卷一的产物是五条结论和一张 15 项评审表。五条结论分别回答:Agent 是什么、它自主到哪一步、任务规格怎么写、结果怎么量、成本怎么算。15 项评审把五条结论拆成可以逐项打分的检查表,三案例的得分是 A Relay 22 分、B Quill 18 分、C Runner 26 分。

这一节先把五条结论并列说清,再用 0 分项划出进入卷二的判据。判据不是满分,也不是 72 分通过线,而是「不能有 0 分项」:0 分意味着这一项根本没有定义,交互层无法替它补课。最后预告卷二的主线:当任务定义清楚了,接下来的问题是让人敢用。

卷一交付的五条结论

五条结论不是五个知识点,而是五条可以带进评审会的判断。每条都附一个反例,说明脱离了它会发生什么。

结论一:四条线决定它是不是 Agent,缺一条就降级为功能。 多步自主、工具调用、状态延续、可观察失败是并列的必要条件,不是成熟度加分项。反例是「一句话生成周报」:它可能生成得很好,但没有工具调用,也没有跨会话状态,应该被诚实地叫作文档生成器,而不是 Agent。

结论二:自主档由责任分配决定,分数之上还有组织接受度。 自主度定档模型的分数是 5、6、6,A 按分数可以进审批档,团队最终选择建议档,因为分诊错误会影响客户体验与 SLA 承诺。反例是把分数当成唯一依据:分数只回答「能不能」,不回答「该不该」,降档需要解释,但可以解释得清楚。

结论三:任务规格要写到 15 项,不能只写一句目标。 边界、用户、输入、输出、验收、档位、决策权、接管成本、工具面、记忆、失败、预期、冷启动、度量、基线,少一项就会在某个环节变成口头约定。反例是 B 的输入清单:只写「客户数据包 + 上月报告 + 行业模板」,没有区分用户给、系统给、禁止用,审改时才发现有数据不该进模型。

结论四:四个指标必须一起看,成功率与接管率必须互补。 成功率、接管率、返工率、人机耗时比各回答一个问题;返工率的口径随案例不同,不能跨案例排名。反例是只报 C 的成功率 78%:它看起来和 A 一样好,但 C 的人工是 4.04 分钟,A 只有 0.75 分钟。

结论五:节省率不等于人工压缩率,人工账必须包含转人工。 A 的压缩率 78.6%、节省率 75.0%;B 是 61.9% 与 58.5%;C 是 77.6% 与 73.7%。C 的人工是 0.96 分钟审计加 3.08 分钟转人工,漏算转人工会把 73.7% 夸大成 90.8%。反例是只算审计:月总成本从 31,214.4 掉到 10,886.4,节省率跳了 17.1 个百分点。

五条结论可以用一句话串起来:先证明它是 Agent,再证明它承担到哪一步,然后把任务写成规格,用四个指标量结果,用含转人工的成本算账。 顺序不能反,反了就会先做一个看起来很聪明的产品,再回头补定义。

进入卷二之前必须清零的项

15 项评审里,三案例的 0 分项如下。0 分不是「做得不好」,是「没有定义」,所以它不能带进交互设计。

案例卷一得分卷一缺口0 分项为什么挡住卷二
A Relay22813 冷启动路径没有数据时怎么证明价值未定,首次使用的第一屏无法设计
B Quill18123 输入清单、13 冷启动路径三类输入没写全,来源追溯无法落地;冷启动同样缺失
C Runner26410 记忆口径记什么、记多久、怎么删未定,撤销、披露与删除入口都无从设计

A 的 0 分项是冷启动。它的分诊建议依赖历史工单做参照,试点期只有 10% 工单,前两周没有足够的采纳记录。产品需要回答:在没有历史数据时,用什么证明建议值得看?可以是人工标注的一小批样本,也可以是规则兜底加逐步替换,但必须写下来。

B 的 0 分项有两个。输入清单没写全,直接后果是来源追溯做不了:审改时人要核对每个数字来自数据包的哪一条,如果输入清单没有区分「用户给」「系统给」「禁止用」,界面就不知道该展示哪些来源。冷启动同样缺失,B 的报告需要上月报告做模板,第一个月没有上月报告时,生成质量无法证明。

C 的 0 分项是记忆口径。C 的任务状态保留了前后值,但「记什么、记多久、怎么删」没有定义。执行档的动作会改价格、改库存、发通知,记忆里可能包含客户信息与操作历史;没有保留期和删除入口,审计与合规都无法回答。这个问题不能留给界面层,因为界面只能呈现已经定义好的记忆。

三家都没有 0 分项以外的「免检」资格。A 和 C 的 1 分项也必须在卷二开始前有补齐计划:A 的自主档位缺降档理由,C 的预期管理只有一句能力说明。判据只卡 0 分,是因为 0 分会让交互设计失去输入;1 分可以先设计、后补全,但不能假装已经完成。

为什么 0 分项不能带进卷二

卷二的主题是交互、信任与上线。它要设计过程可见、可打断、可撤销、审批点、失败态、降级阶梯、通知预算、试点与放量。这些设计都依赖任务定义里的某个字段;字段不存在,界面就只能猜。

冷启动缺失,首次使用体验就没有内容。用户第一次打开 Agent,看到的是一个空白输入框和一句「试试看」;没有示例、没有历史参照、没有能力边界,用户只能靠试错建立预期。A 和 B 的冷启动都是 0 分,卷二的首次使用设计必须先等它们补一条证明路径。

输入清单缺失,来源追溯就没有依据。B 的报告每一节都要指向数据包条目,但「数据包」本身没有被拆成用户给、系统给、禁止用三类;界面无法判断哪些来源可以展示、哪些必须隐藏。来源追溯是卷二评审的第 22 项,它在卷一没有输入,就无法在卷二拿分。

记忆口径缺失,撤销与披露就没有边界。C 的 22% 转人工任务会留下操作上下文,如果记忆保留期未定,撤销时间窗(动作后 30 分钟)与记忆保留期可能冲突:动作撤回了,记忆还在;或者记忆删了,审计链断了。卷二的可撤销与来源可追溯都依赖这条定义。

交互层能放大的,是已经定义清楚的东西;它不能凭空创造定义。 这是卷一收口最重要的一句话。很多团队希望用更好的界面解决信任问题,但信任的前提是用户能理解产品做了什么、不做什么、记了什么、错了怎么退回。这四件事都在任务定义里,不在界面里。

把收口写成可执行的判据

下面的模型把五条结论、进入卷二的判据、卷二预告放在同一个文件里。entryGate 读取 15 项评分,找出 0 分项并给出阻挡理由;ready 只有在没有 0 分项且基线可复算时才为 true。三案例目前都是 false,各自带着一份必须先补的清单。

// file: src/metrics/13-3-into-trust.ts
// tier: L2
// verify: node --test test/metrics/13-3-into-trust.test.ts

// 卷一收口:把五条结论、进入卷二的判据、卷二预告放在同一份可执行清单里。
// 判据不是满分,而是「没有 0 分项」——0 分代表这一项根本没有定义。

import { REVIEW_MAX_PER_VOLUME } from "../cases.ts";
import {
  REVIEW_ITEMS,
  totalFor,
  zeroItems,
  type CaseKey,
  type ReviewItem,
} from "./13-2-task-review.ts";

export type Conclusion = {
  readonly id: number;
  readonly claim: string;
  readonly evidence: string;
};

export const CONCLUSIONS: readonly Conclusion[] = [
  {
    id: 1,
    claim: "四条线决定它是不是 Agent,缺一条就降级为功能。",
    evidence: "多步、工具、状态、可观察失败是并列必要条件,不是成熟度加分项。",
  },
  {
    id: 2,
    claim: "自主档由责任分配决定,分数之上还有组织接受度。",
    evidence: "A 的定档分是 5,按表可进审批档,团队仍选建议档,因为分诊错误影响 SLA。",
  },
  {
    id: 3,
    claim: "任务规格要写到 15 项,不能只写一句目标。",
    evidence: "输入清单、可判定验收、接管成本、基线数字四项缺任何一项,后面都无法验收。",
  },
  {
    id: 4,
    claim: "四个指标必须一起看,成功率与接管率必须互补。",
    evidence: "返工率口径随案例不同;单独引用一个数,等于把分母藏起来。",
  },
  {
    id: 5,
    claim: "节省率不等于人工压缩率,人工账必须包含转人工。",
    evidence: "C 的人工是 0.96 分钟审计加 3.08 分钟转人工,共 4.04 分钟;漏算会把 73.7% 夸成 90.8%。",
  },
];

export const BLOCK_REASON: Record<string, string> = {
  输入清单: "三类输入没写全,交互层无法做来源追溯与禁止项提示。",
  记忆口径: "记什么、记多久、怎么删未定,撤销、披露与删除入口都无从设计。",
  冷启动路径: "没有数据时怎么证明价值未定,首次使用的第一屏无法设计。",
};

export type Blocker = {
  readonly id: number;
  readonly name: string;
  readonly reason: string;
};

export type EntryGate = {
  readonly key: CaseKey;
  readonly score: number;
  readonly gap: number;
  readonly baselineOk: boolean;
  readonly blockers: readonly Blocker[];
  readonly ready: boolean;
};

export function entryGate(key: CaseKey): EntryGate {
  const blockers = zeroItems(key).map((item) => ({
    id: item.id,
    name: item.name,
    reason: BLOCK_REASON[item.name] ?? "该项没有定义,不能进入交互设计。",
  }));
  const baseline = REVIEW_ITEMS.find((item) => item.id === 15) as ReviewItem;
  const baselineOk = baseline.scores[key] === 2;
  const score = totalFor(key);
  return {
    key,
    score,
    gap: REVIEW_MAX_PER_VOLUME - score,
    baselineOk,
    blockers,
    ready: blockers.length === 0 && baselineOk,
  };
}

export function allGates(): readonly EntryGate[] {
  return (["A", "B", "C"] as const).map(entryGate);
}

export type PreviewRow = {
  readonly key: CaseKey;
  readonly form: string;
  readonly visibility: string;
  readonly stop: string;
  readonly undo: string;
  readonly approval: string;
};

// 卷二主线的事实口径,取自案例事实表附录 B 摘要。
export const VOL2_PREVIEW: readonly PreviewRow[] = [
  {
    key: "A",
    form: "嵌入(工单页侧栏)",
    visibility: "L2 依据",
    stop: "中止",
    undo: "不采纳",
    approval: "0(采纳即生效)",
  },
  {
    key: "B",
    form: "嵌入(报告编辑器)",
    visibility: "L1 步骤",
    stop: "暂停(可继续)",
    undo: "回退上一版",
    approval: "1(发布前)",
  },
  {
    key: "C",
    form: "后台 + 任务中心",
    visibility: "L3 全程",
    stop: "暂停 + 回滚",
    undo: "反向执行动作",
    approval: "按风险分层",
  },
];

export function formatGateTable(): string {
  const header = "case | score | gap | baseline | blockers | ready";
  const rows = allGates().map((gate) =>
    [
      gate.key,
      String(gate.score),
      String(gate.gap),
      gate.baselineOk ? "ok" : "missing",
      gate.blockers.map((b) => `${b.id}:${b.name}`).join(",") || "-",
      gate.ready ? "yes" : "no",
    ].join(" | "),
  );
  return [header, ...rows].join("\n");
}

export function formatPreviewTable(): string {
  const header = "case | form | visibility | stop | undo | approval";
  const rows = VOL2_PREVIEW.map((row) =>
    [row.key, row.form, row.visibility, row.stop, row.undo, row.approval].join(" | "),
  );
  return [header, ...rows].join("\n");
}

CONCLUSIONS 把五条结论写成数据,每条带一句证据。它不是摘要,而是评审时的引用源:任何一条被质疑,都能回到对应的章节和数字。

entryGate 的判断条件只有两个:没有 0 分项,基线数字是 2 分。三案例的基线都是 2 分,所以阻挡全部来自 0 分项。A 是第 13 项,B 是第 3 和第 13 项,C 是第 10 项。BLOCK_REASON 给每个 0 分项一句「为什么挡住卷二」,这句话可以直接写进评审纪要。

ready 为 false 不代表卷一失败。它只表示这三个案例还不能直接进入交互设计,各自需要先补一到两项。卷一的交付不是「三家都通过」,而是「每家都知道自己缺什么」。

VOL2_PREVIEW 放的是卷二的事实口径:交互形态、可见性级别、停止语义、撤销对象、审批点。它不是剧透,而是让读者在进入卷二前知道三案例的差异:A 是嵌入侧栏、L2 依据、零审批点;B 是报告编辑器、L1 步骤、发布前一次审批;C 是后台任务中心、L3 全程、按风险分层审批。

卷二主线预告

卷二要回答的问题是:任务定义已经清楚了,人为什么还是不敢用?答案通常不在模型能力,而在交互与信任的设计。卷二沿三条线展开。

第一条线是交互形态。 A 把 Agent 嵌在工单页侧栏,人不用离开当前任务;B 嵌在报告编辑器里,Agent 的出稿和人的审改在同一个文档;C 放在后台任务中心,人看到的是批次、状态和异常。三种形态对应三种责任分配:建议要贴着决策点,草稿要贴着编辑动作,执行要贴着审计入口。

第二条线是信任机制。 A 的可见性级别是 L2(看到依据),B 是 L1(看到步骤),C 是 L3(步骤、依据、过程可回放)。停止语义也不同:A 是中止,B 是暂停可继续,C 是暂停加回滚。撤销对象分别是「不采纳」「回退上一版」「反向执行动作」,撤销时间窗分别是无、发布前不限、动作后 30 分钟。这些差异不是界面偏好,是任务定义在交互层的投影。

第三条线是上线与放量。 A 的试点是 10% 工单 3 周,扩大 40% 4 周,全量 100%;B 是 2 个客户组约 12% 报告 6 周,扩大 6 个组约 45% 8 周;C 是影子 100% 4 周,执行 5% 4 周,执行 20% 8 周,执行 60%。三家的放量阶梯都按风险分层,退出条件都是可判定的比率,不是「感觉稳定了」。

卷二还会处理失败态、降级阶梯、异步交付、通知预算和反馈机制。它们共同回答一个问题:当 Agent 出错、变慢或不可用时,用户能不能在界面里看懂发生了什么,并且有一条可执行的退路。这条退路的设计前提,仍然是卷一的任务定义:接管成本、回滚能力、审计粒度、记忆口径。

小结

  • 卷一交付五条结论:四条线、责任分配、15 项规格、四指标、含转人工的成本账。
  • 五条结论的顺序不能反:先证明是 Agent,再定档,再写规格,再量结果,再算账。
  • 进入卷二的判据不是满分,而是没有 0 分项且基线可复算。
  • A 的 0 分项是冷启动;B 是输入清单与冷启动;C 是记忆口径。
  • 0 分项不能带进卷二,因为交互层只能放大已经定义清楚的东西。
  • 三案例目前都不满足判据,各有一到两项必须先补;这不代表卷一失败。
  • 卷二主线是交互形态、信任机制、上线与放量,三案例分别对应侧栏、编辑器、任务中心。
  • 卷二的每个设计都能追到卷一的一个字段:可见性追到验收,撤销追到回滚,审批追到决策权。

阅读导航:上一节:13.2 15 项任务定义评审 · 下一节:目录与学习路径 。

常见错误与边界

  1. 把「读完卷一」当成「通过评审」。 读完是输入,通过是输出;三案例的得分是 22、18、26,都还没到全书 72 分线。
  2. 用交互设计补任务定义的洞。 冷启动、输入清单、记忆口径都无法由界面补出来;界面只能呈现已经定义好的规则。
  3. 把 1 分项当成已完成。 1 分项看起来写了,实际缺一半;A 的降档理由、C 的预期管理都属于这一类。
  4. 把 0 分项留到上线前再补。 冷启动影响首次使用,记忆口径影响合规,输入清单影响来源追溯;它们都在上线前就会生效。
  5. 把三案例的分数直接排名。 档位不同,规格要求不同;C 的 26 分不代表它比 A 更成熟,只代表执行档的规格更具体。
  6. 把卷二当成界面技巧合集。 卷二的主线是信任:可见、可打断、可撤销、可追溯、可降级;每一项都对应卷一的一个定义。

卷二从下一节开始。第一件事不是画界面,而是把卷一的 0 分项补齐,再决定每种交互形态要暴露多少过程、给多少控制权。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图