《AI Agent 产品开发·任务定义与能力边界》13.2 15 项任务定义评审

15 项任务定义评审,每项 0/1/2,单卷满分 30。A Relay 得 22 分、B Quill 18 分、C Runner 26 分,三家都低于全书 72 分通过线。本节给出完整的逐项评分表、每处扣分的理由,并指出三家共同的三个短板。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

前十二节讲了怎么判断一个功能是不是 Agent、怎么定自主档、怎么写任务规格、怎么量结果。这些内容如果只停留在原则层面,评审会上仍然会变成「我觉得还行」。收口需要一个可打分的检查表,把「还行」拆成 15 个可以回答「有」或「没有」的问题。

这 15 项覆盖任务定义的全部关键面:边界、用户、输入、输出、验收、档位、决策权、接管成本、工具面、记忆、失败模式、预期、冷启动、度量、基线。每项打 0、1、2 分,单卷满分 30。三案例的得分是 A Relay 22 分、B Quill 18 分、C Runner 26 分。

分数本身不是目的。0 分表示这一项没有定义,1 分表示有但不完整,2 分表示可以直接交给交互与工程团队。评审的价值在于把 0 分和 1 分逐项指出来,而不是给一个总分排名。三家在全书 90 分制里都没有达到 72 分通过线:A 52 分、B 44 分、C 70 分,C 最接近,差 2 分。

15 项评分表

下表是卷一 15 项的完整评分。每一项的判断标准来自任务规格,分数是三案例在该项上的实际完成度。

#评审项判断标准ABC
1任务边界一句话能说清做什么、不做什么222
2用户与场景明确到岗位与频次222
3输入清单用户给、系统给、禁止用三类写全202
4输出形态答案、草稿、动作三选一且说清222
5可判定验收至少两条可机器或人工判定的标准112
6自主度档位有档位且有定档依据112
7决策权分配谁决定、谁审核、谁兜底212
8接管成本人接回来要多久,有估值212
9工具与权限面能碰什么数据与动作,有清单222
10记忆口径记什么、记多久、怎么删110
11失败模式至少列出四种失败与表现112
12预期管理首次使用前的能力说明111
13冷启动路径没有数据时怎么证明价值001
14任务度量成功率、接管率、返工率、人机耗时比112
15基线数字人工基线有出处且可复算222

把每一列相加,得到 A 22 分、B 18 分、C 26 分。三个分数都不是满分,也都不是零分:大部分基础项已经过了,缺的是验收、档位、记忆、预期、冷启动这些「上线前必须回答、演示时看不到」的项。

三案例的总分与缺口

单卷满分 30,卷一得分与缺口如下。全书 90 分制另算,三卷合计分别是 52、44、70,通过线 72。

案例卷一得分卷一缺口全书合计距 72 分
A Relay2285220
B Quill18124428
C Runner264702

A 的缺口是 8 分,主要落在冷启动、可判定验收、自主档位、记忆、失败模式、预期、度量七项。B 的缺口是 12 分,除了上述几项,决策权分配和接管成本也各少 1 分,还多了一个输入清单的 0 分。C 的缺口只有 4 分,集中在记忆口径的 0 分和预期管理、冷启动各 1 分。

C 的分数最高,不代表它的任务定义最完整,而是它的执行档对规格的要求最具体:动作、权限、回滚、审计都必须写清楚,反而促成了更完整的定义。A 和 B 的人在环上,很多项可以靠人的经验兜底,文档就容易停在「大家都知道」的层面。评审要防的正是这种「靠人补」的默契。

逐项扣分理由

未满 2 分的项,每一项都有具体原因。下表按项列出扣分点,后面再按案例归纳。

#项扣分理由
3输入清单B 只写了「客户数据包 + 上月报告 + 行业模板」,没有区分用户给、系统给、禁止用三类;A 和 C 三类齐全
5可判定验收A 和 B 的验收偏主观,缺少两条可机器判定的标准;C 有错误率与回滚率,可判定
6自主度档位A 的定档分是 5,按表可进审批档,最终选建议档,未把组织接受度写成定档依据;B 未说明为何是草稿档;C 有明确的执行档与放量阶梯
7决策权分配B 只写了「发布前审批」,没有写谁兜底;A 和 C 写清了决定、审核、兜底三层
8接管成本B 的审改有加权时长,但没有单独估「接回来重写」的成本;A 和 C 有明确估值
10记忆口径A 和 B 只说了「记住上下文」,没有写记多久、怎么删;C 的任务状态保留前后值,但未定义记忆保留期,仍是 0 分
11失败模式A 和 B 只列了两三种失败,未覆盖工具失败、数据缺失、越权;C 列了四类并有回滚句柄
12预期管理三家都只有一句能力说明,没有首次使用前的能力边界与不可做事项
13冷启动路径A 和 B 没有回答「没有历史数据时怎么证明价值」;C 有影子运行,但只有 1 分
14任务度量A 和 B 有部分指标,未把四个指标固定成同一份口径;C 有完整度量

这张表里最值得注意的不是 0 分,而是 1 分。0 分是「没写」,容易补;1 分是「写了但不完整」,团队往往会以为已经完成。比如 A 的自主度档位是 1 分,它有档位、有分数,却没有解释为什么降档;B 的接管成本是 1 分,它有审改时长,却没有估重写成本。这些 1 分项在评审会上最容易被放过。

三家共同的短板

把三列并排看,有三项没有任何一家拿到 2 分:记忆口径、预期管理、冷启动路径。这三项不是某个团队的执行问题,而是任务定义方法的共同缺口。

记忆口径是三家都低估的一项。A 和 B 认为「记住上下文」是模型能力,不需要产品定义;C 认为任务状态记在审计日志里就够了。但记忆口径要回答的是记什么、记多久、怎么删,这三个问题分别对应隐私、成本和合规。没有定义,交互层无法设计「忘记这条」入口,工程层也无法决定保留策略。

预期管理三家都只有一句能力说明。Agent 产品的第一次使用最容易产生错误预期:用户会假设它能做演示里看到的一切,也会假设它记得上一次会话。预期管理要求在上线前写清能做什么、不能做什么、出错时怎么办。三家都写了第一句,漏了后两句。

冷启动路径是最难的一项。A 和 B 的 0 分说明它们没有回答「没有历史数据时,凭什么证明这个 Agent 有用」。C 有影子运行,算 1 分,但影子运行本身需要历史决策做对照,冷启动阶段仍然缺一条证明路径。这一项在卷二会变成首次使用体验的设计前提。

三项共同短板有一个共同特征:它们都不影响演示,只影响上线后的信任。演示时用户看不到记忆保留期、看不到能力边界、也看不到冷启动;上线后这三项会以隐私投诉、错误预期和「用了两周没效果」的形式出现。评审把这三项单列,就是为了在演示之前把它们逼出来。

把评审写成可执行的模型

下面的模型把 15 项、三案例分数和判断标准写在同一份数据里。reviewMatchesBible 用案例事实表的总分做交叉校验,commonWeaknesses 找出三家都没拿满的项,zeroItems 列出每个案例必须先补的 0 分项。

// file: src/metrics/13-2-task-review.ts
// tier: L2
// verify: node --test test/metrics/13-2-task-review.test.ts

// 15 项任务定义评审:每项 0/1/2,单卷满分 30。
// 分数不是评语,是缺口清单;0 分表示这一项没有定义,交互层补不回来。

import { REVIEW, REVIEW_MAX_PER_VOLUME } from "../cases.ts";

export type CaseKey = "A" | "B" | "C";
export type Score = 0 | 1 | 2;

export type Scores = Record<CaseKey, Score>;

export type ReviewItem = {
  readonly id: number;
  readonly name: string;
  readonly standard: string;
  readonly scores: Scores;
};

export const REVIEW_ITEMS: readonly ReviewItem[] = [
  {
    id: 1,
    name: "任务边界",
    standard: "一句话能说清做什么、不做什么",
    scores: { A: 2, B: 2, C: 2 },
  },
  {
    id: 2,
    name: "用户与场景",
    standard: "明确到岗位与频次",
    scores: { A: 2, B: 2, C: 2 },
  },
  {
    id: 3,
    name: "输入清单",
    standard: "用户给、系统给、禁止用三类写全",
    scores: { A: 2, B: 0, C: 2 },
  },
  {
    id: 4,
    name: "输出形态",
    standard: "答案、草稿、动作三选一且说清",
    scores: { A: 2, B: 2, C: 2 },
  },
  {
    id: 5,
    name: "可判定验收",
    standard: "至少两条可机器或人工判定的标准",
    scores: { A: 1, B: 1, C: 2 },
  },
  {
    id: 6,
    name: "自主度档位",
    standard: "有档位且有定档依据",
    scores: { A: 1, B: 1, C: 2 },
  },
  {
    id: 7,
    name: "决策权分配",
    standard: "谁决定、谁审核、谁兜底",
    scores: { A: 2, B: 1, C: 2 },
  },
  {
    id: 8,
    name: "接管成本",
    standard: "人接回来要多久,有估值",
    scores: { A: 2, B: 1, C: 2 },
  },
  {
    id: 9,
    name: "工具与权限面",
    standard: "能碰什么数据与动作,有清单",
    scores: { A: 2, B: 2, C: 2 },
  },
  {
    id: 10,
    name: "记忆口径",
    standard: "记什么、记多久、怎么删",
    scores: { A: 1, B: 1, C: 0 },
  },
  {
    id: 11,
    name: "失败模式",
    standard: "至少列出四种失败与表现",
    scores: { A: 1, B: 1, C: 2 },
  },
  {
    id: 12,
    name: "预期管理",
    standard: "首次使用前的能力说明",
    scores: { A: 1, B: 1, C: 1 },
  },
  {
    id: 13,
    name: "冷启动路径",
    standard: "没有数据时怎么证明价值",
    scores: { A: 0, B: 0, C: 1 },
  },
  {
    id: 14,
    name: "任务度量",
    standard: "成功率、接管率、返工率、人机耗时比",
    scores: { A: 1, B: 1, C: 2 },
  },
  {
    id: 15,
    name: "基线数字",
    standard: "人工基线有出处且可复算",
    scores: { A: 2, B: 2, C: 2 },
  },
];

export function totalFor(key: CaseKey, items: readonly ReviewItem[] = REVIEW_ITEMS): number {
  return items.reduce((acc, item) => acc + item.scores[key], 0);
}

export function gapToFull(key: CaseKey): number {
  return REVIEW_MAX_PER_VOLUME - totalFor(key);
}

export function reviewMatchesBible(): boolean {
  return (
    totalFor("A") === REVIEW.A.task &&
    totalFor("B") === REVIEW.B.task &&
    totalFor("C") === REVIEW.C.task
  );
}

// 三家共同短板:没有任何一家拿到 2 分,说明这不是个案执行问题,是方法缺口。
export function commonWeaknesses(
  items: readonly ReviewItem[] = REVIEW_ITEMS,
): readonly ReviewItem[] {
  return items.filter((item) => Math.max(item.scores.A, item.scores.B, item.scores.C) <= 1);
}

export function zeroItems(
  key: CaseKey,
  items: readonly ReviewItem[] = REVIEW_ITEMS,
): readonly ReviewItem[] {
  return items.filter((item) => item.scores[key] === 0);
}

export function formatReviewRow(item: ReviewItem): string {
  return [
    String(item.id).padStart(2, "0"),
    item.name,
    String(item.scores.A),
    String(item.scores.B),
    String(item.scores.C),
    String(Math.max(item.scores.A, item.scores.B, item.scores.C)),
  ].join(" | ");
}

export function formatReviewTable(): string {
  const header = "id | item | A | B | C | best";
  const rows = REVIEW_ITEMS.map(formatReviewRow);
  const totals = `total |  | ${totalFor("A")} | ${totalFor("B")} | ${totalFor("C")} | 30`;
  return [header, ...rows, totals].join("\n");
}

REVIEW_ITEMS 是唯一的评分来源,totalFor 只做加法。reviewMatchesBible 把三列总分和事实表里的 22、18、26 对齐;任何一项改分而不同步总分,这个函数就会返回 false。它不能阻止人改分,但能阻止「改了分却忘了改合计」。

commonWeaknesses 的判断条件是三家最高分不超过 1。结果正好是第 10、12、13 项,和上一节的结论一致。这个函数的价值在于把「共同短板」从一句感觉变成一组 ID,评审纪要可以直接引用。

zeroItems 返回每个案例的 0 分项:A 是第 13 项,B 是第 3 和第 13 项,C 是第 10 项。0 分项是进入下一卷之前必须先清零的,因为交互层无法替任务定义补一个不存在的东西。下一节会把这条写成进入卷二的判据。

formatReviewTable 输出 15 行加表头和合计。它把分数、判断标准和总分放在一张表里,评审会上可以逐行过,不需要另外准备材料。

评审会怎么开

15 项评审不需要开三次会,但需要按固定顺序过。顺序错了,讨论会滑向功能细节。

  1. 先过 0 分项。 0 分是硬缺口,先确认每一项是否真的没有定义,还是只是没写下来。B 的输入清单是 0 分,如果团队能当场说清三类输入,可以改成 1 分,但不能直接给 2 分,因为还没写进规格。
  2. 再过 1 分项。 1 分项要问「缺的是哪一半」。A 的自主档位缺的是降档理由,B 的接管成本缺的是重写估值,C 的记忆口径缺的是保留期。每项给出一个具体的补齐动作。
  3. 最后过 2 分项。 2 分项不是不用看,而是要确认它经得起复算。基线数字、任务边界、工具面这三项,只要有一个人能提出反例,就降回 1 分。
  4. 记录总分与缺口。 总分用于横向比较,缺口用于排优先级。A 缺 8 分、B 缺 12 分、C 缺 4 分,但优先级不由缺口大小决定,而由 0 分项决定。
  5. 把结论写进下一卷的输入。 评审的输出不是一张评分表,而是一份「哪些项必须在交互设计前补齐」的清单。

评审会最容易犯的错误,是把 2 分项当成讨论重点。2 分项已经写完,讨论它只会产生措辞修改;0 分和 1 分项才是会改变产品形态的部分。把时间按 0 分、1 分、2 分分配成 5:3:2,比平均分配更有效。

小结

  • 15 项评审每项 0/1/2,单卷满分 30;A 22 分、B 18 分、C 26 分。
  • 全书 90 分制合计 52、44、70,三家都低于 72 分通过线;C 差 2 分,B 差 28 分。
  • 卷一缺口是 8、12、4 分;缺口大小不等于优先级,0 分项优先。
  • 三家共同短板是记忆口径、预期管理、冷启动路径,三项都没有任何一家拿到 2 分。
  • 0 分项:A 是冷启动,B 是输入清单和冷启动,C 是记忆口径。
  • 1 分项最容易被放过,因为它看起来「已经写了」;评审要追问缺的是哪一半。
  • 评审顺序是先 0 分、再 1 分、最后 2 分;时间按 5:3:2 分配。
  • 评审的输出是补齐清单,不是总分排名。

阅读导航:上一节:13.1 三案例任务定义基线 · 下一节:13.3 从任务定义到交互与信任 。

常见错误与边界

  1. 把总分当成成熟度。 C 的 26 分高于 A 的 22 分,但 C 是执行档,规格要求天然更具体;总分不能跨档位直接排名。
  2. 放过 1 分项。 1 分项看起来「写了」,实际缺一半;A 的自主档位、B 的接管成本、C 的记忆口径都属于这一类。
  3. 把 0 分项留到交互层补。 输入清单、记忆口径、冷启动路径无法由界面设计补出来;交互层只能呈现已经定义好的东西。
  4. 只改分不改合计。 任何一项改分都必须同步总分;模型里的 reviewMatchesBible 会把不一致暴露成 false。
  5. 用共同短板解释一切。 记忆、预期、冷启动是三家共同缺口,但每家的补法不同:A 要补首次使用说明,B 要补输入分类,C 要补保留期。
  6. 评审没有输出动作。 只给分数不写补齐清单,下一次评审会重复同样的问题;每项 1 分都要对应一个具体的补齐动作。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图