以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
前十二节讲了怎么判断一个功能是不是 Agent、怎么定自主档、怎么写任务规格、怎么量结果。这些内容如果只停留在原则层面,评审会上仍然会变成「我觉得还行」。收口需要一个可打分的检查表,把「还行」拆成 15 个可以回答「有」或「没有」的问题。
这 15 项覆盖任务定义的全部关键面:边界、用户、输入、输出、验收、档位、决策权、接管成本、工具面、记忆、失败模式、预期、冷启动、度量、基线。每项打 0、1、2 分,单卷满分 30。三案例的得分是 A Relay 22 分、B Quill 18 分、C Runner 26 分。
分数本身不是目的。0 分表示这一项没有定义,1 分表示有但不完整,2 分表示可以直接交给交互与工程团队。评审的价值在于把 0 分和 1 分逐项指出来,而不是给一个总分排名。三家在全书 90 分制里都没有达到 72 分通过线:A 52 分、B 44 分、C 70 分,C 最接近,差 2 分。
15 项评分表
下表是卷一 15 项的完整评分。每一项的判断标准来自任务规格,分数是三案例在该项上的实际完成度。
| # | 评审项 | 判断标准 | A | B | C |
|---|---|---|---|---|---|
| 1 | 任务边界 | 一句话能说清做什么、不做什么 | 2 | 2 | 2 |
| 2 | 用户与场景 | 明确到岗位与频次 | 2 | 2 | 2 |
| 3 | 输入清单 | 用户给、系统给、禁止用三类写全 | 2 | 0 | 2 |
| 4 | 输出形态 | 答案、草稿、动作三选一且说清 | 2 | 2 | 2 |
| 5 | 可判定验收 | 至少两条可机器或人工判定的标准 | 1 | 1 | 2 |
| 6 | 自主度档位 | 有档位且有定档依据 | 1 | 1 | 2 |
| 7 | 决策权分配 | 谁决定、谁审核、谁兜底 | 2 | 1 | 2 |
| 8 | 接管成本 | 人接回来要多久,有估值 | 2 | 1 | 2 |
| 9 | 工具与权限面 | 能碰什么数据与动作,有清单 | 2 | 2 | 2 |
| 10 | 记忆口径 | 记什么、记多久、怎么删 | 1 | 1 | 0 |
| 11 | 失败模式 | 至少列出四种失败与表现 | 1 | 1 | 2 |
| 12 | 预期管理 | 首次使用前的能力说明 | 1 | 1 | 1 |
| 13 | 冷启动路径 | 没有数据时怎么证明价值 | 0 | 0 | 1 |
| 14 | 任务度量 | 成功率、接管率、返工率、人机耗时比 | 1 | 1 | 2 |
| 15 | 基线数字 | 人工基线有出处且可复算 | 2 | 2 | 2 |
把每一列相加,得到 A 22 分、B 18 分、C 26 分。三个分数都不是满分,也都不是零分:大部分基础项已经过了,缺的是验收、档位、记忆、预期、冷启动这些「上线前必须回答、演示时看不到」的项。
三案例的总分与缺口
单卷满分 30,卷一得分与缺口如下。全书 90 分制另算,三卷合计分别是 52、44、70,通过线 72。
| 案例 | 卷一得分 | 卷一缺口 | 全书合计 | 距 72 分 |
|---|---|---|---|---|
| A Relay | 22 | 8 | 52 | 20 |
| B Quill | 18 | 12 | 44 | 28 |
| C Runner | 26 | 4 | 70 | 2 |
A 的缺口是 8 分,主要落在冷启动、可判定验收、自主档位、记忆、失败模式、预期、度量七项。B 的缺口是 12 分,除了上述几项,决策权分配和接管成本也各少 1 分,还多了一个输入清单的 0 分。C 的缺口只有 4 分,集中在记忆口径的 0 分和预期管理、冷启动各 1 分。
C 的分数最高,不代表它的任务定义最完整,而是它的执行档对规格的要求最具体:动作、权限、回滚、审计都必须写清楚,反而促成了更完整的定义。A 和 B 的人在环上,很多项可以靠人的经验兜底,文档就容易停在「大家都知道」的层面。评审要防的正是这种「靠人补」的默契。
逐项扣分理由
未满 2 分的项,每一项都有具体原因。下表按项列出扣分点,后面再按案例归纳。
| # | 项 | 扣分理由 |
|---|---|---|
| 3 | 输入清单 | B 只写了「客户数据包 + 上月报告 + 行业模板」,没有区分用户给、系统给、禁止用三类;A 和 C 三类齐全 |
| 5 | 可判定验收 | A 和 B 的验收偏主观,缺少两条可机器判定的标准;C 有错误率与回滚率,可判定 |
| 6 | 自主度档位 | A 的定档分是 5,按表可进审批档,最终选建议档,未把组织接受度写成定档依据;B 未说明为何是草稿档;C 有明确的执行档与放量阶梯 |
| 7 | 决策权分配 | B 只写了「发布前审批」,没有写谁兜底;A 和 C 写清了决定、审核、兜底三层 |
| 8 | 接管成本 | B 的审改有加权时长,但没有单独估「接回来重写」的成本;A 和 C 有明确估值 |
| 10 | 记忆口径 | A 和 B 只说了「记住上下文」,没有写记多久、怎么删;C 的任务状态保留前后值,但未定义记忆保留期,仍是 0 分 |
| 11 | 失败模式 | A 和 B 只列了两三种失败,未覆盖工具失败、数据缺失、越权;C 列了四类并有回滚句柄 |
| 12 | 预期管理 | 三家都只有一句能力说明,没有首次使用前的能力边界与不可做事项 |
| 13 | 冷启动路径 | A 和 B 没有回答「没有历史数据时怎么证明价值」;C 有影子运行,但只有 1 分 |
| 14 | 任务度量 | A 和 B 有部分指标,未把四个指标固定成同一份口径;C 有完整度量 |
这张表里最值得注意的不是 0 分,而是 1 分。0 分是「没写」,容易补;1 分是「写了但不完整」,团队往往会以为已经完成。比如 A 的自主度档位是 1 分,它有档位、有分数,却没有解释为什么降档;B 的接管成本是 1 分,它有审改时长,却没有估重写成本。这些 1 分项在评审会上最容易被放过。
三家共同的短板
把三列并排看,有三项没有任何一家拿到 2 分:记忆口径、预期管理、冷启动路径。这三项不是某个团队的执行问题,而是任务定义方法的共同缺口。
记忆口径是三家都低估的一项。A 和 B 认为「记住上下文」是模型能力,不需要产品定义;C 认为任务状态记在审计日志里就够了。但记忆口径要回答的是记什么、记多久、怎么删,这三个问题分别对应隐私、成本和合规。没有定义,交互层无法设计「忘记这条」入口,工程层也无法决定保留策略。
预期管理三家都只有一句能力说明。Agent 产品的第一次使用最容易产生错误预期:用户会假设它能做演示里看到的一切,也会假设它记得上一次会话。预期管理要求在上线前写清能做什么、不能做什么、出错时怎么办。三家都写了第一句,漏了后两句。
冷启动路径是最难的一项。A 和 B 的 0 分说明它们没有回答「没有历史数据时,凭什么证明这个 Agent 有用」。C 有影子运行,算 1 分,但影子运行本身需要历史决策做对照,冷启动阶段仍然缺一条证明路径。这一项在卷二会变成首次使用体验的设计前提。
三项共同短板有一个共同特征:它们都不影响演示,只影响上线后的信任。演示时用户看不到记忆保留期、看不到能力边界、也看不到冷启动;上线后这三项会以隐私投诉、错误预期和「用了两周没效果」的形式出现。评审把这三项单列,就是为了在演示之前把它们逼出来。
把评审写成可执行的模型
下面的模型把 15 项、三案例分数和判断标准写在同一份数据里。reviewMatchesBible 用案例事实表的总分做交叉校验,commonWeaknesses 找出三家都没拿满的项,zeroItems 列出每个案例必须先补的 0 分项。
// file: src/metrics/13-2-task-review.ts
// tier: L2
// verify: node --test test/metrics/13-2-task-review.test.ts
// 15 项任务定义评审:每项 0/1/2,单卷满分 30。
// 分数不是评语,是缺口清单;0 分表示这一项没有定义,交互层补不回来。
import { REVIEW, REVIEW_MAX_PER_VOLUME } from "../cases.ts";
export type CaseKey = "A" | "B" | "C";
export type Score = 0 | 1 | 2;
export type Scores = Record<CaseKey, Score>;
export type ReviewItem = {
readonly id: number;
readonly name: string;
readonly standard: string;
readonly scores: Scores;
};
export const REVIEW_ITEMS: readonly ReviewItem[] = [
{
id: 1,
name: "任务边界",
standard: "一句话能说清做什么、不做什么",
scores: { A: 2, B: 2, C: 2 },
},
{
id: 2,
name: "用户与场景",
standard: "明确到岗位与频次",
scores: { A: 2, B: 2, C: 2 },
},
{
id: 3,
name: "输入清单",
standard: "用户给、系统给、禁止用三类写全",
scores: { A: 2, B: 0, C: 2 },
},
{
id: 4,
name: "输出形态",
standard: "答案、草稿、动作三选一且说清",
scores: { A: 2, B: 2, C: 2 },
},
{
id: 5,
name: "可判定验收",
standard: "至少两条可机器或人工判定的标准",
scores: { A: 1, B: 1, C: 2 },
},
{
id: 6,
name: "自主度档位",
standard: "有档位且有定档依据",
scores: { A: 1, B: 1, C: 2 },
},
{
id: 7,
name: "决策权分配",
standard: "谁决定、谁审核、谁兜底",
scores: { A: 2, B: 1, C: 2 },
},
{
id: 8,
name: "接管成本",
standard: "人接回来要多久,有估值",
scores: { A: 2, B: 1, C: 2 },
},
{
id: 9,
name: "工具与权限面",
standard: "能碰什么数据与动作,有清单",
scores: { A: 2, B: 2, C: 2 },
},
{
id: 10,
name: "记忆口径",
standard: "记什么、记多久、怎么删",
scores: { A: 1, B: 1, C: 0 },
},
{
id: 11,
name: "失败模式",
standard: "至少列出四种失败与表现",
scores: { A: 1, B: 1, C: 2 },
},
{
id: 12,
name: "预期管理",
standard: "首次使用前的能力说明",
scores: { A: 1, B: 1, C: 1 },
},
{
id: 13,
name: "冷启动路径",
standard: "没有数据时怎么证明价值",
scores: { A: 0, B: 0, C: 1 },
},
{
id: 14,
name: "任务度量",
standard: "成功率、接管率、返工率、人机耗时比",
scores: { A: 1, B: 1, C: 2 },
},
{
id: 15,
name: "基线数字",
standard: "人工基线有出处且可复算",
scores: { A: 2, B: 2, C: 2 },
},
];
export function totalFor(key: CaseKey, items: readonly ReviewItem[] = REVIEW_ITEMS): number {
return items.reduce((acc, item) => acc + item.scores[key], 0);
}
export function gapToFull(key: CaseKey): number {
return REVIEW_MAX_PER_VOLUME - totalFor(key);
}
export function reviewMatchesBible(): boolean {
return (
totalFor("A") === REVIEW.A.task &&
totalFor("B") === REVIEW.B.task &&
totalFor("C") === REVIEW.C.task
);
}
// 三家共同短板:没有任何一家拿到 2 分,说明这不是个案执行问题,是方法缺口。
export function commonWeaknesses(
items: readonly ReviewItem[] = REVIEW_ITEMS,
): readonly ReviewItem[] {
return items.filter((item) => Math.max(item.scores.A, item.scores.B, item.scores.C) <= 1);
}
export function zeroItems(
key: CaseKey,
items: readonly ReviewItem[] = REVIEW_ITEMS,
): readonly ReviewItem[] {
return items.filter((item) => item.scores[key] === 0);
}
export function formatReviewRow(item: ReviewItem): string {
return [
String(item.id).padStart(2, "0"),
item.name,
String(item.scores.A),
String(item.scores.B),
String(item.scores.C),
String(Math.max(item.scores.A, item.scores.B, item.scores.C)),
].join(" | ");
}
export function formatReviewTable(): string {
const header = "id | item | A | B | C | best";
const rows = REVIEW_ITEMS.map(formatReviewRow);
const totals = `total | | ${totalFor("A")} | ${totalFor("B")} | ${totalFor("C")} | 30`;
return [header, ...rows, totals].join("\n");
}
REVIEW_ITEMS 是唯一的评分来源,totalFor 只做加法。reviewMatchesBible 把三列总分和事实表里的 22、18、26 对齐;任何一项改分而不同步总分,这个函数就会返回 false。它不能阻止人改分,但能阻止「改了分却忘了改合计」。
commonWeaknesses 的判断条件是三家最高分不超过 1。结果正好是第 10、12、13 项,和上一节的结论一致。这个函数的价值在于把「共同短板」从一句感觉变成一组 ID,评审纪要可以直接引用。
zeroItems 返回每个案例的 0 分项:A 是第 13 项,B 是第 3 和第 13 项,C 是第 10 项。0 分项是进入下一卷之前必须先清零的,因为交互层无法替任务定义补一个不存在的东西。下一节会把这条写成进入卷二的判据。
formatReviewTable 输出 15 行加表头和合计。它把分数、判断标准和总分放在一张表里,评审会上可以逐行过,不需要另外准备材料。
评审会怎么开
15 项评审不需要开三次会,但需要按固定顺序过。顺序错了,讨论会滑向功能细节。
- 先过 0 分项。 0 分是硬缺口,先确认每一项是否真的没有定义,还是只是没写下来。B 的输入清单是 0 分,如果团队能当场说清三类输入,可以改成 1 分,但不能直接给 2 分,因为还没写进规格。
- 再过 1 分项。 1 分项要问「缺的是哪一半」。A 的自主档位缺的是降档理由,B 的接管成本缺的是重写估值,C 的记忆口径缺的是保留期。每项给出一个具体的补齐动作。
- 最后过 2 分项。 2 分项不是不用看,而是要确认它经得起复算。基线数字、任务边界、工具面这三项,只要有一个人能提出反例,就降回 1 分。
- 记录总分与缺口。 总分用于横向比较,缺口用于排优先级。A 缺 8 分、B 缺 12 分、C 缺 4 分,但优先级不由缺口大小决定,而由 0 分项决定。
- 把结论写进下一卷的输入。 评审的输出不是一张评分表,而是一份「哪些项必须在交互设计前补齐」的清单。
评审会最容易犯的错误,是把 2 分项当成讨论重点。2 分项已经写完,讨论它只会产生措辞修改;0 分和 1 分项才是会改变产品形态的部分。把时间按 0 分、1 分、2 分分配成 5:3:2,比平均分配更有效。
小结
- 15 项评审每项 0/1/2,单卷满分 30;A 22 分、B 18 分、C 26 分。
- 全书 90 分制合计 52、44、70,三家都低于 72 分通过线;C 差 2 分,B 差 28 分。
- 卷一缺口是 8、12、4 分;缺口大小不等于优先级,0 分项优先。
- 三家共同短板是记忆口径、预期管理、冷启动路径,三项都没有任何一家拿到 2 分。
- 0 分项:A 是冷启动,B 是输入清单和冷启动,C 是记忆口径。
- 1 分项最容易被放过,因为它看起来「已经写了」;评审要追问缺的是哪一半。
- 评审顺序是先 0 分、再 1 分、最后 2 分;时间按 5:3:2 分配。
- 评审的输出是补齐清单,不是总分排名。
阅读导航:上一节:13.1 三案例任务定义基线 · 下一节:13.3 从任务定义到交互与信任 。
常见错误与边界
- 把总分当成成熟度。 C 的 26 分高于 A 的 22 分,但 C 是执行档,规格要求天然更具体;总分不能跨档位直接排名。
- 放过 1 分项。 1 分项看起来「写了」,实际缺一半;A 的自主档位、B 的接管成本、C 的记忆口径都属于这一类。
- 把 0 分项留到交互层补。 输入清单、记忆口径、冷启动路径无法由界面设计补出来;交互层只能呈现已经定义好的东西。
- 只改分不改合计。 任何一项改分都必须同步总分;模型里的
reviewMatchesBible会把不一致暴露成 false。 - 用共同短板解释一切。 记忆、预期、冷启动是三家共同缺口,但每家的补法不同:A 要补首次使用说明,B 要补输入分类,C 要补保留期。
- 评审没有输出动作。 只给分数不写补齐清单,下一次评审会重复同样的问题;每项 1 分都要对应一个具体的补齐动作。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。