以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
「答得好」是产品评审里最常出现、也最难落地的一句话。它听起来像标准,实际上是一个感受:评审者读完输出,觉得不错,就说好;觉得哪里不对,就说再改改。问题是,同一个输出换一个人看,结论可能相反;同一个人今天看和明天看,结论也可能不同。
验收标准要解决的,就是把这种感受变成可复现的判断。它不要求把「好」量化成一个分数,只要求回答三个问题:谁来判断、看什么材料、多长时间内能判完。三个问题有答案,验收就是可执行的;答不上来,验收就还是感受。
「答得好」为什么不能验收
先看一个反例。假设 B Quill 的验收标准写成「报告答得好」。上线后会出现三种情况:
第一种,审改人 A 觉得好,直接发布;审改人 B 觉得不好,退回重写。两个人对同一份报告做出相反决定,而且都能说出理由。第二种,同一份报告,A 今天觉得好,明天客户投诉后觉得不好;标准随结果变化,无法事前约束。第三种,团队为了减少争议,把「好」解释成「没有明显错误」;标准降低了,但报告的质量也跟着降。
三种情况的共同问题,是「好」没有独立判据。它依赖判断者的经验、心情、客户关系和对风险的偏好,无法被另一个人复现。验收标准如果不能被复现,就不能用来做放量决策:你不知道通过验收的批次,下一批还能不能保持同样的质量。
「答得好」也不是完全没用。它适合做探索期的方向判断:团队还不知道什么算好时,先靠感受找方向。但探索期一结束,进入试点和放量,就必须把感受翻译成条款;否则放量放的不是能力,是运气。
主观好恶与可判定标准的区别
主观好恶和可判定标准的分界,不是「有没有形容词」,而是「能不能用材料裁决」。
| 维度 | 主观好恶 | 可判定标准 |
|---|---|---|
| 判断依据 | 判断者的经验与感受 | 输入、输出、规则或样本 |
| 复现性 | 换人换时间可能不同 | 换人换时间结论一致 |
| 争议处理 | 靠讨论、职位或客户压力 | 回到材料,逐条核对 |
| 放量价值 | 无法预测下一批质量 | 可以用通过率做决策 |
| 典型写法 | 「专业」「有质感」「读起来舒服」 | 「页数 12–20」「图表可追源」「事实核查清单齐全」 |
「专业」不是绝对不能出现在规格里,但它不能单独作为验收标准。它可以作为设计目标,提醒团队报告要有专业感;验收时必须落到具体条款,比如「每个结论后面有数据来源」「行业术语与客户所在行业一致」「风险提示不少于一条」。条款是「专业」的投影,不是「专业」本身。
判断一条标准是否可判定,可以用「两个评审者测试」:找两个没有参与设计的人,给他们同一份输入和输出,看他们是否能在相同时间内得出相同结论。如果结论相反,且无法用材料裁决,这条标准就还是主观的。
还有一个更简单的测试:这条标准能不能写成一句「如果……就通过,否则不通过」? 能写成条件句,通常是可判定的;只能写成形容词,通常不是。
两段式验收:硬性 + 抽样
可判定标准有了,接下来要决定「全查还是抽查」。全查成本高,抽查有漏检风险;两段式验收把两者分开:硬性标准全查,抽样标准按比例查。
硬性门槛是那些必须 100% 通过的标准,通常可以机器判定,成本很低。B Quill 的硬性标准是「草稿在 12–20 页之间」「每张图带数据包来源」;A Relay 的硬性标准是「队列属于 8 类之一」「优先级是 P1–P4」「模板号可解析」;C Runner 的硬性标准是「每个动作有回滚句柄或标记不可回滚」「价格变动在阈值内」。
抽样标准是那些无法全量机器判定、只能靠人抽查的标准,通常是事实和判断类。B Quill 的抽样标准是「抽查事实陈述是否与数据包一致」;C Runner 的抽样标准是「8% 审计抽检,单次 12 分钟」;A Relay 的抽样标准比较特殊,因为人确认本身就是 100% 检查,不需要再抽样。
两段式的顺序不能反。先过硬性门槛,再进抽样;硬性门槛不过,抽样没有意义。反过来,先抽样再补硬性检查,会让不合格的输出进入人工审改,浪费审改时间。
两段式的比例也不是固定的。硬性标准越多,抽样比例可以越低;硬性标准越少,抽样比例必须越高。判断依据是「硬性门槛漏掉的问题,抽样能不能兜住」;兜不住,就要加硬性标准,而不是加抽样比例。
B Quill 的抽样代价
抽样不是免费的。B Quill 的案例可以把代价算清楚。
月报告量 606 份,单份审改 1.6 小时。如果逐份审改,月人工是 606 × 1.6 = 969.6 小时;这个数字和案例事实表里的「月人工小时(后)969.6」一致。也就是说,B 的 1.6 小时审改是逐份进行的,在案例设定里抽样比例实际上是 100%。
但审改里有一部分是返工。返工率 9%,月返工件数是 606 × 9% = 54.54 份;返工审改 3.0 小时,返工人工是 54.54 × 3.0 = 163.62 小时。这 163.62 小时不是额外的抽样成本,而是全量审改里被返工吃掉的部分;它说明「抽样发现问题」和「抽样之后返工」是两笔账。
事实错误率 4.6%,意味着每 100 份报告里约有 4.6 份存在事实问题。如果抽样比例太低,期望覆盖的错误报告会远少于实际数量;漏掉的错误会直接进入发布。抽样比例的设计,本质是在「审改人工」和「漏检风险」之间做取舍,而不是拍一个固定比例。
这也是为什么 B 的验收不能只靠抽样。它的硬性标准(页数、图表来源、事实核查清单)必须先全查,把结构性问题挡在审改之前;抽样只负责事实类问题。硬性标准越扎实,抽样的压力越小。
判定成本要写进规格
验收标准如果不写判定成本,就会变成一句「要检查」,但没人知道检查要多久。判定成本要写进规格,至少写两个数:单次判定时间和判定方式(机器还是人)。
A Relay 的判定成本是 45 秒/单,其中采纳件 32 秒、修改件 91 秒;加权后 0.78 × 32 + 0.22 × 91 = 44.98 秒,约 45 秒。这个数字决定了 A 的验收必须「一眼能看」:如果一条标准需要人翻三页文档才能判,45 秒就不够。
B Quill 的判定成本是 1.6 小时/份,三档审改时长分别是 1.25、1.95、3.0 小时,对应 63%、28%、9% 的比例;加权后 0.63 × 1.25 + 0.28 × 1.95 + 0.09 × 3.0 = 1.6035 小时,约 1.6 小时。这个数字决定了 B 的验收可以细一些,但细到超过 1.6 小时,就会挤压顾问的判断时间。
C Runner 的判定成本是 8% × 12 分钟 = 0.96 分钟/任务的审计摊销,加上 22% × 14 分钟 = 3.08 分钟/任务的转人工摊销,合计 4.04 分钟/任务。这个数字决定了 C 的验收必须能从事后日志里读出来:如果审计需要重新跑一遍任务,12 分钟根本不够。
判定成本写进规格之后,就能回答一个关键问题:验收本身会不会把节省的时间吃回去? 如果 Agent 节省的时间还没有验收时间长,净节省就是负的;这时要么改验收方式,要么改任务边界,而不是假装验收免费。
代码:验收计划与抽样成本
把两段式验收写成代码,输入是一组验收标准,输出是「硬性门槛 + 抽样阶段」的计划;不满足条件时,返回缺哪一段。
// file: src/task/03-2-acceptance-testable.ts
// tier: L2
// verify: node --test test/task/03-2-acceptance-testable.test.ts
// 两段式验收:硬性标准必须全过,抽样标准按比例检查。
// 验收标准要能被机器或人独立判定,判定成本必须写进规格。
import { QUILL } from "../cases.ts";
import { type Bps, FULL } from "../core/rate.ts";
import { type Result, fail, ok } from "../core/result.ts";
export type Stage = "hard" | "sampling";
export type Judge = "machine" | "human";
export type Criterion = {
readonly id: string;
readonly stage: Stage;
readonly judge: Judge;
readonly statement: string;
readonly minutesPerCheck: number;
};
export type AcceptancePlan = {
readonly hard: readonly Criterion[];
readonly sampling: readonly Criterion[];
};
// 出现这些词,通常说明标准还停留在主观好恶,不能独立判定。
export const SUBJECTIVE_MARKERS: readonly string[] = [
"专业",
"有质感",
"打动人",
"读起来舒服",
"像人写的",
];
export function isSubjective(statement: string): boolean {
return SUBJECTIVE_MARKERS.some((marker) => statement.includes(marker));
}
export function planAcceptance(
criteria: readonly Criterion[],
): Result<AcceptancePlan> {
const errors: string[] = [];
for (const criterion of criteria) {
if (isSubjective(criterion.statement)) {
errors.push(`${criterion.id} is subjective: ${criterion.statement}`);
}
if (criterion.judge === "human" && criterion.minutesPerCheck <= 0) {
errors.push(`${criterion.id} needs a positive human check cost`);
}
if (criterion.minutesPerCheck < 0) {
errors.push(`${criterion.id} has a negative check cost`);
}
}
const hard = criteria.filter((criterion) => criterion.stage === "hard");
const sampling = criteria.filter((criterion) => criterion.stage === "sampling");
if (hard.length === 0) errors.push("missing hard gate");
if (sampling.length === 0) errors.push("missing sampling stage");
if (errors.length > 0) return fail(errors.join("; "));
return ok({ hard, sampling });
}
// 期望检查量 = 总量 × 抽检比例。这里不取整:返工件数是期望值,不是整数。
export function expectedCount(total: number, rate: Bps): number {
return (total * rate) / FULL;
}
export function samplingHours(
total: number,
rate: Bps,
hoursPerCheck: number,
): number {
return expectedCount(total, rate) * hoursPerCheck;
}
// B Quill 的验收参数全部来自案例事实表:606 份/月,审改 1.6 小时,
// 返工率 9%,返工审改 3.0 小时,事实错误率 4.6%。
export const QUILL_ACCEPTANCE = {
reports: QUILL.monthlyTasks,
reviewHours: QUILL.humanMinutes / 60,
reworkRate: 900,
reworkHours: 3.0,
factErrorRate: 460,
};
export const QUILL_CRITERIA: readonly Criterion[] = [
{
id: "page-range",
stage: "hard",
judge: "machine",
statement: "draft page count is between 12 and 20",
minutesPerCheck: 0,
},
{
id: "chart-source",
stage: "hard",
judge: "machine",
statement: "every chart carries the data pack id it came from",
minutesPerCheck: 0,
},
{
id: "fact-sampling",
stage: "sampling",
judge: "human",
statement: "spot-check factual claims against the data pack",
minutesPerCheck: QUILL.humanMinutes / 60,
},
];
// 全量审改的代价:606 × 1.6 = 969.6 小时/月。
export const QUILL_FULL_CENSUS_HOURS = samplingHours(
QUILL.monthlyTasks,
FULL,
QUILL.humanMinutes / 60,
);
// 返工代价:606 × 9% = 54.54 份,54.54 × 3.0 = 163.62 小时/月。
export const QUILL_REWORK_COUNT = expectedCount(
QUILL.monthlyTasks,
QUILL_ACCEPTANCE.reworkRate,
);
export const QUILL_REWORK_HOURS =
QUILL_REWORK_COUNT * QUILL_ACCEPTANCE.reworkHours;
代码里的 planAcceptance() 检查三件事:每条标准是否可判定(用主观词表做粗筛)、是否同时有硬性门槛和抽样阶段、人工判定是否有正的判定成本。三项都过,才返回计划。
expectedCount() 和 samplingHours() 把抽样成本写成可复算的函数。B Quill 的全量审改是 606 × 1.6 = 969.6 小时;返工件数是 606 × 9% = 54.54 份,返工人工是 54.54 × 3.0 = 163.62 小时。这两个数字都不是新假设,而是案例事实表里的比例和时长直接算出来的。
代码里没有把「抽 10%」写死,因为抽样比例应该由硬性标准的强度、事实错误率和漏检风险共同决定,不是一个通用常数。代码只提供计算工具,比例留给产品判断;这样不会把一个拍脑袋的数字固化成「最佳实践」。
怎么设计一条可判定标准
设计一条可判定标准,可以按下面的顺序走:
- 先写判断材料。 判断者需要看什么?输入、输出、规则、样本,还是外部数据?材料写不出来,标准就不可判定。
- 再写判断条件。 用「如果……就通过,否则不通过」的句式写;写不成条件句,说明标准还停留在形容词。
- 再写判定方式。 机器判定还是人判定?人判定的话,单次需要几分钟?
- 最后写判定阶段。 这条标准是全查的硬性门槛,还是抽样的事实检查?全查成本能不能接受?抽样漏检能不能兜住?
以 B Quill 的「每张图能追到数据包来源」为例:判断材料是图表和数据包;判断条件是「图表带数据包 id,且 id 能在数据包里找到」;判定方式是机器;判定阶段是硬性门槛。四个问题都有答案,这条标准就是可执行的。
再以「报告读起来专业」为例:判断材料是什么?没有。判断条件是什么?说不清。判定方式是什么?只能靠人感觉。判定阶段是什么?全查太贵,抽样又漏。四个问题都答不上来,这条标准就需要翻译成更具体的条款。
小结
- 「答得好」是感受,不是标准;验收标准要能被另一个人用材料复现。
- 主观好恶与可判定标准的分界,是能不能用材料裁决,不是有没有形容词。
- 两段式验收:硬性门槛全查,抽样标准按比例查;顺序不能反。
- B Quill 的全量审改是 606 × 1.6 = 969.6 小时;返工是 54.54 份、163.62 小时。
- 事实错误率 4.6% 意味着抽样比例不能拍脑袋;抽样太低,漏掉的错误会直接进入发布。
- 判定成本要写进规格:A 45 秒/单,B 1.6 小时/份,C 4.04 分钟/任务。
- 验收本身会吃掉节省的时间;净节省 = 人工节省 − 验收成本,不能假装验收免费。
- 一条可判定标准要回答四个问题:判断材料、判断条件、判定方式、判定阶段。
阅读导航:上一节:3.1 任务规格的四要素 · 下一节:3.3 aia-lab:规格完备性与可判定性打分 。
常见错误与边界
- 把「专业」「有质感」当验收标准。 这些词没有判断材料,换人换时间结论会变;它们可以是设计目标,但验收必须落到具体条款。
- 只做硬性检查,不做抽样。 硬性检查管结构和格式,管不了事实;事实类问题必须靠抽样或全量人审。
- 抽样比例拍脑袋。 抽样比例要由硬性标准强度、事实错误率和漏检风险共同决定;没有这些依据的「抽 10%」只是感觉。
- 不写判定成本。 验收要花时间,时间要算进人工账;不写判定成本,节省率会虚高。
- 把验收和返工混成一笔账。 验收是判断对错,返工是判断之后的修正;B 的 1.6 小时审改和 3.0 小时返工是两笔不同的成本。
- 用验收标准替代任务规格。 验收只回答「怎么算做对」,不回答「输入是什么、输出是什么、代价上限多少」;四要素缺一不可。
验收标准写清楚之后,下一节把它和规格完备性一起打分:8 项各 0/1/2,低于阈值不放行;同时用圣经第 6 节的四维模型算自主度,看看两套分数为什么不能互相替代。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。