《AI Agent 产品开发·任务定义与能力边界》3.3 aia-lab:规格完备性与可判定性打分

规格完备性与自主度是两套分数,不能互相替代。本节在 aia-lab 中实现 8 项规格评分(每项 0/1/2,满分 16,12 分放行)与四维自主度打分,对 A Relay、B Quill、C Runner 分别算出 14/11/16 与 5/6/6,并解释为什么分数与档位不是线性映射。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

前两节把任务规格拆成四要素,又把验收标准拆成硬性和抽样。拆完之后,评审会上仍然会剩一个问题:这份规格到底能不能开工?四要素都写了,但有的写得实、有的写得虚;验收标准有两条,但一条能机器判、一条只能靠人感觉。需要一个可复算的分数,把「写了」和「写到位」分开。

这一节在 aia-lab 里实现两套评分。第一套是规格完备性:8 项,每项 0/1/2,满分 16,12 分放行。第二套是自主度:4 维,每维 0/1/2,满分 8,按圣经第 6 节的规则定档。两套分数回答不同问题,不能互相替代。

两套分数,两种用途

先把两套分数的分工说清楚,否则很容易把它们混成一个「综合分」。

分数回答的问题满分放行线用在哪里
规格完备性这份规格能不能开工1612规格评审、试点准入
自主度这个任务最多能承担到哪一档8不设放行线定档讨论、责任分配
15 项任务定义评审这个任务定义做得好不好30(单卷)全书 72/90全书评审、成熟度自评

三套分数各有各的坐标系,不能直接相加,也不能互相换算。规格完备性 14 分不代表任务定义评审 14 分;自主度 6 分也不代表规格已经完备。它们分别看「写没写全」「能担多少」「做得好不好」。

这一节只实现前两套。第三套在附录 C 和第 13 章展开,本节只在对照时提一句,避免读者把三个分数混成一个。

8 项规格评分

8 项来自四要素的展开:输入、输出、代价各一项,验收拆成硬性与抽样两项,再加上失败模式、接管路径、人工基线三项。每一项 0/1/2 分,2 分是「写到位」,1 分是「写了但不够」,0 分是「没写」。

项2 分1 分0 分
输入清单三类齐全用户给、系统给、禁止用都具体写了但缺一类或太笼统只有一句「读取相关数据」
输出形态与字段明确三选一,交付字段齐全选了三选一但字段不全只写「输出结果」
至少一条硬性验收有可机器判定的硬门槛有标准但判定方式不清只有主观描述
至少一条抽样验收抽样比例、单次成本都写清有抽样但比例或成本缺失没有抽样安排
代价上限分人工与系统两栏都有数且可复算只有一栏或数字拍脑袋没有代价上限
至少列出四种失败四类失败各有表现与处理列了但不足四种没列失败模式
接管路径与耗时估值谁接、多久接、接到什么状态有路径但没有估值没写接管
人工基线可复算基线有出处且能复算有数字但出处不清没有基线

8 项满分 16,放行线 12。12 分不是「平均 1.5 分」的巧合,而是「大部分项写到位、少数项允许 1 分」的门槛。低于 12 分,通常意味着有两项以上是 0 分或三项以上是 1 分;这时规格的短板已经明显到会影响试点。

放行线 12/16 是实验室的规格门,不是 45 项评审的 72/90 通过线。两者分母不同、用途不同,不能互换;一个是「这份规格能不能开工」,一个是「这个任务定义在三卷里能得多少分」。

三案例的规格分

把三案例代入 8 项,得到下面的分数:

项A RelayB QuillC Runner
输入清单三类齐全222
输出形态与字段明确222
至少一条硬性验收222
至少一条抽样验收112
代价上限分人工与系统212
至少列出四种失败102
接管路径与耗时估值212
人工基线可复算222
合计141116

A 14 分,通过;C 16 分,通过;B 11 分,低于 12,不放行。B 的短板集中在三处:代价上限只写了一栏、失败模式没列全、接管路径没有耗时估值。这三项都不是「模型不行」,而是规格没写到位。

B 的 11 分值得单独说。B 的任务定义评审得分是 18/30,在三案例里最低;规格分 11/16 也最低。两个分数方向一致,但不能因此说它们是一回事:18/30 是 15 项评审的结果,11/16 是 8 项规格检查的结果;它们只是恰好都指出了 B 的短板。

C 的 16 分是满分。这不代表 C 的产品最好,只代表它的规格写得最全:输入、输出、验收、代价、失败、接管、基线都有具体内容。规格满分是「可以开工」的信号,不是「可以全量上线」的信号;C 的放量仍然要走影子、5%、20%、60% 的阶梯。

自主度四维打分

自主度用圣经第 6 节的四维模型:错误代价、可回滚性、审计有效性、时延容忍。每维 0/1/2,满分 8。定档规则是:7 分及以上可执行,5–6 分审批,3–4 分草稿,2 分及以下建议。

维度A RelayB QuillC Runner
错误代价111
可回滚性221
审计有效性212
时延容忍022
总分566
分数建议档审批审批审批
实际档位建议草稿执行

三个案例的总分是 5、6、6。按分数,三家都落在审批档;按实际,三家分别是建议、草稿、执行。这不是打分表算错了,而是分数和档位本来就不是一回事。

A 的 5 分里,时延容忍是 0 分,因为分诊必须秒级响应;可回滚性和审计有效性都是 2 分。按分数它够审批档,但团队坚持「人在决策链上,不能移除」,所以实际降到建议档。这是全书要讲的第一个例外:分数只回答「能不能」,不回答「该不该」;组织接受度是一条分数之外的线。

B 的 6 分里,时延容忍是 2 分,审计有效性只有 1 分,因为事实错误需要抽样审改才能发现。按分数它也够审批档,但 B 的关键约束是「产出需人加工,审改不可压缩」,所以实际降到草稿档。B 的降档理由不是风险太高,而是责任不能交出去:报告要顾问签字,发布权必须留在人手里。

C 的 6 分里,可回滚性只有 1 分,因为并非所有动作都能回滚;审计有效性是 2 分,时延容忍是 2 分。按分数它只够审批档,但实际是执行档。C 的升档理由不是分数高,而是控制措施把有效风险压低了:86% 的错误可回滚,8% 审计抽检,不可回滚错误率 0.238%,放量只覆盖低中风险动作。分数衡量的是风险画像,不衡量控制措施是否已经把风险压到可接受。

三个案例放在一起,结论很清楚:分数与档位不是线性映射。A 的分数最低,实际档位也最低;B 和 C 分数相同,实际档位一个草稿、一个执行。档位是在分数之上,再叠加组织接受度、责任分配和控制证据之后做出的决定。

代码:两套评分

把两套评分写进同一个模块,但保持各自的类型和函数分开。规格分只回答「能不能开工」,自主度分只回答「分数建议哪一档」;两者不合并成一个综合分。

// file: src/task/03-3-lab-spec-score.ts
// tier: L2
// verify: node --test test/task/03-3-lab-spec-score.test.ts

// 规格完备性 8 项,每项 0/1/2,满分 16,12 分放行;
// 另附自主度四维打分(圣经第 6 节),两者不是同一把尺。

import { byKey, type Autonomy } from "../cases.ts";

export type SpecItem =
  | "input-inventory"
  | "output-shape"
  | "acceptance-hard"
  | "acceptance-sampling"
  | "cost-ceiling"
  | "failure-modes"
  | "takeover"
  | "baseline";

export const SPEC_ITEMS: readonly SpecItem[] = [
  "input-inventory",
  "output-shape",
  "acceptance-hard",
  "acceptance-sampling",
  "cost-ceiling",
  "failure-modes",
  "takeover",
  "baseline",
];

export const SPEC_LABEL: Record<SpecItem, string> = {
  "input-inventory": "输入清单三类齐全",
  "output-shape": "输出形态与字段明确",
  "acceptance-hard": "至少一条硬性验收",
  "acceptance-sampling": "至少一条抽样验收",
  "cost-ceiling": "代价上限分人工与系统",
  "failure-modes": "至少列出四种失败",
  takeover: "接管路径与耗时估值",
  baseline: "人工基线可复算",
};

export type SpecScore = 0 | 1 | 2;
export type SpecScores = Record<SpecItem, SpecScore>;

export const SPEC_MAX = SPEC_ITEMS.length * 2;
export const SPEC_PASS = 12;

export type SpecResult = {
  readonly total: number;
  readonly passed: boolean;
  readonly weak: readonly SpecItem[];
};

export function scoreSpec(scores: SpecScores): SpecResult {
  let total = 0;
  const weak: SpecItem[] = [];
  for (const item of SPEC_ITEMS) {
    const value = scores[item];
    if (value !== 0 && value !== 1 && value !== 2) {
      throw new Error(`spec item ${item} must be 0, 1 or 2`);
    }
    total += value;
    if (value < 2) weak.push(item);
  }
  return { total, passed: total >= SPEC_PASS, weak };
}

// 三案例的规格分:A 14,B 11,C 16。B 低于 12,先补规格再谈试点。
export const SPEC_SCORES: Record<"A" | "B" | "C", SpecScores> = {
  A: {
    "input-inventory": 2,
    "output-shape": 2,
    "acceptance-hard": 2,
    "acceptance-sampling": 1,
    "cost-ceiling": 2,
    "failure-modes": 1,
    takeover: 2,
    baseline: 2,
  },
  B: {
    "input-inventory": 2,
    "output-shape": 2,
    "acceptance-hard": 2,
    "acceptance-sampling": 1,
    "cost-ceiling": 1,
    "failure-modes": 0,
    takeover: 1,
    baseline: 2,
  },
  C: {
    "input-inventory": 2,
    "output-shape": 2,
    "acceptance-hard": 2,
    "acceptance-sampling": 2,
    "cost-ceiling": 2,
    "failure-modes": 2,
    takeover: 2,
    baseline: 2,
  },
};

export type AutonomyDimension =
  | "error-cost"
  | "rollback"
  | "audit"
  | "latency";

export const AUTONOMY_DIMENSIONS: readonly AutonomyDimension[] = [
  "error-cost",
  "rollback",
  "audit",
  "latency",
];

export type AutonomyScore = 0 | 1 | 2;
export type AutonomyScores = Record<AutonomyDimension, AutonomyScore>;

export const AUTONOMY_MAX = AUTONOMY_DIMENSIONS.length * 2;

// 圣经第 6 节的定档规则:7 分及以上执行,5 到 6 审批,3 到 4 草稿,2 分及以下建议。
export function bandFor(total: number): Autonomy {
  if (total >= 7) return "execute";
  if (total >= 5) return "approve";
  if (total >= 3) return "draft";
  return "advise";
}

export function scoreAutonomy(scores: AutonomyScores): {
  readonly total: number;
  readonly band: Autonomy;
} {
  const total = AUTONOMY_DIMENSIONS.reduce(
    (acc, dimension) => acc + scores[dimension],
    0,
  );
  return { total, band: bandFor(total) };
}

export const CASE_AUTONOMY: Record<"A" | "B" | "C", AutonomyScores> = {
  A: { "error-cost": 1, rollback: 2, audit: 2, latency: 0 },
  B: { "error-cost": 1, rollback: 2, audit: 1, latency: 2 },
  C: { "error-cost": 1, rollback: 1, audit: 2, latency: 2 },
};

export type CaseSummary = {
  readonly key: "A" | "B" | "C";
  readonly specTotal: number;
  readonly specPassed: boolean;
  readonly autonomyTotal: number;
  readonly recommended: Autonomy;
  readonly actual: Autonomy;
  readonly deviates: boolean;
};

export function summarize(): readonly CaseSummary[] {
  return (["A", "B", "C"] as const).map((key) => {
    const spec = scoreSpec(SPEC_SCORES[key]);
    const autonomy = scoreAutonomy(CASE_AUTONOMY[key]);
    const actual = byKey(key).autonomy;
    return {
      key,
      specTotal: spec.total,
      specPassed: spec.passed,
      autonomyTotal: autonomy.total,
      recommended: autonomy.band,
      actual,
      deviates: autonomy.band !== actual,
    };
  });
}

代码里的 scoreSpec() 遍历 8 项,每项校验 0/1/2,累计总分并记录低于 2 分的弱项。SPEC_PASS = 12 是放行线;weak 用来告诉评审「哪几项还差一口气」,而不是只给一个总分。

scoreAutonomy() 遍历 4 维,累计总分后用 bandFor() 定档。bandFor() 的边界是 7、5、3:7 分及以上执行,5–6 审批,3–4 草稿,2 分及以下建议。这个规则直接来自圣经第 6 节,不在代码里另设一套。

summarize() 把两套分数和实际档位放在一行,deviates 标记「分数建议档」和「实际档位」是否不一致。三案例的 deviates 都是 true;这不是代码 bug,而是产品事实。评审时看到 true,不应该去改分数,而应该去读对应的约束:A 是组织接受度,B 是审改不可压缩,C 是控制措施把风险压低了。

怎么用分数做放行决定

两套分数不是用来排名的,而是用来做两类不同的决定。

第一类决定:这份规格能不能开工。 看规格分。低于 12 分,不进试点;先补弱项,再重新打分。B 的 11 分就是一个例子:它的任务值得做,自主度分数也不低,但规格没写全,所以不能开工。补什么?补代价上限的第二栏、四种失败模式、接管路径的耗时估值;补完之后重新跑 scoreSpec()。

第二类决定:这个任务最多能承担到哪一档。 看自主度分和实际约束。分数给出一个起点,实际档位要再问三个问题:组织愿不愿意把责任交出去?责任交出去之后,审改或发布权还在不在人手里?控制措施有没有把有效风险压到可接受?三个问题有答案,档位才是可执行的。

两类决定不能合并成一个「综合分」。合并之后,团队会用高分掩盖短板:规格分高,就说可以全量上线;自主度分高,就说不用写规格。两者都不是事实。规格分高只说明写全了,自主度分高只说明风险画像好看;能不能上线,还要看试点数据、放量规则和接管能力。

小结

  • 规格完备性 8 项,每项 0/1/2,满分 16,12 分放行;它回答「这份规格能不能开工」。
  • 自主度 4 维,每维 0/1/2,满分 8;它回答「这个任务最多能承担到哪一档」。
  • 三案例规格分是 14、11、16:A 和 C 通过,B 低于放行线,先补规格再谈试点。
  • 三案例自主度分是 5、6、6:按分数都落在审批档,实际分别是建议、草稿、执行。
  • 分数与档位不是线性映射;A 因组织接受度降档,B 因审改不可压缩降档,C 因控制措施升档。
  • 规格分 12/16 是实验室放行线,不是 45 项评审的 72/90 通过线;两者分母和用途都不同。
  • 弱项列表比总分更有用;评审要问「哪几项还差一口气」,而不是只问「多少分」。
  • 两套分数不能合并成一个综合分;合并会用高分掩盖短板。

阅读导航:上一节:3.2 从「答得好」到可判定的验收标准 · 下一节:4.1 输入清单:用户给、系统给、不许用 。

常见错误与边界

  1. 把规格分和评审分混为一谈。 规格分 14/16 和任务定义评审 22/30 是两个坐标系;前者管「能不能开工」,后者管「任务定义做得好不好」。
  2. 把自主度分直接当档位。 分数只回答「能不能」,不回答「该不该」;A 的 5 分按规则是审批档,实际是建议档,原因是组织接受度。
  3. 为了凑分改分数。 看到 deviates 为 true 就去调分数,是把产品事实改成代码事实;正确动作是去读约束,而不是改评分。
  4. 只看总分不看弱项。 14 分和 16 分都可能有一项 1 分;弱项列表告诉你试点前该补什么,总分只告诉你过没过线。
  5. 把 12/16 当成 72/90 的缩小版。 两个放行线的分母、用途和评判对象都不同;不能用一个的比例去解释另一个。
  6. 把规格满分当成上线许可。 C 的规格分是 16/16,但它的放量仍要走影子、5%、20%、60% 的阶梯;规格满分只说明可以开工。

第 3 章到这里结束。任务规格从四要素写到验收标准,再到可复算的评分,已经能回答「这份规格能不能开工」。第 4 章开始处理规格里的第一要素:输入清单,看看用户给、系统给、不许用这三类边界怎么画。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图