《AI Agent 产品开发·任务定义与能力边界》1.3 aia-lab:把产品假设写成可校验的任务规格

任务规格不是更长的提示词,而是能被逐项校验的结构。本节在 aia-lab 中围绕 Assessment、Profile 与 TaskSpec 三个类型,复用四条线判定函数为 A Relay、B Quill、C Runner 各生成一份规格,并说明返回 false 时如何读出缺失的分界线。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

前两节建立了两个判断:四条线决定一个功能是不是 Agent,接手成本决定它值不值得上线。这两个判断如果只停留在文章里,评审时仍然会变成各说各话。有人觉得「它已经能自己查资料了」,有人觉得「它连状态都存不住」;两种说法都可能有道理,但无法放在同一张桌上比较。

aia-lab 解决的就是这个问题:把产品假设写成一个结构,结构里的每一项都能被检查、被复算、被追问。它不是更长的提示词,也不是更漂亮的演示,而是一份能在评审会上逐项打勾的任务规格。

为什么先写规格再写提示词

提示词描述行为,规格定义边界。提示词可以一直改,改到演示看起来不错为止;规格必须在上线前回答:做什么、不做什么、怎么算做好、出错谁接。没有规格,提示词优化没有终点,因为「更好」没有判定标准。

维度提示词任务规格
描述对象模型该怎么说话这件事由谁做、做到哪一步、怎么验收
成功条件输出看起来合理至少两条可判定的验收标准
变更影响改一句可能影响所有输出改一项要重新过验收与评审
评审方式读一遍、试几次逐项打勾、可复算
失败处理重新调提示词指明缺哪条线、谁来接管

先写规格还有一个实际好处:它强制你把「案例事实」和「人的判断」分开。A Relay 的 26,400 单、3.5 分钟是案例事实;「建议档合适」是判断。事实放错会算错账,判断放错会被当成事实传播。aia-lab 用两个类型把两者隔开,再用第三个类型把它们合并成可验收的对象。

任务规格的三个类型

aia-lab 的 src/task/01-3-lab-task-spec.ts 围绕三个类型组织。它们的分工如下:

类型负责什么不负责什么
Profile案例事实:任务量、人工基线、成本、自主档具体任务的验收标准
Assessment人的判断:任务号、输出形态、验收标准、四条线证据案例数字的来源与复算
TaskSpec合并结果:Profile + Assessment + 判定 + 评审分上线后的运行数据

Profile 来自 src/cases.ts,是全书数字的唯一入口。A、B、C 的月任务量、人工分钟、机器分钟、模型与基础设施成本都从这里取,任务规格文件不重复定义数字。这样做不是代码洁癖,而是防止同一个数字在两个地方漂移:如果文章写一个数、代码写另一个数,评审时没有人知道该信哪个。

Assessment 是产品经理填的部分。它包含任务号、所属案例、输出形态、验收标准和四条线证据。验收标准至少两条,一条管形式,一条管事实;四条线证据是布尔值,来自对产品的实际观察,不是来自对模型的期待。

TaskSpec 是合并后的结果。它保留 Profile 的全部事实,加上 Assessment 的判断,再加上四条线判定和 15 项评审里的任务定义得分。它不包含上线后的成功率、接管率、返工率,那些要等运行数据;规格只回答「准备怎么做」,不回答「做完怎么样」。

下面的文件把三个类型、输出形态映射和构建函数放在一起。buildTaskSpec 是唯一的入口,所有校验都在这里完成:

// file: src/task/01-3-lab-task-spec.ts
// tier: L2
// verify: node --test test/task/01-3-lab-task-spec.test.ts

// 任务规格:把产品假设写成可校验的结构。
// Assessment 是人的判断,Profile 是案例事实,TaskSpec 是两者合并后的可验收对象。

import { CASES, REVIEW, type Autonomy, type Profile } from "../cases.ts";
import { assessFeature, type FourLines, type Verdict } from "./01-1-four-lines.ts";
import { type Result, fail, ok } from "../core/result.ts";

export type OutputKind = "answer" | "draft" | "action";

export type Assessment = {
  readonly taskId: string;
  readonly caseKey: Profile["key"];
  readonly output: OutputKind;
  readonly acceptance: readonly string[];
  readonly lines: FourLines;
};

export type TaskSpec = {
  readonly taskId: string;
  readonly profile: Profile;
  readonly output: OutputKind;
  readonly verdict: Verdict;
  readonly acceptance: readonly string[];
  readonly reviewTaskScore: number;
};

// 自主档决定输出形态:建议/审批给答案,草稿给草稿,执行给动作。
export function outputForAutonomy(autonomy: Autonomy): OutputKind {
  switch (autonomy) {
    case "advise":
    case "approve":
      return "answer";
    case "draft":
      return "draft";
    case "execute":
      return "action";
  }
}

export function buildTaskSpec(
  profile: Profile,
  assessment: Assessment,
): Result<TaskSpec> {
  if (assessment.caseKey !== profile.key) {
    return fail(
      `assessment ${assessment.taskId} belongs to ${assessment.caseKey}, not ${profile.key}`,
    );
  }
  if (assessment.acceptance.length < 2) {
    return fail("a task spec needs at least two acceptance criteria");
  }
  const expected = outputForAutonomy(profile.autonomy);
  if (assessment.output !== expected) {
    return fail(
      `output ${assessment.output} does not match autonomy ${profile.autonomy}`,
    );
  }
  const verdict = assessFeature(assessment.lines);
  if (!verdict.isAgent) {
    return fail(`not an agent; missing ${verdict.missing.join(", ")}`);
  }
  return ok({
    taskId: assessment.taskId,
    profile,
    output: assessment.output,
    verdict,
    acceptance: assessment.acceptance,
    reviewTaskScore: REVIEW[profile.key].task,
  });
}

const ALL_LINES: FourLines = {
  "multi-step": true,
  "tool-calling": true,
  "state-continuity": true,
  "observable-failure": true,
};

// 三项验收都必须是可判定的:要么机器能判,要么人能在几分钟内判。
export const CASE_ASSESSMENTS: Record<"A" | "B" | "C", Assessment> = {
  A: {
    taskId: "relay-ticket-triage",
    caseKey: "A",
    output: "answer",
    acceptance: [
      "queue is one of the eight defined queues",
      "priority is one of P1 to P4",
      "template id resolves to a published template",
    ],
    lines: ALL_LINES,
  },
  B: {
    taskId: "quill-client-report",
    caseKey: "B",
    output: "draft",
    acceptance: [
      "draft is between 12 and 20 pages",
      "every chart cites the data pack it came from",
      "a fact-check list is attached before release",
    ],
    lines: ALL_LINES,
  },
  C: {
    taskId: "runner-ops-action",
    caseKey: "C",
    output: "action",
    acceptance: [
      "every action has a rollback handle or is marked irreversible",
      "audit log records before and after values",
      "price changes stay inside the configured threshold",
    ],
    lines: ALL_LINES,
  },
};

export function buildAll(): readonly Result<TaskSpec>[] {
  return CASES.map((profile) =>
    buildTaskSpec(profile, CASE_ASSESSMENTS[profile.key]),
  );
}

四条线怎么打分

四条线的判定函数在 1.1 已经写好,1.3 直接复用,不重新实现。这样做有一个好处:如果四条线的定义变了,两个地方同时变,不会出现文章一套、代码一套。

assessFeature 接收四个布尔值,返回 isAgent、passed、missing 和 loweredTo。三个案例的证据都写在 CASE_EVIDENCE 里,四条全过。代入后得到:

案例任务号输出形态四条线判定任务定义得分
A Relayrelay-ticket-triageanswer4/4Agent22/30
B Quillquill-client-reportdraft4/4Agent18/30
C Runnerrunner-ops-actionaction4/4Agent26/30

这张表里有两个容易混的地方。第一,四条线是二值的,只有过与不过,没有 3 分和 4 分;22、18、26 来自 15 项任务定义评审,每项 0/1/2 分,不是四条线的分数。第二,输出形态由自主档决定,不由模型能力决定:建议档和审批档输出答案,草稿档输出草稿,执行档输出动作。审批档之所以输出答案而不是动作,是因为人审批的对象是「建议」,动作仍由人执行;如果动作自动执行,它就已经是执行档。

outputForAutonomy 把这条规则写成函数:advise 和 approve 返回 answer,draft 返回 draft,execute 返回 action。这不是文字游戏,它决定了验收标准该写在哪一层。答案的验收看「建议是否正确」,草稿的验收看「初稿是否可审改」,动作的验收看「执行是否可回滚、可审计」。

返回 false 时缺的是哪条线

规格构建函数 buildTaskSpec 会依次检查四件事:评估是否属于这个案例、验收标准是否至少两条、输出形态是否匹配自主档、四条线是否全过。任何一项不满足,它返回 fail,并在错误信息里写明原因。四条线缺失时,错误信息直接列出缺失的线名。

比如把 C Runner 的 observable-failure 改成 false,再构建规格,会得到:

not an agent; missing observable-failure

这条错误不是让产品改个名字,而是告诉评审:「它现在能执行,但出错无法定位,所以还不能按执行档上线。」修复路径有两条:补上审计日志和回滚句柄,或者把自主档降到人确认。两条都比「先上线再说」便宜。

其他失败信息也对应具体的修复动作:

错误信息含义修复动作
belongs to A, not B评估挂错了案例检查任务号与案例归属
at least two acceptance criteria验收标准不足补一条形式标准或事实标准
output draft does not match autonomy advise输出形态与档位不一致改输出形态,或重新定档
not an agent; missing state-continuity缺状态延续把任务状态落到模型之外

这四类错误里,最常被绕过的是「验收标准不足」。团队容易写一条「回答准确」就上线,但「准确」没有判定材料;规格要求至少两条,就是为了逼出形式与事实两个维度。A 的三条是队列、优先级、模板号,B 的三条是页数、来源、事实核查清单,C 的三条是回滚句柄、前后值、价格阈值。每一条都写明了判定人和判定材料。

三个案例的规格长什么样

把三个案例的 Assessment 并排看,可以发现「验收标准」是最能区分产品的部分。同样四条线全过,验收标准不同,产品的责任边界就不同。

案例验收标准举例判定方式
A Relay队列属于 8 个定义队列之一;优先级是 P1–P4;模板号能解析到已发布模板人确认时逐条看,采纳件平均 32 秒
B Quill草稿 12–20 页;每张图能追到数据包;发布前附事实核查清单审改时逐条打勾,1.25–3.0 小时
C Runner每个动作有回滚句柄或标记不可回滚;审计日志记录前后值;价格变动在阈值内抽检 8%,单次 12 分钟

A 的验收发生在人确认的 45 秒里(采纳件平均 32 秒),所以标准必须一眼能看;B 的验收发生在审改的 1.6 小时里,所以标准可以细一些;C 的验收发生在事后抽检的 12 分钟里,所以标准必须能从事后日志里读出来。验收标准不是越严越好,而是要和判定场景匹配:判定时间越短,标准越要外显;判定时间越长,标准越要可追溯。

三个案例的任务定义得分分别是 22、18、26,满分 30。C 得分最高,B 最低。这个顺序和四条线无关,和验收、决策权、失败模式、基线数字等 15 项的完备程度有关。规格文件只负责把分数带出来,不负责解释分数;解释留给第 13 章的 15 项评审。

怎么跑、怎么扩展

aia-lab 是一个零依赖的 TypeScript 工程,Node 26 原生类型剥离,不需要编译。进入 .local/checks/aia-lab 后运行:

node --test test/task/*.test.ts

三个测试文件覆盖四条线判定、接管成本复算和任务规格构建。每个测试至少三个用例,失败时会指出具体的断言,而不是只报一个总数。

扩展一个任务规格,按下面的顺序做:

  1. 在 CASE_ASSESSMENTS 里加一条 Assessment。 任务号用英文 kebab-case,案例键必须是 A/B/C 之一,输出形态按自主档选。
  2. 写至少两条验收标准。 一条管形式,一条管事实;每条都要能回答「谁在几分钟内怎么判」。
  3. 填四条线证据。 不要填「应该可以」,填「现在能看到什么」;看不到就填 false,让规格先失败。
  4. 跑 buildTaskSpec。 如果返回 false,按错误信息补线或降档,不要改判定函数来迁就产品。
  5. 把结果写回评审表。 TaskSpec 里的 reviewTaskScore 来自 REVIEW,不要在这一层另设一套分数。

这套流程的价值不在于代码有多复杂,而在于它把「产品假设」变成了一个可以被别人复算的对象。下一个人拿到规格,不需要听你讲半小时背景,只需要看任务号、验收标准和四条线证据,就能判断这份规格是否值得进入下一轮。

从任务规格到任务选型

第 1 章到这里结束。四条线回答「是不是 Agent」,接手成本回答「值不值得用」,任务规格回答「怎么把它写清楚」。三件事合起来,才构成一个可以进入选型讨论的候选任务。

第 2 章会换一个方向:不是判断一个已有功能像不像 Agent,而是从一堆候选任务里选出值得做的那个。选型会用到本章的规格结构,也会用到案例的基线数字;规格写得越清楚,选型时的比较越不容易变成印象之争。

小结

  • 任务规格不是更长的提示词,而是能被逐项校验的结构;提示词描述行为,规格定义边界。
  • Profile 存案例事实,Assessment 存人的判断,TaskSpec 合并两者并带出判定与评审分。
  • 案例数字只从 src/cases.ts 取,任务规格文件不重复定义,避免同一个数字两处漂移。
  • 四条线是二值判定,只有过与不过;22、18、26 是 15 项任务定义评审的得分,不是四条线的分数。
  • 输出形态由自主档决定:建议与审批输出答案,草稿输出草稿,执行输出动作。
  • 验收标准至少两条,一条管形式,一条管事实;判定时间越短,标准越要外显。
  • buildTaskSpec 返回 false 时要读缺失的线名,修复路径是补线或降档,不是改判定函数。
  • 规格是选型的输入,不是选型的结论;第 2 章会用它在候选任务之间做比较。

阅读导航:上一节:1.2 能力演示与接手一段工作的差别 · 下一节:2.1 任务选型的五个维度 。

常见错误与边界

  1. 把规格写成提示词。 提示词描述模型该怎么说话,规格描述这件事由谁做、做到哪一步、怎么验收;前者可以无限改,后者必须有判定标准。
  2. 在规格里重复定义案例数字。 月任务量、人工基线、成本只能从 src/cases.ts 取;两处各写一份,早晚会漂移,评审时无法判断该信哪个。
  3. 把四条线当成评分。 四条线只有 true/false,没有 3 分和 4 分;22、18、26 来自 15 项评审,两项不能混着解释。
  4. 验收标准只写一条「准确」。 「准确」没有判定材料;至少两条,一条管形式(页数、字段、格式),一条管事实(来源、前后值、核查清单)。
  5. 返回 false 时改判定函数。 规格失败说明产品缺线或档位不匹配,正确动作是补线或降档;改函数迁就产品,等于把评审变成盖章。
  6. 把规格当成上线许可。 规格只回答「准备怎么做」,不回答「做完怎么样」;成功率、接管率、返工率要等运行数据,不能提前写进规格当结论。

这一章建立了 Agent 产品的三条基线:四条分界线、接手成本、任务规格。下一章开始选型,第一件事是从候选任务里找出值得做的那个。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图