《AI Agent 产品开发·任务定义与能力边界》2.1 任务选型的五个维度

任务选型不是挑最热的能力,而是判断一段工作值不值得交给 Agent。本节给出频次、单次耗时、可判定性、错误代价、数据可得性五个维度与 0/1/2 分锚点,逐维给 A Relay、B Quill、C Runner 打分,并用一个高频却不可判定的反例说明:四项成立只是必要条件,可判定性是一条否决线。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

第 1 章回答的是「一个功能像不像 Agent」。从这一章开始,问题换成了「这件事值不值得交给 Agent」。两个问题的答案没有必然关系:一个功能可以完美跨过四条线,却仍然不值得做,因为它的频次太低、错误代价太高,或者验收根本说不清。反过来,一段高频、耗时、可判定的工作,即使一开始只做到建议档,也值得进入候选池。

任务选型最容易犯的错误,是拿「模型能不能做」当唯一标准。模型能做的事很多,但产品只应该做那些做完之后有人愿意用、出错之后有人接得住、成本算得过来的事。这一节把这三个条件拆成五个可打分的维度,并给出一条否决线。

为什么选型要先于提示词优化

团队拿到一个 Agent 需求,最常见的动作是先去试提示词。试了两天,demo 看起来不错,于是立项;上线三个月后发现,用户根本不需要它每天跑,或者每次都要人花更长时间检查。问题不在提示词,而在选型:这件事从一开始就不该按「全自动」来做。

选型先行的价值,是把「值不值得」和「做不做得到」分开。做不做得到是能力问题,可以靠模型升级、工具补齐、流程改造解决;值不值得是产品问题,模型再强也解决不了。一个低频、单次耗时也不长的任务,即使 Agent 能做得很好,节省的绝对时间也很小,而维护提示词、评测、数据标注的固定成本不会因为任务少而同比缩小。

所以选型阶段不追求精确预测收益,只追求排除明显不成立的候选。五个维度就是五道筛子:先筛掉频次太低、耗时太短、无法判定、错不起、数据拿不到的,再把剩下的送进任务规格。

五个维度分别问什么

五个维度不是并列的能力项,而是从不同角度回答同一个问题:这段工作有没有稳定的投入产出结构。

维度要回答的问题为什么重要
频次这件事多久发生一次决定节省的绝对量能否覆盖固定成本
单次耗时人做一次要多久决定单次收益的上限
可判定性做完之后能不能独立判断对错决定验收和审计是否可行
错误代价做错了会损失什么决定自主档位和回滚要求
数据可得性完成任务所需的数据是否在手决定它是不是一个可启动的项目

这五维有一个顺序关系:可判定性是门槛,频次和耗时决定收益,错误代价决定档位,数据可得性决定能不能开工。顺序不能倒过来。先算收益再问可判定性,很容易被一个高频场景吸引,最后发现没人能说清它做得对不对。

频次和耗时可以从案例事实直接读出来,不需要争论。A Relay 月工单 26,400 单,单次人工分诊 3.5 分钟;B Quill 月报告 606 份,单份 4.2 小时;C Runner 月任务 13,200 个,单任务 18 分钟。三个数字的量级差异很大,这正是后面不能随便做「平均」的原因。

可判定性、错误代价、数据可得性没有现成数字,必须由产品经理按锚点判断。判断的依据不是「我觉得」,而是「现在有没有材料能证明」。比如可判定性,问的不是「模型答得准不准」,而是「拿到输出的人,能不能在可接受的时间内独立判断它对不对」。

0/1/2 分锚点

每个维度给 0、1、2 三档。锚点写死,是为了让不同的人打出的分可以比较。没有锚点,五个人会打出五套分,选型会退化成印象之争。

维度0 分1 分2 分
频次每月少于 20 次每月 20 到 999 次每月 1,000 次及以上
单次耗时单次少于 1 分钟单次 1 到 15 分钟单次超过 15 分钟
可判定性只能主观争论抽样可以判断全量可以机器判断
错误代价高:伤客户、违法或资金损失中:返工或延误低:可以忽略
数据可得性数据不在手,需新建部分可得,需要清洗已在系统内且结构稳定

这张表有两个设计选择需要解释。第一,频次的 2 分门槛是每月 1,000 次,而不是每天 1,000 次;这是为了让月任务量在几百到几万之间的案例都能落入不同档位。第二,单次耗时的 2 分门槛是 15 分钟,因为低于 15 分钟的任务,人工切换成本占比高,Agent 即使快,节省的绝对时间也有限。

打分时有一个常见误区:把「模型能做」当成可判定性 2 分。模型能做是能力判断,可判定性是验收判断。一个任务可以很容易被模型做出来,却很难被独立判定;也可以很难做,但判定很简单。两者不是一回事。

三案例逐维打分

把三个案例代入锚点,得到下面这张表。分数不是案例事实表直接给出的,而是按锚点判断出来的;其中频次和耗时两列可以由事实表复算,另外三列是产品判断。

维度A RelayB QuillC Runner
频次2(26,400 单/月)1(606 份/月)2(13,200 个/月)
单次耗时1(3.5 分钟)2(4.2 小时)2(18 分钟)
可判定性2(队列、优先级、模板号可全量检查)1(事实错误需抽样审改)2(审计日志可全量回放)
错误代价1(分诊错误导致返工或延误)1(报告错误导致返工)1(错误可回滚,但仍有返工)
数据可得性2(工单、账户、模板都在系统内)2(数据包与模板由客户和系统提供)2(目录、价格、库存都在系统内)
成立维度数5/55/55/5

三个案例的五个维度都成立,但这不意味着它们同样值得做。分数只回答「有没有明显的硬伤」,不回答「收益有多大」。A 的频次是 B 的 43 倍多,单次耗时却只有 B 的约 1/72;两者的收益结构完全不同,一个靠量,一个靠单件深度。选型表的作用是排除硬伤,不是给候选任务排一个万能名次。

B 的可判定性只有 1 分,这是它和另外两个案例最大的差别。报告的事实错误不会在生成时暴露,只能在审改时被发现,所以它的验收天然依赖抽样。这个 1 分不是缺陷,而是产品约束:它决定了 B 不能按全量自动验收来设计,也决定了后面第 3.2 节要用两段式验收。

错误代价三家都是 1 分,也不是巧合。三个案例都被刻意选在「错了会返工或延误,但不会直接伤客户、违法或造成资金损失」的区间。如果错误代价是 0 分,产品要做的第一件事不是选型,而是换任务;如果错误代价是 2 分,任务通常不值得用 Agent 来做,因为省下来的时间不足以覆盖一次事故。

至少四项成立,但可判定性是否决线

规则的第一层是数量:五个维度里至少四项达到 1 分及以上,才进入候选。四项而不是五项,是为了给产品留一点现实空间:很少有任务在五个维度上都漂亮,允许一维偏弱,但不能弱到无法启动。

规则的第二层是否决:可判定性必须达到 1 分及以上。它不参与「四项」的凑数,而是一条独立门槛。原因很直接:可判定性为 0 时,验收成本没有上限。你不知道它做得对不对,就只能全量人工复核;全量人工复核又把节省的时间还了回去。更糟的是,复核者自己也没有稳定标准,今天放过的问题明天可能被另一个复核者拦下,产品质量会变成随机事件。

用代码表达,就是「数量达标」和「否决线」两个条件同时成立:

// file: src/task/02-1-selection-dimensions.ts
// tier: L2
// verify: node --test test/task/02-1-selection-dimensions.test.ts

// 任务选型的五个维度:频次、单次耗时、可判定性、错误代价、数据可得性。
// 每维 0/1/2 分;至少四项成立,且可判定性是一条否决线。

import { CASES, type Profile } from "../cases.ts";

export type Dimension =
  | "frequency"
  | "effort"
  | "verifiability"
  | "error-cost"
  | "data";

export const DIMENSIONS: readonly Dimension[] = [
  "frequency",
  "effort",
  "verifiability",
  "error-cost",
  "data",
];

export const DIMENSION_LABEL: Record<Dimension, string> = {
  frequency: "频次",
  effort: "单次耗时",
  verifiability: "可判定性",
  "error-cost": "错误代价",
  data: "数据可得性",
};

// 每一维的三个锚点,0 分最差,2 分最好。
export const ANCHORS: Record<Dimension, readonly [string, string, string]> = {
  frequency: ["每月少于 20 次", "每月 20 到 999 次", "每月 1,000 次及以上"],
  effort: ["单次少于 1 分钟", "单次 1 到 15 分钟", "单次超过 15 分钟"],
  verifiability: ["只能主观争论", "抽样可以判断", "全量可以机器判断"],
  "error-cost": ["高:伤客户、违法或资金损失", "中:返工或延误", "低:可以忽略"],
  data: ["数据不在手,需新建", "部分可得,需要清洗", "已在系统内且结构稳定"],
};

export type Score = 0 | 1 | 2;
export type Scores = Record<Dimension, Score>;

// 1 分及以上算这一维成立;0 分是不成立。
export const PASS_SCORE = 1;
export const MIN_PASSING = 4;

// 可判定性是否决线:它不成立时,验收成本没有上限,其他维度再高也不能开工。
export const VETO_DIMENSION: Dimension = "verifiability";

export type Selection = {
  readonly passing: readonly Dimension[];
  readonly missing: readonly Dimension[];
  readonly total: number;
  readonly vetoed: boolean;
  readonly worthDoing: boolean;
};

export function assessSelection(scores: Scores): Selection {
  const passing = DIMENSIONS.filter((name) => scores[name] >= PASS_SCORE);
  const missing = DIMENSIONS.filter((name) => scores[name] < PASS_SCORE);
  const total = DIMENSIONS.reduce((acc, name) => acc + scores[name], 0);
  const vetoed = scores[VETO_DIMENSION] < PASS_SCORE;
  return {
    passing,
    missing,
    total,
    vetoed,
    worthDoing: passing.length >= MIN_PASSING && !vetoed,
  };
}

// 频次和单次耗时可以从案例事实直接算,另外三维必须由人按锚点判断。
export function scoreFrequency(monthlyTasks: number): Score {
  if (monthlyTasks >= 1_000) return 2;
  if (monthlyTasks >= 20) return 1;
  return 0;
}

export function scoreEffort(minutes: number): Score {
  if (minutes > 15) return 2;
  if (minutes >= 1) return 1;
  return 0;
}

export const CASE_SCORES: Record<Profile["key"], Scores> = {
  A: {
    frequency: 2,
    effort: 1,
    verifiability: 2,
    "error-cost": 1,
    data: 2,
  },
  B: {
    frequency: 1,
    effort: 2,
    verifiability: 1,
    "error-cost": 1,
    data: 2,
  },
  C: {
    frequency: 2,
    effort: 2,
    verifiability: 2,
    "error-cost": 1,
    data: 2,
  },
};

export type CounterExample = {
  readonly name: string;
  readonly scores: Scores;
};

// 高频、耗时也不短,但「总结得像不像回事」无法独立判定。
// 四项成立仍然不值得做,因为可判定性被否决。
export const COUNTEREXAMPLE: CounterExample = {
  name: "每日竞品动态摘要",
  scores: {
    frequency: 1,
    effort: 2,
    verifiability: 0,
    "error-cost": 2,
    data: 2,
  },
};

export function scoreAll(): readonly {
  readonly key: Profile["key"];
  readonly selection: Selection;
}[] {
  return CASES.map((profile) => ({
    key: profile.key,
    selection: assessSelection(CASE_SCORES[profile.key]),
  }));
}

代码里的 worthDoing 是两个条件的与:passing.length >= MIN_PASSING 和 !vetoed。这样写不是为了把规则复杂化,而是为了让否决线在类型层面就存在。如果只写数量判断,后面的人很容易在评审会上用「四项都成立」压过可判定性的问题。

一个高频但不可判定的反例

假设有一个任务:每天给运营团队生成一份竞品动态摘要,覆盖竞品官网、社媒和新闻。频次是每天一次,按月 22 个工作日算,频次 1 分;单次人工阅读整理明显超过 15 分钟,耗时 2 分;数据都在公开渠道,数据可得性 2 分;摘要出错的最坏结果是团队判断偏差,不至于直接伤客户,错误代价 2 分。四项成立,看起来完全值得做。

但它的可判定性是 0 分。「摘要得像不像回事」没有独立标准:说它漏了重要信息,可以举出反例;说它抓了噪音,也可以举出反例;两个人看同一份摘要,结论可能相反。没有标准,验收就只能靠「我觉得还行」,而「我觉得」不能写成验收条款,也不能交给另一个人复现。

这个反例说明:四项成立只是必要条件,不是充分条件。频次高、耗时长的任务,最容易让人忽略可判定性,因为收益看起来很大。收益越大,越要先问一句:做完之后,谁能在多长时间内判断它对不对?如果答案还是「要开个会讨论一下」,它就不该进入候选池。

反例不是永远不做。它有三种降级路径:第一,把任务缩成可判定的子任务,比如只做「竞品官网价格变动」这种有明确字段的抽取;第二,把输出从「摘要」改成「素材清单」,人再做判断;第三,把它放到建议档,由人决定用不用,但这时要承认它节省的是搜集时间,不是判断时间。三条路径都比「先做一个摘要 Agent 再说」便宜。

选型会议怎么用这张表

选型会的目标不是给所有候选任务打分,而是快速排除明显不成立的。建议按下面的顺序走:

  1. 先填频次和单次耗时。 这两项能从事实表或工单系统直接取,不需要讨论。填不出来,说明任务边界还没定义清楚。
  2. 再判可判定性。 问「谁在几分钟内、看什么材料、能判断它对不对」。答不出来,直接进拒做清单,不要进入下一轮。
  3. 然后判错误代价和数据可得性。 错误代价决定自主档位,数据可得性决定项目能不能启动;两项都不需要精确,只需要分档。
  4. 最后数成立维度。 少于四项的进观察区,四项及以上且可判定性成立的进候选区。
  5. 把打分和依据一起记录。 只记分数不记依据,下一次评审无法复算,分数会变成新的印象。

这套流程的价值在于它把争论提前了。没有表的时候,争论发生在「这个 Agent 好不好用」;有表之后,争论发生在「可判定性到底是 1 还是 0」,后者可以用材料回答,前者只能靠嗓门。

小结

  • 任务选型先于提示词优化;模型能不能做,和这件事值不值得做,是两个问题。
  • 五个维度是频次、单次耗时、可判定性、错误代价、数据可得性,每维 0/1/2 分。
  • 频次和单次耗时可以从案例事实直接算,另外三维必须按锚点做产品判断。
  • 至少四项达到 1 分及以上才进入候选;这是必要条件,不是充分条件。
  • 可判定性是一条独立否决线:它为 0 时,验收成本没有上限,其他维度再高也不能开工。
  • 三案例都是 5/5,但收益结构不同:A 靠量,B 靠单件深度,C 靠任务类型分散。
  • 高频但不可判定的任务,应该缩成可判定子任务、改成素材清单,或者降级到建议档。
  • 选型会要记录分数和依据,否则分数会变成新的印象之争。

阅读导航:上一节:1.3 aia-lab:把产品假设写成可校验的任务规格 · 下一节:2.2 三案例为什么选了这三件事 。

常见错误与边界

  1. 把可判定性等同于模型准确率。 模型准确率是能力指标,可判定性是验收指标;一个任务可以很容易被模型做出来,却很难被独立判断对错。
  2. 用高频掩盖不可判定。 频次 2 分很容易让人忽略可判定性 0 分;收益越大,越要先问「谁能在几分钟内判断它对不对」。
  3. 把五项全过当成上线许可。 五项全过只说明没有明显硬伤,不说明收益足够;还要算绝对节省、固定成本和维护摊销。
  4. 打分不留依据。 只写「可判定性 1 分」而不写判断材料,下一次评审无法复算,分数会退化成印象。
  5. 把错误代价和自主档位混为一谈。 错误代价高不等于不能做,而是要求更低的自主档和更强的回滚;选型阶段只需要把它标出来。
  6. 用平均分替代逐维判断。 五维不是同质指标,平均分会让一个可判定性 0 分的任务被高频次拉回及格线;必须逐维看,并且保留否决线。

选型表只能排除明显不成立的候选,不能替产品做最后决定。下一节会看三个已经选定的案例:它们为什么选这三件事,又主动放弃了哪些看起来更诱人的备选。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图