《AI Agent 产品开发·任务定义与能力边界》2.3 不该交给 Agent 的任务清单

有些任务再热也不该交给 Agent。本节给出四类拒做清单:不可判定验收、不可回滚且错误代价高、数据不在手、责任人无法映射;每类配一个具体场景,并说明拒绝之后如何降级为人机协作,而不是把需求原样退回给业务方。清单同时给出每条拒绝之后的降级动作,帮助团队把需求改成可验收的版本。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

选型表告诉你哪些任务可以进候选池,但候选池之外还有一类任务:它们看起来很适合 Agent,实际上连候选都不该进。这类任务的共同点不是「模型做不到」,而是「做完之后没人能负责」。产品经理如果等到上线后才拒绝,代价会高得多。

这一节给一份四类拒做清单。每一类都配一个具体场景、一条判断依据和一条降级路径。清单的目的不是把需求挡回去,而是把「不能这样做」翻译成「可以怎样做」。

拒绝清单不是保守,是风险前置

产品团队对「拒做」通常有两种误解。第一种是把它当成保守:好像拒绝一个 Agent 需求就是不支持创新。第二种是把它当成终点:拒了就完了,需求原样退回业务方,下一次换个名字再来。

两种误解都忽略了拒绝的真正作用:把风险从上线后移到评审前。一个任务如果在评审阶段被指出「验收不可判定」,团队还有时间改任务边界;如果等到上线后才发现,改的就不只是任务,还有已经投入的提示词、评测集、用户预期和流程改造。

拒做清单也不是越严越好。四类条件必须同时看具体场景:不可判定验收不等于永远不能做,而是不能按「Agent 独立完成」来做;不可回滚且错误代价高不等于不能碰,而是要先降档或先做回滚;数据不在手不等于永远不做,而是先补数据;责任人无法映射不等于任务没价值,而是先指定人。

第一类:不可判定验收

场景:判断客户情绪是否被安抚。 A Relay 处理完一张工单后,业务方希望 Agent 再判断一句:「客户现在是否已经被安抚?」这个需求听起来很自然:工单系统里有对话记录,模型可以读,读完给一个「已安抚 / 未安抚」的标签,运营团队按标签决定是否跟进。

问题在于验收。「被安抚」没有独立标准。客户说「好的谢谢」可能是真的满意,也可能是懒得继续争;客户沉默可能是问题解决了,也可能是放弃了。两个人看同一段对话,可以得出相反结论,而且都能举出证据。Agent 给出标签后,没有人能在几分钟内独立判断它对不对,只能再读一遍对话,再做一次主观判断。

这类任务不是不能做,而是不能按「Agent 独立完成」来做。可行的降级是把输出从「判断」改成「素材」:Agent 提取客户最后一轮的情绪词、未解决问题、是否要求回访,人再决定要不要跟进。这样验收就从「判断对不对」变成「字段抽得全不全」,后者可以逐条检查。

判断依据可以写成一句话:如果两个训练有素的评审者对同一输出给出相反结论,且无法用材料裁决,它就是不可判定验收。

第二类:不可回滚且错误代价高

场景:一次性大幅降价。 C Runner 已经能执行低中风险动作,业务方自然会提议:既然价格异常能识别,为什么不直接让 Agent 改价?尤其是清库存场景,晚一步降价就可能少卖一批货。

这个场景的关键不是「改价」这个动作,而是「一次性大幅降价」这个组合。改价本身可以回滚,但如果降幅很大、又被竞品或用户截图传播,回滚价格并不能回滚已经发生的购买和舆论。案例设定里,C 的错误中 86% 可回滚,不可回滚错误率是 0.238%;这 0.238% 就是这类动作要单独处理的原因。

判断依据不是「错误率低就可以做」,而是「最坏后果能不能承受」。如果最坏后果是资金损失、客户流失或法律风险,即使概率很低,也不该放在自动执行档。可行的降级是:Agent 只生成降价建议和影响范围,人确认后执行;或者把动作限制在可回滚的小幅调整,大幅降价走人工审批。

这类任务还有一个变种:动作本身可回滚,但回滚成本高于人工执行成本。比如批量下架大批商品,重新上架需要逐条核对;这时「可回滚」只是理论上的,实际回滚代价已经超过让人工慢慢做。判断时要问的是「回滚要多久、要多少人」,而不是「有没有回滚按钮」。

第三类:数据不在手

场景:跨客户行业基准对比。 B Quill 的客户报告里,客户经常问:「我们的转化率在行业里算什么水平?」业务方希望 Agent 直接生成行业基准对比。这个需求在报告里很有价值,也能明显提升报告的差异化。

但数据不在手。B 的每个客户数据包只覆盖自己的业务,行业基准需要额外的数据授权、脱敏和统计口径对齐。没有这些数据,Agent 只能编一个「行业平均」或者从公开信息里猜一个数。前者是伪造,后者是不可靠;两种都会让报告的事实错误率上升,而 B 的事实错误率已经是 4.6%。

判断依据是:完成任务所需的关键数据,是否在系统内、有明确来源、有使用授权。 三者缺一,就不该按「自动生成」来做。可行的降级是先做数据管道:明确基准数据的来源、口径、更新频率和授权范围;在数据到位之前,Agent 只做「客户自身同比环比」,不做跨客户对比。

数据不在手还有两种常见伪装。第一种是「数据在,但格式不稳定」,比如每个客户的数据包字段都不一样;这时的降级是先做字段映射和校验,而不是让模型猜。第二种是「数据在,但不能用」,比如包含个人信息或客户机密;这时的降级是先脱敏或改用聚合数据,而不是先上线再说。

第四类:责任人无法映射

场景:跨部门共享报表润色。 一个跨部门报表由市场、销售、财务共同维护,业务方希望 Agent 统一润色措辞、统一口径、自动生成摘要。任务本身可判定,数据也在系统内,错误代价也不高,但它有一个致命问题:出错了谁负责?

如果 Agent 把销售额口径写错,市场说数据是销售给的,销售说润色是 Agent 做的,财务说报表不是自己发布的。没有人能对最终输出负责,也没有人能决定「以哪个口径为准」。这不是技术问题,是责任映射问题;Agent 越自动,责任越容易蒸发。

判断依据是:每个任务都要能映射到一个具体的业务责任人和一个具体的发布者。 责任人不是「某个团队」,而是能拍板口径、能承担后果的人。找不到这个人,任务就不该启动;找到了,还要写清他在哪个环节确认、确认什么。

可行的降级是先做「单部门版本」:只润色某一个部门负责的章节,责任人和发布者都明确;跨部门汇总仍由人做。等单部门版本跑稳,再讨论跨部门口径,而不是一开始就让 Agent 处理一个没有主人的报表。

拒绝之后还能做什么

四类拒绝都对应一条降级路径。降级不是把需求打折,而是把任务改成一个责任边界清楚、可以验收的版本。

拒绝类型不能怎么做可以怎么做降级后的输出形态
不可判定验收Agent 独立判断「客户是否被安抚」提取情绪词、未解决问题、回访请求素材清单
不可回滚且代价高Agent 自动执行大幅降价生成建议与影响范围,人确认后执行建议
数据不在手Agent 编造行业基准先做客户自身同比环比,补数据后再扩展单客户分析
责任人无法映射Agent 直接发布跨部门报表只处理单部门章节,责任人与发布者明确部门草稿

这张表有一个共同结构:把「判断」降成「素材」,把「执行」降成「建议」,把「跨域」降成「单域」,把「无主」降成「有主」。四条降级路径都不需要模型变强,只需要产品把责任边界重新画一遍。

降级之后,任务可能仍然值得做,只是自主档更低、收益更小。这不是失败,而是选型的正常结果。一个只能做到建议档的任务,如果频次高、耗时长、可判定,仍然可能比一个勉强做到执行档的任务更有价值。

代码:四类拒绝与四条退路

把四类拒绝写成分类器,输入是一个任务画像,输出是拒绝理由和对应的降级路径。分类器不判断任务好不好,只判断它是否触发四类硬条件。

// file: src/task/02-3-reject-list.ts
// tier: L2
// verify: node --test test/task/02-3-reject-list.test.ts

// 四类不该交给 Agent 的任务:不可判定、不可回滚且代价高、数据不在手、没有责任人。
// 拒绝不是终点:每一类都给一条降级为人机协作的退路。

export type RejectReason =
  | "unverifiable"
  | "irreversible-high-cost"
  | "data-not-in-hand"
  | "no-accountable-owner";

export const REJECT_REASONS: readonly RejectReason[] = [
  "unverifiable",
  "irreversible-high-cost",
  "data-not-in-hand",
  "no-accountable-owner",
];

export const REJECT_LABEL: Record<RejectReason, string> = {
  unverifiable: "不可判定验收",
  "irreversible-high-cost": "不可回滚且错误代价高",
  "data-not-in-hand": "数据不在手",
  "no-accountable-owner": "责任人无法映射",
};

export const FALLBACK: Record<RejectReason, string> = {
  unverifiable:
    "先写出可判定的验收标准;写不出来就降级为人工判断,不让 Agent 独立完成",
  "irreversible-high-cost":
    "降为建议档,由人执行;或者先做到可回滚再放行",
  "data-not-in-hand":
    "先补数据管道,或者把任务缩到只读检查",
  "no-accountable-owner":
    "先指定业务责任人,否则不启动",
};

export type AcceptanceKind = "machine" | "sampling" | "opinion";
export type ErrorCost = "low" | "medium" | "high";
export type DataState = "in-system" | "partial" | "missing";

export type TaskProfile = {
  readonly name: string;
  readonly acceptance: AcceptanceKind;
  readonly reversible: boolean;
  readonly errorCost: ErrorCost;
  readonly data: DataState;
  readonly owner: string | null;
};

export type Rejection = {
  readonly rejected: boolean;
  readonly reasons: readonly RejectReason[];
  readonly fallbacks: readonly string[];
};

export function classify(task: TaskProfile): Rejection {
  const reasons: RejectReason[] = [];
  if (task.acceptance === "opinion") reasons.push("unverifiable");
  if (!task.reversible && task.errorCost === "high") {
    reasons.push("irreversible-high-cost");
  }
  if (task.data === "missing") reasons.push("data-not-in-hand");
  if (task.owner === null || task.owner.trim() === "") {
    reasons.push("no-accountable-owner");
  }
  return {
    rejected: reasons.length > 0,
    reasons,
    fallbacks: reasons.map((reason) => FALLBACK[reason]),
  };
}

// 四类场景各一个,数字与案例事实表一致;这里只判断该不该拒。
export const SCENARIOS: Record<RejectReason, TaskProfile> = {
  unverifiable: {
    name: "判断客户情绪是否被安抚",
    acceptance: "opinion",
    reversible: true,
    errorCost: "low",
    data: "in-system",
    owner: "支持团队",
  },
  "irreversible-high-cost": {
    name: "一次性大幅降价",
    acceptance: "machine",
    reversible: false,
    errorCost: "high",
    data: "in-system",
    owner: "运营团队",
  },
  "data-not-in-hand": {
    name: "跨客户行业基准对比",
    acceptance: "sampling",
    reversible: true,
    errorCost: "medium",
    data: "missing",
    owner: "咨询团队",
  },
  "no-accountable-owner": {
    name: "跨部门共享报表润色",
    acceptance: "sampling",
    reversible: true,
    errorCost: "medium",
    data: "in-system",
    owner: null,
  },
};

// 一个四类都不触发的任务,用来验证分类器不会把正常任务也拒掉。
export const CLEAN_TASK: TaskProfile = {
  name: "工单分诊建议",
  acceptance: "machine",
  reversible: true,
  errorCost: "medium",
  data: "in-system",
  owner: "支持团队",
};

export function reasonsOf(task: TaskProfile): readonly RejectReason[] {
  return classify(task).reasons;
}

代码里的 classify() 按顺序检查四个条件,命中几个就返回几个理由。顺序不影响结果,但会影响阅读:不可判定验收放第一位,因为它是四类里最容易被忽略的;不可回滚且代价高放第二位,因为它决定自主档;数据不在手和责任人无法映射放最后,因为它们更像项目启动条件。

FALLBACK 把每条理由映射到一条降级路径。降级路径不是「建议业务方再想想」,而是具体的动作:写可判定标准、降为建议档、补数据管道、指定责任人。这样拒绝才不会变成踢皮球。

SCENARIOS 里的四个场景对应文章里的四段。它们不是三个案例的完整复制,而是从三个案例里抽出的边界情况:A 的情绪判断、C 的大幅降价、B 的跨客户基准、以及一个跨部门报表。这样安排是为了说明:同一家公司,同一个 Agent,换一个任务边界就可能从「可做」变成「不该做」。

评审会上怎么用

拒做清单不适合在评审会最后拿出来「一票否决」,那样会让团队觉得被突袭。更好的用法是在候选任务进入详细设计之前,先用四类条件过一遍:

  1. 先问验收。 谁能在一周内独立判断这个输出对不对?如果答案需要开两次会,先别做。
  2. 再问最坏后果。 如果动作错了,最坏会发生什么?能不能回滚?回滚要多久?
  3. 再问数据。 关键数据在不在系统内?有没有来源、口径和授权?
  4. 最后问责任人。 出错了谁拍板、谁发布、谁承担?如果找不到具体的人,先别启动。
  5. 把拒绝理由和降级路径一起记录。 只写「不做」没有用,要写「不这样做,可以怎样做」。

这套顺序和 2.1 的五维打分是互补的:五维打分回答「值不值得做」,拒做清单回答「能不能按这个方式做」。一个任务可以五维全过,但仍然触发拒做条件;这时不是放弃任务,而是改任务边界或降档。

小结

  • 拒做清单的作用是把风险从上线后移到评审前,不是把需求挡回去。
  • 四类条件:不可判定验收、不可回滚且错误代价高、数据不在手、责任人无法映射。
  • 不可判定验收的判断标准是:两个评审者对同一输出给出相反结论,且无法用材料裁决。
  • 不可回滚且代价高的判断标准是最坏后果能否承受,不是错误率低不低。
  • 数据不在手要看三件事:数据在不在系统内、有没有来源、有没有使用授权。
  • 责任人无法映射时,先找到能拍板口径和承担后果的人,再谈自动化。
  • 每条拒绝都要配一条降级路径:判断降素材、执行降建议、跨域降单域、无主降有主。

阅读导航:上一节:2.2 三案例为什么选了这三件事 · 下一节:3.1 任务规格的四要素 。

常见错误与边界

  1. 把「不可判定」当成「模型不够强」。 模型再强,也不能替人定义「被安抚」的标准;不可判定是验收问题,不是能力问题。
  2. 用低错误率给高风险动作背书。 0.238% 的不可回滚错误率看起来很低,但乘以 13,200 个任务就不是小数;高风险动作要看最坏后果,不看平均表现。
  3. 把「数据在系统里」当成「数据可用」。 数据在系统内,但格式不稳定、口径不一致、没有授权,仍然属于数据不在手。
  4. 用团队名字代替责任人。 「市场部负责」不是责任人;找不到能拍板口径、承担后果的具体人,就不该启动。
  5. 拒绝之后不写降级路径。 只说「不做」会把问题退回业务方,下一次换个名字再来;要写清「不这样做,可以怎样做」。
  6. 把拒做清单当成一次性检查。 任务边界一变,四类条件要重新过一遍;今天的建议档任务,明天扩了动作范围,可能就触发了不可回滚条件。

第 2 章到这里结束。选型回答了「做什么、不做什么」,第 3 章开始回答「怎么把要做的事写清楚」,第一件事是把任务规格拆成四个必须写清的要素。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图