《AI Agent 产品开发·任务定义与能力边界》1.1 一个功能叫 Agent 需要跨过哪四条线

聊天框不等于 Agent。本节给出多步自主、工具调用、状态延续、可观察失败四条判定线,逐条说明判定问题与缺失后的退化形态,用 A Relay、B Quill、C Runner 三个案例各对照一次,并给出把功能升级为 Agent 的最小路径与可运行的 TypeScript 判定函数。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

现在几乎每个带大模型的产品都会在某个版本里加上「Agent」这个词。打开介绍页,看到的是聊天框、几个建议按钮和一句「它能帮你完成任务」。但聊天框只能证明产品会说话,不能证明它接住了一段工作。判断一个功能该不该叫 Agent,不需要看模型参数,也不需要看演示视频,只需要问四个问题。

这四个问题就是本章的四条分界线:多步自主、工具调用、状态延续、可观察失败。它们是并列的必要条件,不是成熟度加分项。四条全过,才有资格谈 Agent;缺一条,产品就退回到某种功能形态,只是外面套了一个对话界面。

四条线分别问什么

先把四条线拆成可回答的问题。每一条都要能用「是/否」回答,而不是用「效果不错」回答。

分界线判定问题通过的样子缺失后是什么
多步自主它是否自己决定下一步,而不是一次生成就结束能根据中间结果调整后续步骤单次分类器或提示模板
工具调用它是否能读写外部系统,而不只是输出文本能查数据、改状态、触发动作没有副作用的文本生成器
状态延续中间结果是否跨步骤保留,并且可被检查任务状态可读取、可交接、可重试无状态问答框
可观察失败出错时能否定位到哪一步、哪个输入、哪个动作每个关键步骤留下可核对的信号黑盒自动化

多步自主的关键不是「步骤多」,而是「下一步由它决定」。把一段提示词拆成三个依次调用的模板,仍然是流水线,不是自主:每一步的输入输出都被人提前写死,中间出现意外时没有分支。真正的多步,是它能根据第一步的结果决定第二步做什么,并且在结果不符合预期时改变计划。

工具调用的关键不是「调用了 API」,而是「有没有副作用」。只读检索让模型看到更多文本,本质上还是增强上下文;能写工单字段、改价格、发通知,才叫改变了外部状态。读写要分开看:一个只能读的 Agent 不会造成资金损失,一个能写的 Agent 必须有权限面和回滚设计。

状态延续的关键不是「有聊天记录」,而是「任务状态可被外部读取」。聊天记录是给用户看的,任务状态是给系统和人交接用的。一个任务跑到一半换人接手,接手的人能不能知道它已经做了哪几步、还差哪几步、依据是什么,这才是状态延续的判定标准。

可观察失败的关键不是「有日志」,而是「日志能回答哪一步错了」。日志里写满「调用成功」没有用,必须能回答:它当时看到了什么输入、做了什么判断、执行了什么动作、能不能撤回。没有这一条,错误不会在发生时被发现,只会在客户投诉时被发现。

为什么很多「Agent」只满足一条

演示环境天然偏向可见的两条线。多步自主可以在一次五分钟的演示里演出来,工具调用可以现场点一个按钮;状态延续和可观察失败只有在长任务、换人接手、出错复盘时才会暴露。于是产品介绍会放大前两条,略过后两条,而恰恰是后两条决定它能不能上线。

常见的缺线形态,从只满足一条到看似满足三条:

产品说法实际满足实际缺失真实形态
「会自己查资料回答」工具调用(只读)多步、状态、失败可观察检索增强问答
「一句话生成周报」无(单次生成)多步、工具、状态、失败可观察文档生成器
「自动处理退款」多步、工具调用状态、失败可观察高风险脚本
「记住你的偏好」状态(会话级)多步、工具调用、失败可观察个性化聊天
「全自动运营助手」多步、工具调用、状态失败可观察黑盒自动化

这张表里最危险的是最后一行。前四条缺失时,产品能力有限,用户很快能感知边界;最后一行看起来什么都会,出错时却没人说得清它做了什么。C Runner(Kettle 的电商运营任务执行 Agent)把「可观察失败」当作硬约束,原因就在这里:它能改价格、改库存、下架商品,一旦错误不可回滚,节省下来的时间会被一次事故全部吃掉。案例设定里,C 的错误中 86% 可回滚,不可回滚错误率是 0.238%,这两个数字不是装饰,是它能进入执行档的前提。

还有一种更隐蔽的情况:模型变强之后,一次生成就能「看起来」完成多步。比如让模型读完工单直接输出队列、优先级和模板编号,表面上一步到位。但这仍然是单步决策,只是把四步压进了一次推理。它没有中间状态,也无法在第二步发现第一步错了。演示里它很快,生产里它无法被审计。

用三个案例各对照一次

三个案例都跨过了四条线,但跨过的方式不同。把它们并排看,可以避免把「四条线」误解成「四种能力等级」。

分界线A RelayB QuillC Runner
多步自主分类、路由、定级、选模板读数据包、列提纲、写正文、渲染图表发现异常、判断严重度、执行、记录
工具调用读工单,写队列与优先级,取模板读数据包,渲染图表,写 Markdown读商品目录,改价格或库存,发通知
状态延续工单上下文跨四步保留12–20 页草稿的章节状态保留任务号与前后值在运行后仍可查
可观察失败每条建议都带队列、优先级、模板号每节带来源与事实核查清单审计日志保留回滚句柄

A Relay(Northwind 的客服工单分诊 Agent)月工单量 26,400 单,人工分诊基线 3.5 分钟一单。它每次只给建议,人确认后才进入下一步。四条线它都过,但自主档是「建议」,因为分诊错误会影响客户体验和 SLA 承诺。这说明四条线回答的是「它是不是 Agent」,不回答「它该自主到哪一步」。后者是定档问题,要看错误代价、可回滚性、审计有效性和时延容忍,第 6 章 会展开。

B Quill(Meridian 的客户报告起草 Agent)月报告量 606 份,人工基线 4.2 小时一份。它的多步体现在一份 12–20 页报告的生成过程,状态延续体现在章节之间不能互相矛盾,可观察失败体现在每一节都要能追到数据包。它的产出是草稿,人审改后才发布,所以「可观察失败」不仅是为了复盘,也是审改本身的工作界面。

C Runner 月任务量 13,200 个,人工基线 18 分钟一个。它的四条线最完整,也最危险:工具调用会真实改变外部状态,所以状态延续必须记录前后值,可观察失败必须带审计和回滚。三个案例的自主档分别是建议、草稿、执行,但四条线的数量都是四条。不要因为 C 更自动,就以为它多了几条线;它只是把同样的四条线压到了更靠后的责任位置。

缺一条线会退化成什么

四条线不是「有更好、没有也能用」的选项。每缺一条,产品的形态都会发生一次质变。做产品评审时,可以用下面这张表直接命名退化后的东西。

缺失退化形态产品后果
多步自主单次分类器或提示模板遇到意外无法改计划,错误只能重跑
工具调用纯文本生成器结果要人复制到系统里,价值停在建议层
状态延续无状态问答框长任务换人即断,重试从零开始
可观察失败黑盒自动化出错无法定位、无法审计、无法回滚

如果只缺「工具调用」,产品仍然可能很有价值,比如一个把工单摘要写得很好的助手;但它不应该被描述成能「处理工单」,因为它没有改变任何工单状态。如果只缺「可观察失败」,产品在顺利时看起来最像 Agent,在出错时最像事故。C Runner 的审计抽检比例是 8%,单次复核 12 分钟,折合每个任务 0.96 分钟;这 0.96 分钟就是它为了「可观察失败」支付的固定成本。没有这笔成本,它省下的 18 分钟里有一部分是借来的。

如果只缺「状态延续」,最常见的表现是:用户让 Agent 做三步,第一步做完后它忘了第二步的输入,用户不得不把同一份材料再贴一遍。产品团队通常会把这归因于「模型上下文不够长」,但真正的问题是任务状态没有落在模型之外。上下文长度解决的是「一次能看多少」,状态延续解决的是「换一次运行还能不能接上」。

如果只缺「多步自主」,产品往往是一个很好用的单点工具。它不应该被批评为「不够 Agent」,而应该被诚实地命名为分类器、提取器或生成器。问题不在于形态低,而在于用 Agent 的名字卖一个单点功能,用户会按 Agent 的预期使用它,然后在第二个步骤上失望。

把四条线写成判定函数

下面这个模型把四条线做成一个可运行的判定函数。输入是四个布尔值,输出是是否构成 Agent、过了几条、缺了哪几条,以及缺线后退化成的形态。三个案例的证据也写在同一个文件里,方便在评审会上直接对照。

// file: src/task/01-1-four-lines.ts
// tier: L2
// verify: node --test test/task/01-1-four-lines.test.ts

// 四条分界线:四项全过才是 Agent,任一缺失给出降级形态。
// 这里只做形态判定,不计算任务量;任务量留给任务规格与时间账。

export type LineName =
  | "multi-step"
  | "tool-calling"
  | "state-continuity"
  | "observable-failure";

export type FourLines = Record<LineName, boolean>;

export const LINE_ORDER: readonly LineName[] = [
  "multi-step",
  "tool-calling",
  "state-continuity",
  "observable-failure",
];

export const LINE_LABEL: Record<LineName, string> = {
  "multi-step": "multi-step autonomy",
  "tool-calling": "tool calling",
  "state-continuity": "state continuity",
  "observable-failure": "observable failure",
};

// 缺一条线,产品实际退化成什么。文章用它解释「为什么它只是个功能」。
export const LOWERED_TO: Record<LineName, string> = {
  "multi-step": "a single-shot classifier or a prompt template",
  "tool-calling": "a text generator with no side effects",
  "state-continuity": "a stateless question-answering box",
  "observable-failure": "a black-box automation",
};

export type Verdict = {
  readonly isAgent: boolean;
  readonly passed: number;
  readonly missing: readonly LineName[];
  readonly loweredTo: readonly string[];
};

export function assessFeature(lines: FourLines): Verdict {
  const missing = LINE_ORDER.filter((name) => !lines[name]);
  return {
    isAgent: missing.length === 0,
    passed: LINE_ORDER.length - missing.length,
    missing,
    loweredTo: missing.map((name) => LOWERED_TO[name]),
  };
}

// 补齐顺序:默认按 LINE_ORDER 返回第一条缺失的线;
// 调用方可以传入自己的优先级,比如先补可观察性。
export function nextLineToAdd(
  verdict: Verdict,
  priority: readonly LineName[] = LINE_ORDER,
): LineName | null {
  for (const name of priority) {
    if (verdict.missing.includes(name)) return name;
  }
  return null;
}

export type LineEvidence = {
  readonly pass: boolean;
  readonly note: string;
};

export type CaseEvidence = Record<LineName, LineEvidence>;

// 三案例不是能力递增,而是责任分配不同;四条线它们都过。
export const CASE_EVIDENCE: Record<"A" | "B" | "C", CaseEvidence> = {
  A: {
    "multi-step": {
      pass: true,
      note: "classify, route, prioritize, then pick a reply template",
    },
    "tool-calling": {
      pass: true,
      note: "reads the ticket, writes queue and priority, fetches the template",
    },
    "state-continuity": {
      pass: true,
      note: "ticket context is held across all four steps",
    },
    "observable-failure": {
      pass: true,
      note: "every suggestion exposes queue, priority and template id",
    },
  },
  B: {
    "multi-step": {
      pass: true,
      note: "ingest data pack, outline, draft sections, render charts",
    },
    "tool-calling": {
      pass: true,
      note: "reads the data pack, renders charts, writes markdown",
    },
    "state-continuity": {
      pass: true,
      note: "report state is held across a 12 to 20 page draft",
    },
    "observable-failure": {
      pass: true,
      note: "each section carries a source and a fact-check list",
    },
  },
  C: {
    "multi-step": {
      pass: true,
      note: "detect the exception, judge severity, act, then log",
    },
    "tool-calling": {
      pass: true,
      note: "reads the catalog, writes price or stock, sends notice",
    },
    "state-continuity": {
      pass: true,
      note: "task id plus before and after values survive the run",
    },
    "observable-failure": {
      pass: true,
      note: "audit log keeps a rollback handle for every action",
    },
  },
};

export function toFourLines(evidence: CaseEvidence): FourLines {
  return {
    "multi-step": evidence["multi-step"].pass,
    "tool-calling": evidence["tool-calling"].pass,
    "state-continuity": evidence["state-continuity"].pass,
    "observable-failure": evidence["observable-failure"].pass,
  };
}

export const CASE_LINES: Record<"A" | "B" | "C", FourLines> = {
  A: toFourLines(CASE_EVIDENCE.A),
  B: toFourLines(CASE_EVIDENCE.B),
  C: toFourLines(CASE_EVIDENCE.C),
};

assessFeature 只做一件事:按固定顺序检查四条线,把缺失项和对应的退化形态一起返回。nextLineToAdd 回答「先补哪条」:默认按多步、工具、状态、可观察的顺序返回第一条缺失线,调用方也可以传入自己的优先级。比如一个已经能读写系统、但出错无法定位的产品,应该优先补可观察失败,而不是继续加步骤。

把三个案例代入,结果都是 4/4、isAgent 为 true。这个结果不说明它们成熟,只说明它们有资格进入 Agent 产品的讨论。真正的差异在后面的任务规格、自主定档和接管成本里。模型的价值不是给产品发证书,而是让「它到底是不是 Agent」这个问题有一个可以复算的答案。如果你还没见过一个最小 Agent 引擎的执行循环,站内的 AI Agent 开发入门 从 while 循环写起,可以先补上实现直觉;本书不重复实现,只讨论这四条线在产品上的判定。

从功能升级为 Agent 的最小路径

如果一个功能现在只过了一两条线,不要一次性补四条。按下面的顺序做,每一步都能独立验收:

  1. 选一个有基线的工作。 A 的 3.5 分钟、B 的 4.2 小时、C 的 18 分钟都是可复算的人工基线。没有基线,后面无法判断补线是否值得。
  2. 把工作拆成可观察的步骤。 每一步写清输入、输出和判断依据。拆不出步骤,说明它还不是一个任务。
  3. 给每一步最小工具面。 先只读,再写;写操作必须有权限清单和回滚方案。工具越多不等于越自主。
  4. 把状态放在模型之外。 任务号、已完成步骤、中间结论、下一步计划都要能被读取和交接。
  5. 为每个失败点写信号。 至少回答:错在哪一步、看到了什么、做了什么、能不能撤回。
  6. 写成一页任务规格。 四条线是入场券,规格才是可交付物。下一节会区分能力演示与真正接手,1.3 会把规格写成可校验的结构。

这六步不是瀑布流程,可以并行,但验收顺序不能反。先补可观察失败再加入更多工具,比先加工具再补审计安全得多。C Runner 的放量顺序也是这个逻辑:先影子运行,再执行 5% 低风险动作,再扩到 20%,而不是一上来就全量执行。

小结

  • 四条分界线是并列的必要条件:多步自主、工具调用、状态延续、可观察失败,缺一条就降级为功能。
  • 多步自主看「下一步由谁决定」,不看步骤数量;把四个模板串起来仍然是流水线。
  • 工具调用看「有没有副作用」,只读检索增强不等于能改变外部状态。
  • 状态延续看「任务状态能否被外部读取和交接」,聊天记录不等于任务状态。
  • 可观察失败看「日志能否回答哪一步错了」,有日志不等于能定位。
  • A Relay、B Quill、C Runner 都过四条线,差异在自主档和责任分配,不在线条数量。
  • 演示环境放大可见的两条线,生产环境由不可见的两条线决定成败。
  • 缺线不可怕,可怕的是用 Agent 的名字卖一个单点功能,让用户按错误的预期使用它。

阅读导航:上一节:目录与学习路径 · 下一节:1.2 能力演示与接手一段工作的差别 。

常见错误与边界

  1. 把多步等同于多次调用。 连续调用三个固定模板仍然是流水线;判定标准是下一步是否根据中间结果变化,而不是调用次数。
  2. 把检索当成工具调用。 只读搜索只改变模型看到的上下文,不改变外部系统状态;能写工单、改价格、发通知才需要权限面和回滚设计。
  3. 把聊天历史当成任务状态。 聊天记录服务于对话,任务状态服务于交接和重试;换一个会话就丢失的上下文不算状态延续。
  4. 把日志当成可观察失败。 日志记录「调用成功」没有用,必须能回答输入、判断、动作和撤回范围;否则事故发生后仍然无法定位。
  5. 用模型能力掩盖缺线。 强模型可以一次生成看起来像多步的结果,但它没有中间状态,也无法在第二步发现第一步错了。
  6. 把四条线当成成熟度评分。 四条线只有过与不过,不区分 3 分和 4 分;成熟度要看任务规格、接管成本和放量记录。

这一节只回答「它是不是 Agent」。下一节要回答一个更接近产品的问题:能力演示和接手一段工作,差别到底在哪里。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图