《AI Agent 技术原理与架构·模型、推理与能力边界》1.2 三条主线:能力线、决策线、执行线

同一句“Agent 不稳定”,缺的可能是模型能力卡、决策轨迹,也可能是崩溃恢复证据。本节把能力线、决策线、执行线拆成三组可检查的证据要求,给出能力到决策、决策到执行的交接条件,并用一个审计实验说明:结论挂在错误的主线上,即使方向正确也无法被证伪。

以下工作负载、预算与数字均为教学假设,不构成对任何真实产品、供应商或生产系统的承诺。

上一节画了四层技术栈:模型、决策、运行时、系统。层回答“故障在哪里”,但没有回答“凭什么说这条结论成立”。同一个层里可以同时存在三种完全不同的主张:

  • “这个模型能在长文档里找到中间位置的事实。”这是能力主张。
  • “先检索再回答比一次性回答更准。”这是决策主张。
  • “工具调用失败后重试不会重复扣款。”这是执行主张。

三句话都可能为真,但证明方式完全不同。能力主张需要评测集和失败样本;决策主张需要反事实实验和完整轨迹;执行主张需要状态机与故障注入。把三者混在一起,最常见的后果不是结论错,而是结论无法被证伪:团队说“加了反思后效果更好”,却说不清好在哪里、在哪种任务上好、失败时长什么样。

这一节把三条主线拆开,定义每条线必须交付的证据,以及三条线之间如何交接。1.3 再把它们压缩成统一的判据格式。

为什么一条主线不够

先看一个真实的争论。某团队要上线一个代码修复 Agent,评审会上有三条反对意见:

  1. “模型能力不够,连单元测试都读不懂。”
  2. “Agent 规划不行,改了三处就开始乱改。”
  3. “执行不可靠,重跑一次会把已经提交的补丁再提交一遍。”

这三条意见分别落在能力线、决策线、执行线。它们不能用同一份证据回应:

  • 回应第一条,需要一份能力卡:模型在哪些语言、哪些测试框架、哪些错误类型上通过率是多少,失败的样本长什么样。
  • 回应第二条,需要轨迹:Agent 在第几步决定改哪个文件、依据是什么、哪一步开始偏离目标。只看最终 diff 看不出规划问题。
  • 回应第三条,需要故障注入:在“补丁已提交、状态未持久化”时杀掉进程,看重新执行会不会产生第二个提交。

如果团队只准备了一份“端到端成功率 62%”的报表,三条意见都无法回应。62% 是结果,不是归因;它不能告诉你 38% 的失败里,多少是模型不会、多少是策略走偏、多少是执行重复。

三条主线的价值就在这里:它强迫每条结论先声明自己属于哪类主张,再按那类主张的标准交付证据。

能力线:先证明边界

能力线回答的问题是:模型到底能做什么,不能做什么。

它最容易出现的退化是“榜单代替能力”。榜单测的是榜单上的任务,不是你的任务。一个模型在代码榜单上得分很高,不代表它能读懂你仓库里的领域抽象;一个模型在长上下文榜单上得分很高,不代表它能在你的文档结构里定位到中间段落。能力线的证据必须包含三件事:

证据回答什么缺失后的后果
benchmark在公开任务上的相对水平只能凭感觉选型
failure_set在你的任务上,失败长什么样不知道边界在哪里,无法设计降级
capability_card能力、限制、适用负载与版本承诺了模型做不到的事

其中 failure_set 最容易被省略,也最不该省略。原因很简单:能力卡上的“通过率 80%”不能指导架构,失败样本才能。比如同样是 80%,如果失败集中在“材料不足时仍然编造引用”,架构上就要加引用校验和拒答策略;如果失败集中在“工具参数格式错误”,架构上就要加 schema 校验和重试。两种失败对应完全不同的系统设计。

能力线的边界还有一条:能力不是单调的。 模型在短上下文上更强,不代表在长上下文上同样强;在单轮问答上更稳,不代表在 40 步工具调用里更稳。能力卡必须把“在什么条件下测的”写清楚,否则通过率只是一个脱离语境的数字。

能力线的产物会交给决策线,交接条件是:能力卡里明确写出“策略可以依赖什么、不能依赖什么”。 如果能力卡说“模型在材料不足时倾向于编造”,决策线就不能把“模型会自己说不知道”当成终止条件;它必须显式安排检索或澄清步骤。

决策线:先证明可证伪

决策线回答的问题是:Agent 如何根据观测选择动作。

它最容易出现的退化是“成功案例代替策略”。团队展示一条漂亮的轨迹:Agent 先搜索、再读文件、再修改、再跑测试,最后成功。这条轨迹证明系统能成功一次,但不能证明策略在别的观测下也成立。决策线的证据同样需要三件事:

证据回答什么缺失后的后果
formal_model状态、观测、动作、目标是什么说不清策略在优化什么
counterfactual改变一个变量,结果怎么变无法判断收益来自哪个设计
trajectory每一步看到了什么、为什么这么选失败无法归因,只能重跑

counterfactual 是决策线的核心。比如“ReAct 比一次性生成更好”不是结论,除非你能给出对照:同样的模型、同样的任务、同样的预算,只改变“是否允许中间观测”,看成功率、步数和成本怎么变。如果 ReAct 多花了三倍 token 只换来两个百分点提升,这个结论在 W1 的成本预算下可能不成立。

trajectory 则是失败归因的前提。没有轨迹,你只知道“失败了”;有轨迹,你才能判断是观测没拿到、动作选错了、还是终止条件太早触发。轨迹不需要记录模型的全部思维过程,但必须记录可复核的决策输入:当前目标、可用工具、上一步结果、最终动作。

决策线的边界是:策略的收益依赖观测质量。 如果观测本身有噪声或缺失,再好的策略也只能在信念空间里做次优选择。这一点会在卷二用 POMDP 展开;在卷一,只需要记住:决策线的证据必须说明观测条件,否则“策略更好”可能只是“这次观测更走运”。

决策线交给执行线的产物是计划或动作序列,交接条件是:每个动作都有明确的成功条件、失败条件和终止条件。 如果计划里只有“调用工具”,没有“工具返回什么算成功、超时怎么办、连续失败几次放弃”,执行线就无法判断该重试还是该停。

执行线:先证明崩溃后

执行线回答的问题是:动作如何被执行、恢复与终止。

它最容易出现的退化是“正常路径代替可靠性”。演示时一切顺利:调用工具、拿到结果、更新状态、返回成功。但生产系统的差异几乎都发生在异常路径:进程崩了、响应丢了、同一个任务被两个 worker 领走、用户点了取消。执行线的证据需要三件事:

证据回答什么缺失后的后果
state_machine有哪些状态、允许哪些转移、终态是什么非法路径无法被拒绝
fault_injection在每个崩溃点重启,会发生什么重复副作用、丢状态无法提前发现
event_log哪些事实已经发生、能否重放崩溃后只能猜走到哪一步

执行线的核心不是“加重试”,而是“知道哪些事实已经发生”。重试只能解决“没执行”的情况;如果副作用已经发生、结果没记录,重试会制造第二次副作用。事件日志回答“发生过什么”,幂等键回答“能不能再做一次”,CAS 回答“能不能覆盖当前状态”。这三件事缺一不可。

执行线交给系统线的产物是可靠的动作接口,交接条件是:每个副作用都有唯一键、每个状态转移都可重放、每个终态都不可复活。 系统线才能在此基础上做审批、配额、多租户和跨 Agent 协调;否则上层加多少治理,都挡不住底层的重复执行。

三条线如何交接

三条主线不是三个独立章节,而是一条证据链。任何一条链断了,后面的结论都会变成“看起来合理”。

交接上游必须给出下游据此决定常见断点
能力 → 决策能力卡与失败样本策略可以依赖哪些能力、必须补哪些步骤策略假设模型会拒答,但能力卡显示它倾向于编造
决策 → 执行带成功/失败/终止条件的动作状态机、重试策略、补偿方案计划只有动作,没有失败条件
执行 → 系统幂等键、事件日志、终态审批、配额、跨 Agent 协调没有幂等键,系统层只能靠人工对账

这张表也可以反过来用于定位评审意见。听到“模型不行”,先问能力卡;听到“策略不行”,先问轨迹和对照;听到“系统不稳定”,先问崩溃点和事件日志。主线的作用不是分类,而是决定下一步该要哪份证据。

最小实验:审计三条主线

下面的实验把三条主线写成一个审计器。它不评价结论对不对,只检查一条结论是否具备所属主线的证据类型。这个区分很重要:审计器通过,不代表结论为真;审计器不通过,说明这条结论还没有资格进入评审。

# file: agp_lab/three_lines.py | write
# tier: 1
# verify: python3 -m unittest tests.test_three_lines
"""能力线、决策线与执行线的交接审计。"""
from __future__ import annotations

from dataclasses import dataclass


@dataclass(frozen=True)
class Line:
    key: str
    name: str
    question: str
    evidence: tuple[str, ...]
    owner: str


@dataclass(frozen=True)
class Claim:
    key: str
    line: str
    statement: str
    evidence: tuple[str, ...]
    workloads: tuple[str, ...]


LINES = (
    Line("capability", "能力线", "模型到底能做什么",
         ("benchmark", "failure_set", "capability_card"), "L1"),
    Line("decision", "决策线", "Agent 如何选择动作",
         ("formal_model", "counterfactual", "trajectory"), "L2"),
    Line("execution", "执行线", "动作如何可靠执行",
         ("state_machine", "fault_injection", "event_log"), "L3/L4"),
)

WORKLOADS = ("W1", "W2", "W3")


def validate_claim(claim: Claim) -> list[str]:
    """检查一条结论是否具备所属主线的全部证据类型。"""
    errors: list[str] = []
    line = next((item for item in LINES if item.key == claim.line), None)
    if line is None:
        errors.append(f"{claim.key}: 未知主线 {claim.line}")
    else:
        missing = [kind for kind in line.evidence if kind not in claim.evidence]
        if missing:
            errors.append(f"{claim.key}: {line.name}缺证据 {missing}")
    unknown = [key for key in claim.workloads if key not in WORKLOADS]
    if unknown:
        errors.append(f"{claim.key}: 未知负载 {unknown}")
    if not claim.workloads:
        errors.append(f"{claim.key}: 未绑定负载")
    if not claim.statement.strip():
        errors.append(f"{claim.key}: 结论为空")
    return errors


def audit(claims: tuple[Claim, ...]) -> list[str]:
    """返回全部结构错误;空列表表示三条主线可以交接。"""
    errors: list[str] = []
    for claim in claims:
        errors.extend(validate_claim(claim))
    keys = [claim.key for claim in claims]
    duplicates = sorted({key for key in keys if keys.count(key) > 1})
    if duplicates:
        errors.append(f"重复 key: {duplicates}")
    return errors


def handoff() -> dict[str, str]:
    """返回主线到层的交接表。"""
    return {line.key: line.owner for line in LINES}


DEMO = (
    Claim("C-01", "capability", "长上下文中间信息会漏",
          ("benchmark", "failure_set", "capability_card"), ("W1", "W2")),
    Claim("C-02", "decision", "先观测再行动在低噪声下更优",
          ("formal_model", "counterfactual"), ("W2",)),
    Claim("C-03", "execution", "崩溃重试不会重复副作用",
          ("state_machine", "fault_injection", "event_log"), ("W2", "W3")),
)


if __name__ == "__main__":
    problems = audit(DEMO)
    print("line         owner  claims  errors")
    for line in LINES:
        count = sum(1 for claim in DEMO if claim.line == line.key)
        line_errors = sum(
            len(validate_claim(claim)) for claim in DEMO if claim.line == line.key
        )
        print(f"{line.key:<12} {line.owner:<6} {count:>6}  {line_errors:>6}")
    if problems:
        print("问题:")
        for problem in problems:
            print(" -", problem)

运行:

cd private/labs/agp-lab
python3 -m agp_lab.three_lines

输出:

line         owner  claims  errors
capability   L1          1       0
decision     L2          1       1
execution    L3/L4       1       0
问题:
 - C-02: 决策线缺证据 ['trajectory']

输出里最值得看的是 C-02。它的方向可能完全正确——“先观测再行动在低噪声下更优”——而且它已经有形式模型和反事实实验,但仍然被拒绝,因为缺少轨迹。为什么轨迹是必需的?因为反事实实验只能告诉你“平均而言更好”,不能告诉你“在哪一步更好、为什么更好”。没有轨迹,你无法排除“提升来自某次幸运观测”这种解释,也无法在失败时定位问题。

还要注意,审计器只检查证据类型,不检查证据质量。一条结论可以带着一份只有三个样本的 failure_set 通过审计,但它在评审里仍然应该被质疑。结构完整是入场券,不是结论正确的证明。

架构判据

三条主线可以落成三组评审问题:

主线评审问题不合格的信号
能力线能力卡是否包含失败样本、适用负载和版本?只有榜单分数;失败样本缺失;版本不明
决策线是否有对照实验和完整轨迹?只有成功案例;只跑一个 seed;没有基线
执行线是否枚举崩溃点并做故障注入?只测正常路径;把重试当恢复;没有事件日志

这三组问题不需要一次全部回答。W1 的只读检索可以先只做能力线和轻量决策线;W2 的代码修复必须三条线都过,因为写操作会放大执行错误;W3 的运维处置在执行线上要求最高,因为副作用不可逆。

判据的作用不是给系统打分,而是让“还缺什么证据”变成一个可以明确回答的问题。如果一条结论说不清自己属于哪条主线,它大概率还没有想清楚要证明什么。

小结

  • 能力线回答“模型能做什么”,证据是 benchmark、failure_set 和 capability_card;缺失败样本的能力卡不能指导架构。
  • 决策线回答“Agent 如何选动作”,证据是 formal_model、counterfactual 和 trajectory;缺轨迹的结论无法归因。
  • 执行线回答“动作如何可靠执行”,证据是 state_machine、fault_injection 和 event_log;只测正常路径等于没测。
  • 三条线是一条证据链:能力卡约束策略可依赖的假设,计划约束执行的成功/失败/终止条件,执行产物支撑系统层治理。
  • 审计器只检查证据类型是否齐全,不检查证据质量;结构完整是入场券,不是正确性证明。
  • 一条结论挂在错误的主线上,即使方向正确,也无法被证伪。

阅读导航:上一节:1.1 原理地图:四层技术栈与三条主线 · 下一节:1.3 三条工作负载与本书的判据格式 。

常见错误与边界

  1. 用端到端成功率回应所有质疑。 成功率是结果,不是归因;它不能区分模型不会、策略走偏和执行重复。
  2. 把榜单当能力卡。 榜单没有你的失败样本,也没有版本与负载说明;它只能用于初筛,不能用于承诺。
  3. 用一条成功轨迹证明策略。 单条轨迹无法排除运气;决策线至少需要对照实验和多条失败轨迹。
  4. 把重试当执行线的全部。 重试只覆盖“没执行”;副作用已发生但未记录时,重试会制造第二次副作用。
  5. 跨线借证据。 用模型能力证明执行可靠,或用故障注入证明策略更优,都是错配;每条线只接受自己的证据类型。
  6. 把审计器当质量门。 审计器只检查字段和证据类型;证据是否充分、样本是否独立、结论是否可复现,仍需人工评审。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图