以下工作负载、预算与数字均为教学假设,不构成对任何真实产品、供应商或生产系统的承诺。
上一节画了四层技术栈:模型、决策、运行时、系统。层回答“故障在哪里”,但没有回答“凭什么说这条结论成立”。同一个层里可以同时存在三种完全不同的主张:
- “这个模型能在长文档里找到中间位置的事实。”这是能力主张。
- “先检索再回答比一次性回答更准。”这是决策主张。
- “工具调用失败后重试不会重复扣款。”这是执行主张。
三句话都可能为真,但证明方式完全不同。能力主张需要评测集和失败样本;决策主张需要反事实实验和完整轨迹;执行主张需要状态机与故障注入。把三者混在一起,最常见的后果不是结论错,而是结论无法被证伪:团队说“加了反思后效果更好”,却说不清好在哪里、在哪种任务上好、失败时长什么样。
这一节把三条主线拆开,定义每条线必须交付的证据,以及三条线之间如何交接。1.3 再把它们压缩成统一的判据格式。
为什么一条主线不够
先看一个真实的争论。某团队要上线一个代码修复 Agent,评审会上有三条反对意见:
- “模型能力不够,连单元测试都读不懂。”
- “Agent 规划不行,改了三处就开始乱改。”
- “执行不可靠,重跑一次会把已经提交的补丁再提交一遍。”
这三条意见分别落在能力线、决策线、执行线。它们不能用同一份证据回应:
- 回应第一条,需要一份能力卡:模型在哪些语言、哪些测试框架、哪些错误类型上通过率是多少,失败的样本长什么样。
- 回应第二条,需要轨迹:Agent 在第几步决定改哪个文件、依据是什么、哪一步开始偏离目标。只看最终 diff 看不出规划问题。
- 回应第三条,需要故障注入:在“补丁已提交、状态未持久化”时杀掉进程,看重新执行会不会产生第二个提交。
如果团队只准备了一份“端到端成功率 62%”的报表,三条意见都无法回应。62% 是结果,不是归因;它不能告诉你 38% 的失败里,多少是模型不会、多少是策略走偏、多少是执行重复。
三条主线的价值就在这里:它强迫每条结论先声明自己属于哪类主张,再按那类主张的标准交付证据。
能力线:先证明边界
能力线回答的问题是:模型到底能做什么,不能做什么。
它最容易出现的退化是“榜单代替能力”。榜单测的是榜单上的任务,不是你的任务。一个模型在代码榜单上得分很高,不代表它能读懂你仓库里的领域抽象;一个模型在长上下文榜单上得分很高,不代表它能在你的文档结构里定位到中间段落。能力线的证据必须包含三件事:
| 证据 | 回答什么 | 缺失后的后果 |
|---|---|---|
| benchmark | 在公开任务上的相对水平 | 只能凭感觉选型 |
| failure_set | 在你的任务上,失败长什么样 | 不知道边界在哪里,无法设计降级 |
| capability_card | 能力、限制、适用负载与版本 | 承诺了模型做不到的事 |
其中 failure_set 最容易被省略,也最不该省略。原因很简单:能力卡上的“通过率 80%”不能指导架构,失败样本才能。比如同样是 80%,如果失败集中在“材料不足时仍然编造引用”,架构上就要加引用校验和拒答策略;如果失败集中在“工具参数格式错误”,架构上就要加 schema 校验和重试。两种失败对应完全不同的系统设计。
能力线的边界还有一条:能力不是单调的。 模型在短上下文上更强,不代表在长上下文上同样强;在单轮问答上更稳,不代表在 40 步工具调用里更稳。能力卡必须把“在什么条件下测的”写清楚,否则通过率只是一个脱离语境的数字。
能力线的产物会交给决策线,交接条件是:能力卡里明确写出“策略可以依赖什么、不能依赖什么”。 如果能力卡说“模型在材料不足时倾向于编造”,决策线就不能把“模型会自己说不知道”当成终止条件;它必须显式安排检索或澄清步骤。
决策线:先证明可证伪
决策线回答的问题是:Agent 如何根据观测选择动作。
它最容易出现的退化是“成功案例代替策略”。团队展示一条漂亮的轨迹:Agent 先搜索、再读文件、再修改、再跑测试,最后成功。这条轨迹证明系统能成功一次,但不能证明策略在别的观测下也成立。决策线的证据同样需要三件事:
| 证据 | 回答什么 | 缺失后的后果 |
|---|---|---|
| formal_model | 状态、观测、动作、目标是什么 | 说不清策略在优化什么 |
| counterfactual | 改变一个变量,结果怎么变 | 无法判断收益来自哪个设计 |
| trajectory | 每一步看到了什么、为什么这么选 | 失败无法归因,只能重跑 |
counterfactual 是决策线的核心。比如“ReAct 比一次性生成更好”不是结论,除非你能给出对照:同样的模型、同样的任务、同样的预算,只改变“是否允许中间观测”,看成功率、步数和成本怎么变。如果 ReAct 多花了三倍 token 只换来两个百分点提升,这个结论在 W1 的成本预算下可能不成立。
trajectory 则是失败归因的前提。没有轨迹,你只知道“失败了”;有轨迹,你才能判断是观测没拿到、动作选错了、还是终止条件太早触发。轨迹不需要记录模型的全部思维过程,但必须记录可复核的决策输入:当前目标、可用工具、上一步结果、最终动作。
决策线的边界是:策略的收益依赖观测质量。 如果观测本身有噪声或缺失,再好的策略也只能在信念空间里做次优选择。这一点会在卷二用 POMDP 展开;在卷一,只需要记住:决策线的证据必须说明观测条件,否则“策略更好”可能只是“这次观测更走运”。
决策线交给执行线的产物是计划或动作序列,交接条件是:每个动作都有明确的成功条件、失败条件和终止条件。 如果计划里只有“调用工具”,没有“工具返回什么算成功、超时怎么办、连续失败几次放弃”,执行线就无法判断该重试还是该停。
执行线:先证明崩溃后
执行线回答的问题是:动作如何被执行、恢复与终止。
它最容易出现的退化是“正常路径代替可靠性”。演示时一切顺利:调用工具、拿到结果、更新状态、返回成功。但生产系统的差异几乎都发生在异常路径:进程崩了、响应丢了、同一个任务被两个 worker 领走、用户点了取消。执行线的证据需要三件事:
| 证据 | 回答什么 | 缺失后的后果 |
|---|---|---|
| state_machine | 有哪些状态、允许哪些转移、终态是什么 | 非法路径无法被拒绝 |
| fault_injection | 在每个崩溃点重启,会发生什么 | 重复副作用、丢状态无法提前发现 |
| event_log | 哪些事实已经发生、能否重放 | 崩溃后只能猜走到哪一步 |
执行线的核心不是“加重试”,而是“知道哪些事实已经发生”。重试只能解决“没执行”的情况;如果副作用已经发生、结果没记录,重试会制造第二次副作用。事件日志回答“发生过什么”,幂等键回答“能不能再做一次”,CAS 回答“能不能覆盖当前状态”。这三件事缺一不可。
执行线交给系统线的产物是可靠的动作接口,交接条件是:每个副作用都有唯一键、每个状态转移都可重放、每个终态都不可复活。 系统线才能在此基础上做审批、配额、多租户和跨 Agent 协调;否则上层加多少治理,都挡不住底层的重复执行。
三条线如何交接
三条主线不是三个独立章节,而是一条证据链。任何一条链断了,后面的结论都会变成“看起来合理”。
| 交接 | 上游必须给出 | 下游据此决定 | 常见断点 |
|---|---|---|---|
| 能力 → 决策 | 能力卡与失败样本 | 策略可以依赖哪些能力、必须补哪些步骤 | 策略假设模型会拒答,但能力卡显示它倾向于编造 |
| 决策 → 执行 | 带成功/失败/终止条件的动作 | 状态机、重试策略、补偿方案 | 计划只有动作,没有失败条件 |
| 执行 → 系统 | 幂等键、事件日志、终态 | 审批、配额、跨 Agent 协调 | 没有幂等键,系统层只能靠人工对账 |
这张表也可以反过来用于定位评审意见。听到“模型不行”,先问能力卡;听到“策略不行”,先问轨迹和对照;听到“系统不稳定”,先问崩溃点和事件日志。主线的作用不是分类,而是决定下一步该要哪份证据。
最小实验:审计三条主线
下面的实验把三条主线写成一个审计器。它不评价结论对不对,只检查一条结论是否具备所属主线的证据类型。这个区分很重要:审计器通过,不代表结论为真;审计器不通过,说明这条结论还没有资格进入评审。
# file: agp_lab/three_lines.py | write
# tier: 1
# verify: python3 -m unittest tests.test_three_lines
"""能力线、决策线与执行线的交接审计。"""
from __future__ import annotations
from dataclasses import dataclass
@dataclass(frozen=True)
class Line:
key: str
name: str
question: str
evidence: tuple[str, ...]
owner: str
@dataclass(frozen=True)
class Claim:
key: str
line: str
statement: str
evidence: tuple[str, ...]
workloads: tuple[str, ...]
LINES = (
Line("capability", "能力线", "模型到底能做什么",
("benchmark", "failure_set", "capability_card"), "L1"),
Line("decision", "决策线", "Agent 如何选择动作",
("formal_model", "counterfactual", "trajectory"), "L2"),
Line("execution", "执行线", "动作如何可靠执行",
("state_machine", "fault_injection", "event_log"), "L3/L4"),
)
WORKLOADS = ("W1", "W2", "W3")
def validate_claim(claim: Claim) -> list[str]:
"""检查一条结论是否具备所属主线的全部证据类型。"""
errors: list[str] = []
line = next((item for item in LINES if item.key == claim.line), None)
if line is None:
errors.append(f"{claim.key}: 未知主线 {claim.line}")
else:
missing = [kind for kind in line.evidence if kind not in claim.evidence]
if missing:
errors.append(f"{claim.key}: {line.name}缺证据 {missing}")
unknown = [key for key in claim.workloads if key not in WORKLOADS]
if unknown:
errors.append(f"{claim.key}: 未知负载 {unknown}")
if not claim.workloads:
errors.append(f"{claim.key}: 未绑定负载")
if not claim.statement.strip():
errors.append(f"{claim.key}: 结论为空")
return errors
def audit(claims: tuple[Claim, ...]) -> list[str]:
"""返回全部结构错误;空列表表示三条主线可以交接。"""
errors: list[str] = []
for claim in claims:
errors.extend(validate_claim(claim))
keys = [claim.key for claim in claims]
duplicates = sorted({key for key in keys if keys.count(key) > 1})
if duplicates:
errors.append(f"重复 key: {duplicates}")
return errors
def handoff() -> dict[str, str]:
"""返回主线到层的交接表。"""
return {line.key: line.owner for line in LINES}
DEMO = (
Claim("C-01", "capability", "长上下文中间信息会漏",
("benchmark", "failure_set", "capability_card"), ("W1", "W2")),
Claim("C-02", "decision", "先观测再行动在低噪声下更优",
("formal_model", "counterfactual"), ("W2",)),
Claim("C-03", "execution", "崩溃重试不会重复副作用",
("state_machine", "fault_injection", "event_log"), ("W2", "W3")),
)
if __name__ == "__main__":
problems = audit(DEMO)
print("line owner claims errors")
for line in LINES:
count = sum(1 for claim in DEMO if claim.line == line.key)
line_errors = sum(
len(validate_claim(claim)) for claim in DEMO if claim.line == line.key
)
print(f"{line.key:<12} {line.owner:<6} {count:>6} {line_errors:>6}")
if problems:
print("问题:")
for problem in problems:
print(" -", problem)
运行:
cd private/labs/agp-lab
python3 -m agp_lab.three_lines
输出:
line owner claims errors
capability L1 1 0
decision L2 1 1
execution L3/L4 1 0
问题:
- C-02: 决策线缺证据 ['trajectory']
输出里最值得看的是 C-02。它的方向可能完全正确——“先观测再行动在低噪声下更优”——而且它已经有形式模型和反事实实验,但仍然被拒绝,因为缺少轨迹。为什么轨迹是必需的?因为反事实实验只能告诉你“平均而言更好”,不能告诉你“在哪一步更好、为什么更好”。没有轨迹,你无法排除“提升来自某次幸运观测”这种解释,也无法在失败时定位问题。
还要注意,审计器只检查证据类型,不检查证据质量。一条结论可以带着一份只有三个样本的 failure_set 通过审计,但它在评审里仍然应该被质疑。结构完整是入场券,不是结论正确的证明。
架构判据
三条主线可以落成三组评审问题:
| 主线 | 评审问题 | 不合格的信号 |
|---|---|---|
| 能力线 | 能力卡是否包含失败样本、适用负载和版本? | 只有榜单分数;失败样本缺失;版本不明 |
| 决策线 | 是否有对照实验和完整轨迹? | 只有成功案例;只跑一个 seed;没有基线 |
| 执行线 | 是否枚举崩溃点并做故障注入? | 只测正常路径;把重试当恢复;没有事件日志 |
这三组问题不需要一次全部回答。W1 的只读检索可以先只做能力线和轻量决策线;W2 的代码修复必须三条线都过,因为写操作会放大执行错误;W3 的运维处置在执行线上要求最高,因为副作用不可逆。
判据的作用不是给系统打分,而是让“还缺什么证据”变成一个可以明确回答的问题。如果一条结论说不清自己属于哪条主线,它大概率还没有想清楚要证明什么。
小结
- 能力线回答“模型能做什么”,证据是 benchmark、failure_set 和 capability_card;缺失败样本的能力卡不能指导架构。
- 决策线回答“Agent 如何选动作”,证据是 formal_model、counterfactual 和 trajectory;缺轨迹的结论无法归因。
- 执行线回答“动作如何可靠执行”,证据是 state_machine、fault_injection 和 event_log;只测正常路径等于没测。
- 三条线是一条证据链:能力卡约束策略可依赖的假设,计划约束执行的成功/失败/终止条件,执行产物支撑系统层治理。
- 审计器只检查证据类型是否齐全,不检查证据质量;结构完整是入场券,不是正确性证明。
- 一条结论挂在错误的主线上,即使方向正确,也无法被证伪。
阅读导航:上一节:1.1 原理地图:四层技术栈与三条主线 · 下一节:1.3 三条工作负载与本书的判据格式 。
常见错误与边界
- 用端到端成功率回应所有质疑。 成功率是结果,不是归因;它不能区分模型不会、策略走偏和执行重复。
- 把榜单当能力卡。 榜单没有你的失败样本,也没有版本与负载说明;它只能用于初筛,不能用于承诺。
- 用一条成功轨迹证明策略。 单条轨迹无法排除运气;决策线至少需要对照实验和多条失败轨迹。
- 把重试当执行线的全部。 重试只覆盖“没执行”;副作用已发生但未记录时,重试会制造第二次副作用。
- 跨线借证据。 用模型能力证明执行可靠,或用故障注入证明策略更优,都是错配;每条线只接受自己的证据类型。
- 把审计器当质量门。 审计器只检查字段和证据类型;证据是否充分、样本是否独立、结论是否可复现,仍需人工评审。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。