《AI Agent 技术原理与架构·模型、推理与能力边界》1.3 三条工作负载与本书的判据格式

判据不是“效果好”的同义词,而是一条能被检查、能被证伪的陈述。本节把三条工作负载与“层、问题、判据、证据、负载”五字段格式组合起来,说明一个可评审的判据必须观测什么、绑定哪条负载,并用一个审计实验演示模糊判据如何在评审前被拒掉,最后给出可执行的评审流程。

以下工作负载、预算与数字均为教学假设,不构成对任何真实产品、供应商或生产系统的承诺。

1.1 给了四层地图,1.2 给了三条主线。还差最后一块:一条结论要写成什么样,才算可评审。

大多数技术评审失败,不是因为结论错,而是因为结论写得无法检查。“Agent 要可靠”“检索要准”“上下文要够长”都属于这类句子:它们听起来像要求,实际上没有告诉任何人该观测什么、在什么条件下观测、失败长什么样。评审只能变成经验之争,最后由职级最高的人拍板。

这一节做两件事:先用三条工作负载给结论标上适用范围,再把结论压缩成五个字段。压缩的目的不是形式主义,而是让“这条结论到底在说什么”变成一个可以当场回答的问题。

三条工作负载压的是什么

三条工作负载在 1.1 已经出现过。这里重点看它们各自压哪条轴,因为同一个判据在不同负载下可能得出相反结论。

编号负载时间跨度可逆性可验证性延迟预算单任务成本失败影响
W1检索问答3–8 步只读,可重试引用可核对p95 ≤ 8 s≤ $0.02低
W2代码修复10–40 步写分支,可回滚测试可判定p95 ≤ 5 min≤ $0.50中
W3运维处置2–6 步不可逆,需审批健康检查可判定p95 ≤ 60 s≤ $0.05高
  • W1 压的是延迟与引用。 只读意味着错了可以重试,但用户等不了;回答必须能逐条核对,否则“看起来对”没有意义。
  • W2 压的是长程与可验证。 步数多,上下文会反复压缩;测试是硬判据,但测试通过不等于补丁正确。
  • W3 压的是不可逆与审批。 步数少,但每一步都可能改变线上状态;健康检查只能证明“现在活着”,不能证明“处置对了”。

一个判据如果不绑定负载,就无法判断它是否成立。比如“多采样几次再投票能提升准确率”在 W1 上可能值得,因为延迟预算允许;在 W3 上通常不值得,因为告警处置窗口只有几十秒,而且投票不能替代审批。负载不是背景信息,它是判据的一部分。

五字段判据

本书把所有原理条目写成同一种结构:

字段含义不合格的写法
层落在 L1–L4 的哪一层“Agent 要可靠”
问题回答哪个可判定的问题“Agent 好不好用”
判据怎么检查成立或不成立“效果不错”
证据论文、规范、源码或实验“大家都这么说”
负载在 W1/W2/W3 中哪条上验证过“所有场景都适用”

五个字段里,最容易糊弄的是“判据”,因为它看起来可以写得很具体,实际却可能没有观测对象。下面是一条典型的不合格判据:

K-04:Agent 的效果好吗?判据是“效果稳定,用户满意”。证据是“团队经验”,适用于所有负载。

这句话的问题不是它一定错,而是它无法被证伪。什么叫稳定?连续多少次成功算稳定?用户满意用什么量表?在 W1 上满意、在 W3 上是否也满意?如果答不上来,这条判据就不能进入评审。

把它改写成可检查的形式,至少要补三样东西:

  1. 观测对象:成功、失败、延迟、成本、拒答率,还是副作用次数。
  2. 阈值或比较基线:不低于多少、不高于多少、比哪个版本好。
  3. 适用负载:在 W1/W2/W3 中的哪条上测,其他负载为什么不适用。

例如:

K-02:Agent 会无限循环吗?判据是“在 20 条长任务上 100% 触发步数上限,并记录终止原因”。证据是终止性实验,适用于 W2。

这条判据仍然可能被质疑——20 条任务够不够、步数上限设多少合理——但它已经可检查:跑 20 条任务,看是否 100% 终止,看日志里有没有终止原因。评审可以围绕样本量和阈值争论,而不是围绕“感觉稳不稳定”争论。

判据不是 SLA,也不是成熟度评分

三种东西经常被混为一谈:

概念回答什么例子不能替代什么
判据这条结论在什么条件下成立50 条无答案问题,拒答率 ≥ 90%不能替代系统 SLA
SLA对用户承诺的服务水平p95 ≤ 8 s,可用性 99.9%不能证明结论正确
成熟度组织能力的阶段评估已有评测集、回滚与审计不能替代单条判据

判据是认知工具:它帮助你判断一条技术主张是否成立。SLA 是承诺工具:它约束服务对用户的表现。成熟度是组织工具:它描述团队当前能做到什么。三者可以互相支持,但不能互相替代。一个团队可以有很漂亮的 SLA,却仍然不知道自己的 Agent 为什么失败;也可以有很高的成熟度评分,却在某个具体判据上完全没有证据。

最小实验:判据审计器

下面的实验把五字段判据写成一个可运行的审计器。它检查四件事:层是否合法、问题是否是问句、判据是否含模糊词、判据是否有可观测谓词。它不判断阈值是否合理,也不判断证据是否充分;这些仍然需要人。

# file: agp_lab/criteria.py | write
# tier: 1
# verify: python3 -m unittest tests.test_criteria
"""把结论写成可评审判据:层、问题、判据、证据、负载。"""
from __future__ import annotations

from dataclasses import dataclass

LAYERS = ("L1", "L2", "L3", "L4")
WORKLOADS = ("W1", "W2", "W3")
VAGUE = ("效果好", "稳定", "可靠", "智能", "优秀", "高效", "更快", "更强")
OBSERVABLE = ("通过", "失败", "误差", "比例", "次数", "延迟", "成本", "覆盖率")


@dataclass(frozen=True)
class Criterion:
    key: str
    layer: str
    question: str
    check: str
    evidence: str
    workloads: tuple[str, ...]

    def validate(self) -> list[str]:
        errors: list[str] = []
        if self.layer not in LAYERS:
            errors.append(f"{self.key}: 未知层 {self.layer}")
        if not self.question.strip().endswith("?"):
            errors.append(f"{self.key}: 问题必须是问句")
        if len(self.check.strip()) < 8:
            errors.append(f"{self.key}: 判据过短")
        vague = [word for word in VAGUE if word in self.check]
        if vague:
            errors.append(f"{self.key}: 判据含模糊词 {vague}")
        if not any(ch.isdigit() for ch in self.check) \
                and not any(word in self.check for word in OBSERVABLE):
            errors.append(f"{self.key}: 判据缺少可观测谓词")
        if not self.evidence.strip():
            errors.append(f"{self.key}: 缺证据")
        unknown = [key for key in self.workloads if key not in WORKLOADS]
        if unknown:
            errors.append(f"{self.key}: 未知负载 {unknown}")
        if not self.workloads:
            errors.append(f"{self.key}: 未绑定负载")
        return errors


DEMO = (
    Criterion(
        "K-01", "L1", "模型在材料不足时会拒答吗?",
        "在 50 条无答案问题上拒答比例不低于 90%",
        "本地拒答评测 + 本书 5.3 的对齐边界", ("W1",),
    ),
    Criterion(
        "K-02", "L2", "Agent 会无限循环吗?",
        "在 20 条长任务上 100% 触发步数上限并给出终止原因",
        "卷二 2.1 的终止性实验", ("W2",),
    ),
    Criterion(
        "K-03", "L3", "崩溃重试会重复副作用吗?",
        "副作用执行次数等于 1,且结果与第一次一致",
        "卷三 2.2 的故障注入实验", ("W2", "W3"),
    ),
    Criterion(
        "K-04", "L2", "Agent 的效果好吗?",
        "效果稳定,用户满意",
        "团队经验", ("W1", "W2", "W3"),
    ),
)


def audit(criteria: tuple[Criterion, ...]) -> list[str]:
    errors: list[str] = []
    for criterion in criteria:
        errors.extend(criterion.validate())
    keys = [criterion.key for criterion in criteria]
    duplicates = sorted({key for key in keys if keys.count(key) > 1})
    if duplicates:
        errors.append(f"重复 key: {duplicates}")
    return errors


if __name__ == "__main__":
    problems = audit(DEMO)
    print("key   layer  workloads  verdict")
    for criterion in DEMO:
        verdict = "ok" if not criterion.validate() else "reject"
        print(f"{criterion.key:<5} {criterion.layer:<6} "
              f"{','.join(criterion.workloads):<10} {verdict}")
    print(f"total={len(DEMO)} rejected={sum(bool(c.validate()) for c in DEMO)}")
    for problem in problems:
        print(" -", problem)

运行:

cd private/labs/agp-lab
python3 -m agp_lab.criteria

输出:

key   layer  workloads  verdict
K-01  L1     W1         ok
K-02  L2     W2         ok
K-03  L3     W2,W3      ok
K-04  L2     W1,W2,W3   reject
total=4 rejected=1
 - K-04: 判据含模糊词 ['稳定']
 - K-04: 判据缺少可观测谓词

K-01 到 K-03 通过,不是因为它们一定正确,而是因为它们具备可检查的结构:有明确层、问句、数值阈值或可观测谓词、证据来源和负载。K-04 被拒绝,是因为“效果稳定,用户满意”既含模糊词,又没有可观测谓词。

审计器还有一个容易忽略的作用:它把“证据”变成必填字段。很多评审里,结论和证据是分开的:结论写在 PPT 上,证据在某个人的电脑里。把证据写进判据,等于要求作者当场说明“这句话凭什么”。如果证据栏只能填“团队经验”,那这条判据大概率还没有到可以评审的程度。

判据怎么进评审

一条判据进入评审后,通常要经过三轮:

  1. 结构检查:五个字段是否齐全,负载是否明确,判据是否可观测。
  2. 证据检查:证据是否来自独立样本,是否包含失败案例,是否可复现。
  3. 适用范围检查:在目标负载上是否成立,在其他负载上为什么不适用或需要降级。

这三轮对应三种不同的失败:

轮次失败表现处理
结构检查缺层、缺负载、判据模糊退回重写,不进入讨论
证据检查只有成功案例、样本太小、无法复现补实验或降低结论强度
适用范围检查在 W1 成立就宣称通用补其他负载的边界说明

第一轮最重要,因为它成本最低。一条判据如果连“观测什么”都说不清,后面的讨论只会浪费时间。审计器能自动完成第一轮的一部分,但不能完成全部:它不知道你的阈值是否合理,也不知道你的证据是否独立。

架构判据

把五字段格式落到架构评审,可以用下面这张检查表:

层一条合格判据至少要说清常见缺口
L1 模型能力、失败样本、版本、适用负载只有榜单分数
L2 决策观测条件、动作空间、终止条件、对照实验只有成功轨迹
L3 运行时状态、转移、崩溃点、副作用次数只测正常路径
L4 系统拓扑、配额、失败传播、越权边界只画架构图

这张表不是评分表,而是提问清单。每次评审只问一个问题:这条结论属于哪一层、绑定哪条负载、用什么观测证明? 三个问题里有一个答不上来,结论就还不能进入决策。

判据的证据强度

同样是“有证据”,强度差别很大:

证据强度例子能支持什么结论
单次演示一条成功轨迹只能说明“可能做到”
小样本评测20 条任务的成功率能说明方向,不能说明稳定性
分层评测按任务类型、长度、难度分层能说明边界与失败模式
对照实验同条件改一个变量能说明因果贡献
独立复现不同团队、不同时间复现能支撑对外承诺

判据不要求一定达到最高强度,但必须标明自己处在哪一级。用单次演示支撑“通用有效”,和用小样本支撑“方向可行”,是两种完全不同的结论强度。评审时先问证据强度,再问阈值是否合理。

小结

  • 三条工作负载压的是不同约束:W1 压延迟与引用,W2 压长程与可验证,W3 压不可逆与审批。
  • 判据必须写成“层 + 问题 + 判据 + 证据 + 负载”;缺一个字段,就还不能叫判据。
  • 判据的核心是可观测:有观测对象、有阈值或基线、有适用负载。
  • 判据不是 SLA,也不是成熟度评分;它回答“这条结论是否成立”,不回答“服务承诺多少”或“团队多成熟”。
  • 评审的第一轮是结构检查,成本最低;结构不合格的判据不应进入技术讨论。
  • 审计器只能检查结构,不能检查证据质量;结构完整是入场券,不是正确性证明。

阅读导航:上一节:1.2 三条主线:能力线、决策线、执行线 · 下一节:2.1 自回归生成:条件概率、采样与停止 。

常见错误与边界

  1. 把判据写成愿望。 “要稳定”“要准确”不是判据;判据必须说明观测对象、阈值和负载。
  2. 用 SLA 代替判据。 SLA 约束服务表现,不证明技术结论;p95 达标不代表策略更优。
  3. 用成熟度评分代替证据。 “我们已有评测集”不等于“这条结论在你的任务上成立”。
  4. 判据绑定所有负载。 一条判据在 W1/W2/W3 上同时成立的概率很低;不说明边界,等于隐藏反例。
  5. 证据栏写“团队经验”。 经验可以是起点,但不能作为判据的唯一证据;至少要补失败样本或对照实验。
  6. 把审计器当评审。 审计器只查结构和模糊词,不查阈值合理性、样本独立性和结论可复现性。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图