以下工作负载、预算与数字均为教学假设,不构成对任何真实产品、供应商或生产系统的承诺。
1.1 给了四层地图,1.2 给了三条主线。还差最后一块:一条结论要写成什么样,才算可评审。
大多数技术评审失败,不是因为结论错,而是因为结论写得无法检查。“Agent 要可靠”“检索要准”“上下文要够长”都属于这类句子:它们听起来像要求,实际上没有告诉任何人该观测什么、在什么条件下观测、失败长什么样。评审只能变成经验之争,最后由职级最高的人拍板。
这一节做两件事:先用三条工作负载给结论标上适用范围,再把结论压缩成五个字段。压缩的目的不是形式主义,而是让“这条结论到底在说什么”变成一个可以当场回答的问题。
三条工作负载压的是什么
三条工作负载在 1.1 已经出现过。这里重点看它们各自压哪条轴,因为同一个判据在不同负载下可能得出相反结论。
| 编号 | 负载 | 时间跨度 | 可逆性 | 可验证性 | 延迟预算 | 单任务成本 | 失败影响 |
|---|---|---|---|---|---|---|---|
| W1 | 检索问答 | 3–8 步 | 只读,可重试 | 引用可核对 | p95 ≤ 8 s | ≤ $0.02 | 低 |
| W2 | 代码修复 | 10–40 步 | 写分支,可回滚 | 测试可判定 | p95 ≤ 5 min | ≤ $0.50 | 中 |
| W3 | 运维处置 | 2–6 步 | 不可逆,需审批 | 健康检查可判定 | p95 ≤ 60 s | ≤ $0.05 | 高 |
- W1 压的是延迟与引用。 只读意味着错了可以重试,但用户等不了;回答必须能逐条核对,否则“看起来对”没有意义。
- W2 压的是长程与可验证。 步数多,上下文会反复压缩;测试是硬判据,但测试通过不等于补丁正确。
- W3 压的是不可逆与审批。 步数少,但每一步都可能改变线上状态;健康检查只能证明“现在活着”,不能证明“处置对了”。
一个判据如果不绑定负载,就无法判断它是否成立。比如“多采样几次再投票能提升准确率”在 W1 上可能值得,因为延迟预算允许;在 W3 上通常不值得,因为告警处置窗口只有几十秒,而且投票不能替代审批。负载不是背景信息,它是判据的一部分。
五字段判据
本书把所有原理条目写成同一种结构:
| 字段 | 含义 | 不合格的写法 |
|---|---|---|
| 层 | 落在 L1–L4 的哪一层 | “Agent 要可靠” |
| 问题 | 回答哪个可判定的问题 | “Agent 好不好用” |
| 判据 | 怎么检查成立或不成立 | “效果不错” |
| 证据 | 论文、规范、源码或实验 | “大家都这么说” |
| 负载 | 在 W1/W2/W3 中哪条上验证过 | “所有场景都适用” |
五个字段里,最容易糊弄的是“判据”,因为它看起来可以写得很具体,实际却可能没有观测对象。下面是一条典型的不合格判据:
K-04:Agent 的效果好吗?判据是“效果稳定,用户满意”。证据是“团队经验”,适用于所有负载。
这句话的问题不是它一定错,而是它无法被证伪。什么叫稳定?连续多少次成功算稳定?用户满意用什么量表?在 W1 上满意、在 W3 上是否也满意?如果答不上来,这条判据就不能进入评审。
把它改写成可检查的形式,至少要补三样东西:
- 观测对象:成功、失败、延迟、成本、拒答率,还是副作用次数。
- 阈值或比较基线:不低于多少、不高于多少、比哪个版本好。
- 适用负载:在 W1/W2/W3 中的哪条上测,其他负载为什么不适用。
例如:
K-02:Agent 会无限循环吗?判据是“在 20 条长任务上 100% 触发步数上限,并记录终止原因”。证据是终止性实验,适用于 W2。
这条判据仍然可能被质疑——20 条任务够不够、步数上限设多少合理——但它已经可检查:跑 20 条任务,看是否 100% 终止,看日志里有没有终止原因。评审可以围绕样本量和阈值争论,而不是围绕“感觉稳不稳定”争论。
判据不是 SLA,也不是成熟度评分
三种东西经常被混为一谈:
| 概念 | 回答什么 | 例子 | 不能替代什么 |
|---|---|---|---|
| 判据 | 这条结论在什么条件下成立 | 50 条无答案问题,拒答率 ≥ 90% | 不能替代系统 SLA |
| SLA | 对用户承诺的服务水平 | p95 ≤ 8 s,可用性 99.9% | 不能证明结论正确 |
| 成熟度 | 组织能力的阶段评估 | 已有评测集、回滚与审计 | 不能替代单条判据 |
判据是认知工具:它帮助你判断一条技术主张是否成立。SLA 是承诺工具:它约束服务对用户的表现。成熟度是组织工具:它描述团队当前能做到什么。三者可以互相支持,但不能互相替代。一个团队可以有很漂亮的 SLA,却仍然不知道自己的 Agent 为什么失败;也可以有很高的成熟度评分,却在某个具体判据上完全没有证据。
最小实验:判据审计器
下面的实验把五字段判据写成一个可运行的审计器。它检查四件事:层是否合法、问题是否是问句、判据是否含模糊词、判据是否有可观测谓词。它不判断阈值是否合理,也不判断证据是否充分;这些仍然需要人。
# file: agp_lab/criteria.py | write
# tier: 1
# verify: python3 -m unittest tests.test_criteria
"""把结论写成可评审判据:层、问题、判据、证据、负载。"""
from __future__ import annotations
from dataclasses import dataclass
LAYERS = ("L1", "L2", "L3", "L4")
WORKLOADS = ("W1", "W2", "W3")
VAGUE = ("效果好", "稳定", "可靠", "智能", "优秀", "高效", "更快", "更强")
OBSERVABLE = ("通过", "失败", "误差", "比例", "次数", "延迟", "成本", "覆盖率")
@dataclass(frozen=True)
class Criterion:
key: str
layer: str
question: str
check: str
evidence: str
workloads: tuple[str, ...]
def validate(self) -> list[str]:
errors: list[str] = []
if self.layer not in LAYERS:
errors.append(f"{self.key}: 未知层 {self.layer}")
if not self.question.strip().endswith("?"):
errors.append(f"{self.key}: 问题必须是问句")
if len(self.check.strip()) < 8:
errors.append(f"{self.key}: 判据过短")
vague = [word for word in VAGUE if word in self.check]
if vague:
errors.append(f"{self.key}: 判据含模糊词 {vague}")
if not any(ch.isdigit() for ch in self.check) \
and not any(word in self.check for word in OBSERVABLE):
errors.append(f"{self.key}: 判据缺少可观测谓词")
if not self.evidence.strip():
errors.append(f"{self.key}: 缺证据")
unknown = [key for key in self.workloads if key not in WORKLOADS]
if unknown:
errors.append(f"{self.key}: 未知负载 {unknown}")
if not self.workloads:
errors.append(f"{self.key}: 未绑定负载")
return errors
DEMO = (
Criterion(
"K-01", "L1", "模型在材料不足时会拒答吗?",
"在 50 条无答案问题上拒答比例不低于 90%",
"本地拒答评测 + 本书 5.3 的对齐边界", ("W1",),
),
Criterion(
"K-02", "L2", "Agent 会无限循环吗?",
"在 20 条长任务上 100% 触发步数上限并给出终止原因",
"卷二 2.1 的终止性实验", ("W2",),
),
Criterion(
"K-03", "L3", "崩溃重试会重复副作用吗?",
"副作用执行次数等于 1,且结果与第一次一致",
"卷三 2.2 的故障注入实验", ("W2", "W3"),
),
Criterion(
"K-04", "L2", "Agent 的效果好吗?",
"效果稳定,用户满意",
"团队经验", ("W1", "W2", "W3"),
),
)
def audit(criteria: tuple[Criterion, ...]) -> list[str]:
errors: list[str] = []
for criterion in criteria:
errors.extend(criterion.validate())
keys = [criterion.key for criterion in criteria]
duplicates = sorted({key for key in keys if keys.count(key) > 1})
if duplicates:
errors.append(f"重复 key: {duplicates}")
return errors
if __name__ == "__main__":
problems = audit(DEMO)
print("key layer workloads verdict")
for criterion in DEMO:
verdict = "ok" if not criterion.validate() else "reject"
print(f"{criterion.key:<5} {criterion.layer:<6} "
f"{','.join(criterion.workloads):<10} {verdict}")
print(f"total={len(DEMO)} rejected={sum(bool(c.validate()) for c in DEMO)}")
for problem in problems:
print(" -", problem)
运行:
cd private/labs/agp-lab
python3 -m agp_lab.criteria
输出:
key layer workloads verdict
K-01 L1 W1 ok
K-02 L2 W2 ok
K-03 L3 W2,W3 ok
K-04 L2 W1,W2,W3 reject
total=4 rejected=1
- K-04: 判据含模糊词 ['稳定']
- K-04: 判据缺少可观测谓词
K-01 到 K-03 通过,不是因为它们一定正确,而是因为它们具备可检查的结构:有明确层、问句、数值阈值或可观测谓词、证据来源和负载。K-04 被拒绝,是因为“效果稳定,用户满意”既含模糊词,又没有可观测谓词。
审计器还有一个容易忽略的作用:它把“证据”变成必填字段。很多评审里,结论和证据是分开的:结论写在 PPT 上,证据在某个人的电脑里。把证据写进判据,等于要求作者当场说明“这句话凭什么”。如果证据栏只能填“团队经验”,那这条判据大概率还没有到可以评审的程度。
判据怎么进评审
一条判据进入评审后,通常要经过三轮:
- 结构检查:五个字段是否齐全,负载是否明确,判据是否可观测。
- 证据检查:证据是否来自独立样本,是否包含失败案例,是否可复现。
- 适用范围检查:在目标负载上是否成立,在其他负载上为什么不适用或需要降级。
这三轮对应三种不同的失败:
| 轮次 | 失败表现 | 处理 |
|---|---|---|
| 结构检查 | 缺层、缺负载、判据模糊 | 退回重写,不进入讨论 |
| 证据检查 | 只有成功案例、样本太小、无法复现 | 补实验或降低结论强度 |
| 适用范围检查 | 在 W1 成立就宣称通用 | 补其他负载的边界说明 |
第一轮最重要,因为它成本最低。一条判据如果连“观测什么”都说不清,后面的讨论只会浪费时间。审计器能自动完成第一轮的一部分,但不能完成全部:它不知道你的阈值是否合理,也不知道你的证据是否独立。
架构判据
把五字段格式落到架构评审,可以用下面这张检查表:
| 层 | 一条合格判据至少要说清 | 常见缺口 |
|---|---|---|
| L1 模型 | 能力、失败样本、版本、适用负载 | 只有榜单分数 |
| L2 决策 | 观测条件、动作空间、终止条件、对照实验 | 只有成功轨迹 |
| L3 运行时 | 状态、转移、崩溃点、副作用次数 | 只测正常路径 |
| L4 系统 | 拓扑、配额、失败传播、越权边界 | 只画架构图 |
这张表不是评分表,而是提问清单。每次评审只问一个问题:这条结论属于哪一层、绑定哪条负载、用什么观测证明? 三个问题里有一个答不上来,结论就还不能进入决策。
判据的证据强度
同样是“有证据”,强度差别很大:
| 证据强度 | 例子 | 能支持什么结论 |
|---|---|---|
| 单次演示 | 一条成功轨迹 | 只能说明“可能做到” |
| 小样本评测 | 20 条任务的成功率 | 能说明方向,不能说明稳定性 |
| 分层评测 | 按任务类型、长度、难度分层 | 能说明边界与失败模式 |
| 对照实验 | 同条件改一个变量 | 能说明因果贡献 |
| 独立复现 | 不同团队、不同时间复现 | 能支撑对外承诺 |
判据不要求一定达到最高强度,但必须标明自己处在哪一级。用单次演示支撑“通用有效”,和用小样本支撑“方向可行”,是两种完全不同的结论强度。评审时先问证据强度,再问阈值是否合理。
小结
- 三条工作负载压的是不同约束:W1 压延迟与引用,W2 压长程与可验证,W3 压不可逆与审批。
- 判据必须写成“层 + 问题 + 判据 + 证据 + 负载”;缺一个字段,就还不能叫判据。
- 判据的核心是可观测:有观测对象、有阈值或基线、有适用负载。
- 判据不是 SLA,也不是成熟度评分;它回答“这条结论是否成立”,不回答“服务承诺多少”或“团队多成熟”。
- 评审的第一轮是结构检查,成本最低;结构不合格的判据不应进入技术讨论。
- 审计器只能检查结构,不能检查证据质量;结构完整是入场券,不是正确性证明。
阅读导航:上一节:1.2 三条主线:能力线、决策线、执行线 · 下一节:2.1 自回归生成:条件概率、采样与停止 。
常见错误与边界
- 把判据写成愿望。 “要稳定”“要准确”不是判据;判据必须说明观测对象、阈值和负载。
- 用 SLA 代替判据。 SLA 约束服务表现,不证明技术结论;p95 达标不代表策略更优。
- 用成熟度评分代替证据。 “我们已有评测集”不等于“这条结论在你的任务上成立”。
- 判据绑定所有负载。 一条判据在 W1/W2/W3 上同时成立的概率很低;不说明边界,等于隐藏反例。
- 证据栏写“团队经验”。 经验可以是起点,但不能作为判据的唯一证据;至少要补失败样本或对照实验。
- 把审计器当评审。 审计器只查结构和模糊词,不查阈值合理性、样本独立性和结论可复现性。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。