《AI Agent 技术原理与架构·运行时、协议与系统架构》附录 C 评审清单

卷三使用的运行时与治理评审清单:六项(状态、隔离、容错、观测、安全、决策记录)每项给出 0/1/2 三档的判断锚点,两项阻断项单独判定,并给出 W1/W2/W3 三条负载的逐项得分与共同短板;0 分项必须在上线前解决,可直接拿来做一次运行时评审。

本附录是卷三的评审工具:六项清单,每项 0/1/2 分;两项阻断项单独判定。

全书的评审共三卷。卷一用第 1–6 项(能力模型),卷二用第 7–12 项(决策与记忆),卷三用第 13–18 项(运行时与治理)。

一、怎么打

  • 由三人独立打分再对齐:运行时工程师、应用负责人、安全/运维负责人。
  • 每项只回答"有没有",不回答"好不好"。
  • 0 分表示"完全没有",不是"做得差"。
  • 打完先看有没有 0 分项——0 分项必须在上线前解决。
  • 阻断项(第 13、17 项)未满足,无论总分多高,结论都是 blocked。

二、六项清单

#项0 分1 分2 分
13*状态没有状态机有状态记录状态机 + 事件日志 + 幂等键齐
14隔离没有隔离有进程隔离沙箱 + 最小权限 + 逃逸面审计
15容错无限重试有重试无熔断熔断 + 部分结果 + 补偿
16观测没有追踪有日志追踪 + token 成本归因 + 确定性评估
17*安全没有威胁建模有清单检查STRIDE 建模 + 纵深防御 + 失效假设
18决策记录没有记录有会议纪要ADR 四段式,演进可追溯

带 * 的是阻断项:不满足就不能上线。

三、结论判定

输入输出
任一阻断项未满足blocked
阻断项全满足,通过率 ≥ 0.8pass
阻断项全满足,通过率 < 0.8revise

四、三负载逐项示例

#项W1 检索问答W2 代码修复W3 运维处置
13*状态222
14隔离212
15容错122
16观测222
17*安全112
18决策记录111
合计9/129/1211/12

五、逐项解读

第 14 项(隔离)W2 只有 1 分。 代码修复任务经常把 Agent 放进有写权限的进程里,没有独立沙箱——一次错误的写操作就污染分支。隔离不是"有进程"就行,要有最小权限与逃逸面审计。

第 15 项(容错)W1 只有 1 分。 只读任务最容易被当成"不会出问题",于是重试没有窗口。无熔断的重试在检索下游变慢时会放大故障,把单次超时变成雪崩。

第 17 项(安全)W1/W2 只有 1 分。 两家有安全清单检查,但没做威胁建模。清单检查查"列出来的项",威胁建模列"可能的威胁"——跳过建模的检查是查了个寂寞。

第 18 项(决策记录)三家都只有 1 分。 架构决定有会议纪要,但没有 ADR 四段式:背景、方案、备选、结论。没有 ADR 的演进不可追溯,下一次同样的问题重新吵一遍。

六、共同短板

第 17 项(安全)与第 18 项(决策记录) 是最普遍的缺口。安全不是"检查过",是"按威胁建模防御过、且每层失效假设明确";治理不是"记过决定",是"决定可追溯、备选可复盘"。

七、补分路径

可补分 = 12 − 卷得分:

负载得分可补分优先补哪几项
W193第 15/17/18 项各补一档
W293第 14/17/18 项各补一档
W3111第 18 项补到 2 分

W1/W2 是差距最大的两条负载——只读与可回滚任务容易让人忽略隔离、安全与治理,但查询任务也可能打爆资源、写分支任务可能污染数据。不可逆的 W3 反而逼出了最深的隔离与容错,只差决策记录。

八、与全书 18 项的关系

  • 卷一第 1–6 项:能力模型(能力卡、失败、评测、成本、回放、升级);
  • 卷二第 7–12 项:决策与记忆(形式、终止、轨迹、记忆、检索、学习);
  • 卷三第 13–18 项:运行时与治理(状态、隔离、容错、观测、安全、决策记录)。

三卷合计 36 分,通过线 28。本卷 W1/W2/W3 当前得分 9 / 9 / 11,合计 29/36,在通过线上——阻断项全满足,但可补分空间很大。三卷全部按 18 项走一遍,才能得到"Agent 系统是否可上线"的完整结论。

九、使用建议

  1. 第一次打分先看有没有 0 分项,别追求准确。
  2. 阻断项不满足直接 blocked,别用总分掩盖。
  3. 评分表要存档,下一次评审对比变化。
  4. 不要把这张表当 KPI,它的用途是找缺口。
  5. 与卷一、卷二清单连着用:能力边界不清、决策不可终止、运行时不可恢复,三者任何一个出问题都不能上线。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图