《AI Agent 技术原理与架构·运行时、协议与系统架构》附录 C 评审清单
卷三使用的运行时与治理评审清单:六项(状态、隔离、容错、观测、安全、决策记录)每项给出 0/1/2 三档的判断锚点,两项阻断项单独判定,并给出 W1/W2/W3 三条负载的逐项得分与共同短板;0 分项必须在上线前解决,可直接拿来做一次运行时评审。
category
卷三使用的运行时与治理评审清单:六项(状态、隔离、容错、观测、安全、决策记录)每项给出 0/1/2 三档的判断锚点,两项阻断项单独判定,并给出 W1/W2/W3 三条负载的逐项得分与共同短板;0 分项必须在上线前解决,可直接拿来做一次运行时评审。
卷三使用的三工作负载事实表与运行时实验参数:幂等键、崩溃恢复、调度背压、沙箱隔离、工具契约、熔断器、部分结果、追踪与统计有效性的教学设定值,逐项给出定义与复算公式;正文所有数字以本表为唯一来源,与卷一、卷二共用同一套 W1/W2/W3 约束。
卷三用到的术语与指标定义:三平面、状态机、幂等键、崩溃恢复、调度、沙箱、工具契约、补偿、MCP/A2A/AG-UI、上下文组装、记忆存储、拓扑、委托/仲裁/死锁、熔断器、追踪、确定性评估、威胁建模与 ADR,逐条给出定义、计算口径与易混淆点;正文出现这些词时以本表为准,三卷共用同一套口径。
卷二使用的决策与记忆评审清单:六项(形式模型、终止条件、轨迹可验证、记忆策略、检索质量、学习闭环)每项给出 0/1/2 三档的判断锚点,两项阻断项单独判定,并给出 W1/W2/W3 三条负载的逐项得分与共同短板;0 分项必须在上线前解决,可直接拿来做一次决策评审。
卷二使用的三工作负载事实表与决策实验参数:POMDP 老虎问题、走廊 MDP、终止条件、记忆、检索、工具选择、信用分配与回归门的教学设定值,逐项给出定义与复算公式;正文所有数字以本表为唯一来源,与卷一、卷三共用同一套 W1/W2/W3 约束。
卷二用到的术语与指标定义:POMDP、策略、信念、轨迹、终止条件、任务分解、搜索、双过程、反思、记忆分层、检索、工具选择、奖励与信用分配、行为克隆、偏好学习、回归门,逐条给出定义、计算口径与易混淆点;正文出现这些词时以本表为准,三卷共用同一套口径。
卷一使用的能力模型评审清单:六项(能力卡、失败模式、评测集、成本模型、回放计划、人工升级)每项给出 0/1/2 三档的判断锚点,三项阻断项单独判定,并给出 W1/W2/W3 三条负载的逐项得分与共同短板;0 分项必须在上线前解决,阻断项优先于总分,可直接拿来做一次能力评审。
三卷共用的事实表:W1 检索问答、W2 代码修复、W3 运维处置,逐项给出任务定义、时间跨度、可逆性、可验证性、延迟预算与失败影响;卷一使用的采样、注意力、KV Cache、成本模型参数也集中在本表,正文所有数字以本表为唯一来源,三卷之间不另设第二套数字。
卷一用到的术语与指标定义:条件概率、温度、top-p、KV Cache、TTFT/TPOT、SFT、RLHF/DPO、对齐、Function Calling、约束解码、CoT、RLVR/GRPO、幻觉、校准、RAG、路由与级联,逐条给出定义、计算口径与易混淆点;正文出现这些词时以本表为准,三卷共用同一套口径,可在附录 B 找到参数复算路径。
架构决策要写下来,让后来者不用考古。ADR 记录一条决策的背景、结论与后果,新决策通过 supersedes 指回旧记录,形成可追溯的决策链。实验演示缓存从进程内升级到共享、工具权限从白名单到黑名单的两次演进,说明 ADR 是治理的地基——没有记录,架构就只剩当下的代码。
纵深防御不让任何一层承担全部责任:输入校验挡不安全载荷、授权检查挡匿名角色、速率限制挡流量风暴,审计日志记录一切。实验把四层规则排成防御栈,演示干净事件放行、恶意载荷被输入校验拦截、匿名被授权拦截、超速被限流拦截,说明分层让单点失守不会全线崩溃。
先盘点资产,再把风险按可能性与影响排座次。STRIDE 提供六类威胁的检查清单:仿冒、篡改、抵赖、信息泄露、拒绝服务、权限提升。实验给四条资产挂上威胁,计算风险分并降序排列,暴露未覆盖的类别,说明威胁建模是安全的第一动作——没建模就谈不上防护。
评估新 prompt 或新 agent 时最常见的错误是跑 20 次就下结论。胜率 70% 对 64% 差异显著吗?要问置信区间与样本量。两比例 z 检验给显著性,误差界给区间,样本量公式告诉你要跑多少次。实验演示 500 次样本的 z 分数 2.018、5% 差异需要每组 784 次,说明统计有效性把评估从感觉变成证据。
模型输出是自由文本,没法逐字比对,但可以变成可复现的断言:命中关键词、满足格式、长度在界内。确定性评估把一组检查套在一个样例上,输出逐项通过与汇总比例。实验用旅行规划样例演示四项断言全过、比例 1.0,说明评估的目标是每个断言可复现——同一输出任何时候重跑结果一致。
一次多智能体任务调用哪些模型、花多少 token 与延迟、哪里失败重试,都要能回答。调用链追踪把每次模型调用记成 span 树,聚合出总量与按模型拆分两个视角。实验模拟一次旅行规划任务,演示 4 次调用、1165 token、4980 毫秒与一次重试的完整画像,说明可观测性是智能体系统的第一诊断工具。
并行拆分的子任务可能部分成功、部分失败。合成器要把成功的汇总返回、失败的计成缺项,统计完成度;有副作用的失败要进补偿计划,成功后回滚。三种合成模式——全部成功、部分成功、全部失败——对应三种返回语义。实验演示混合场景的 0.67 完成度与补偿计划,说明部分结果处理是多智能体的容错终章。
把'无限重试'变成'阶段性的重试',靠的是熔断器三态:关闭正常、打开快速失败、半开试探放行。连续失败到阈值熔断打开,打开后请求快速失败不再压下游;冷却期后半开放行一次,成功就回到关闭。实验模拟三态转换,演示 3 次失败打开、冷却后恢复、成功回关闭,说明熔断把重试从失控变成可控。
失败不是一种,而是四类:可重试、可忽略、可补偿、致命。分类决定失败如何扩散——可重试的失败重试后恢复,可忽略的被吸收,可补偿的记入补偿计划,致命的终止整条链。实验按类型跟踪失败的扩散路径,演示可重试恢复、致命扩散、可忽略吸收三种场景,说明失败处理的第一步是分类,分类错了后面全错。
多智能体互相等待对方的结果,谁也动不了,就是死锁。环检测用 DFS 找等待环,预算限制用步骤上限防失控——两种手段分别回答'环在哪里'与'何时止损'。实验实现环检测与带预算的执行,演示检测到 a-b-c-a 环、无环场景返回空、预算耗尽强制终止,说明死锁要先检测环、再用预算兜底。
多个智能体意见不一致时,谁说了算?多数仲裁数人头、平局要有裁决;优先级仲裁按权威排座次;版本仲裁按新旧的合理程度裁决。三种策略各有适用场景,可以组合——先多数、平局用优先级。实验实现三种仲裁函数并演示平局、优先级打破平局、版本裁决,说明仲裁策略是显式决策而不是默认行为。