《AI Agent 技术原理与架构·运行时、协议与系统架构》3.2 并发上限、背压与取消
消费者跟不上时,无界队列会无限积压,有界队列让生产者等待——这就是背压。实验模拟三种模式的生产—消费,统计最大积压,并用取消令牌演示任务在执行前就能被放弃。结论是并发上限要设,背压要把积压限制在容量内,取消要能传播到尚未执行的任务。背压的本质不是拒绝,而是用有限队列把生产速率压到与消费速率匹配,让积压有上界。
category
消费者跟不上时,无界队列会无限积压,有界队列让生产者等待——这就是背压。实验模拟三种模式的生产—消费,统计最大积压,并用取消令牌演示任务在执行前就能被放弃。结论是并发上限要设,背压要把积压限制在容量内,取消要能传播到尚未执行的任务。背压的本质不是拒绝,而是用有限队列把生产速率压到与消费速率匹配,让积压有上界。
高优先级任务持续到达时,严格优先级会让低优先级队列彻底饿死。实验用固定到达序列跑两种调度器:严格优先级把所有时间片给了高优先级,加权公平(DRR)按权重配额轮转,保证每个队列的最小份额。结论是高优先级要有优先权但不能无限优先,公平调度把优先权从占满改成配额。
崩溃发生在哪一步,决定了恢复用什么手段:没执行的步骤可重放,副作用已发生未确认的步骤需要幂等重试或补偿,不可逆的副作用只能对账。实验对三步事务注入五个崩溃点,返回各自的恢复方案矩阵,说明为什么不能把恢复策略写死成一种,以及故障注入为什么必须成为发布流程的一部分。
Agent 的一次任务用状态机表达,才有资格谈执行语义。状态机由三件事组成:状态、事件驱动的转移、守卫。守卫是转移的业务前提,失败时状态不变并留下原因。实验实现一个 W3 审批状态机,演示守卫校验、非法事件拒绝,说明 2.2 的事件溯源与幂等副作用为什么要建立在状态机之上。
上一节的四角色不是平等的,它们之间有依赖方向:接入层依赖领域层,领域层依赖基础设施层。反向依赖让故障与变更沿错误方向传播,循环依赖则让先构建谁都无法回答。实验用依赖图检查器同时检反向边与环,演示一条反向边如何直接制造出闭环,并给出依赖不变量应该怎么检查。
1.1 拆出了三个平面,这一节把它具体成四个角色:引擎编排、服务承接 API、Worker 执行副作用、存储保存事实。每个角色有自己的权限边界,越权就是架构违规。实验演示授权违规如何被检出,以及串联链路的可用性为什么是乘积,还有 Worker 绕过服务直接对外时故障如何扩大。
Agent 的一次运行可以拆成三个平面:控制面决定做什么、执行面承担副作用、数据面记录事实。三者的故障可恢复性完全不同,拆开它们才知道该把重试、幂等与审计分别放在哪一层。本节用同一份计划跑四类故障注入,量化副作用次数,给出 W1/W2/W3 各自的最低平面要求。
回归门不是拍一个阈值就完事:样本量太小会放过退化,下界规则太严又会拒掉改进。本节用二项分布精确计算点估计门与 Wilson 下界门的误放率、误拒率和基线通过率,展示 200 条样本下门为什么会把与基线相同的候选拒掉六成,并给出把回归门写进学习闭环的五条判据。
能力漂移不是模型突然变笨,而是训练分布移动后旧能力被新数据挤掉。本节用双技能模型扫描新旧任务混合比例,量化新任务提升与旧任务遗忘的交换关系,说明为什么纯新数据会把旧能力压到接近零,并给出把混合比例、回归评测、灰度回滚与旧能力阈值写进架构的五条判据和常见失效边界。
线上反馈不是随机样本:失败会话更容易沉默,成功会话更容易被报告,这是结构性偏差,增加样本量也不会消失。本节用确定性的分桶模型演示非响应偏差如何让重训数据偏离部署分布,比较朴素重训与逆概率加权在六轮闭环后的收益差距,并给出数据飞轮在生产环境中的五条架构判据、常见失效边界与检查表。
Agent 的 RL 与棋盘游戏 RL 的关键区别是奖励可验证:只认结果,不认“看起来合理”。本节用二元奖励演示 GRPO 组内相对优势与退化组问题,用精确公式量化有效信号随组大小与难度如何变化,并用 pass@k 与多档奖励说明探索预算和梯度信号的关系。
偏好对齐不学“好答案”,只学“更受欢迎”的相对顺序。本节用五个有固定真实效用的候选答案建模标注噪声,用 MM 算法拟合 Bradley-Terry 分数。实验展示噪声抬高 0.35 后排序翻转、比较次数只压方差不压偏差,说明偏好数据要区分噪声与数据量。
SFT 的第一课是数据决定上限:策略只能学到演示里出现过的行为。本节用四种工单的确定性动作序列演示三类数据问题——专家覆盖不足、标签噪声、轨迹级成功过滤——并展示步级准确率在长轨迹上如何指数级复合衰减,说明覆盖决定上限、噪声决定下限、过滤依赖可验证标签。
归因方法再好也有天花板。本节用三步轨迹模型展示三个局限:日志关联不等于因果贡献、增加样本只能消除方差不能消除策略偏差、从不缺席的动作无法识别。实验对比真实效应与日志关联,并用 L1 误差展示样本量增大时误差收敛到非零下限,把归因评测的判据落到实处。
轨迹奖励只给一个总数,功劳要分到每个动作上。本节在五步小轨迹上比较精确归因(反事实、Shapley)与启发式(末步、均分),模型小到可精确枚举。实验展示 Shapley 满足效率性、能识别权重为零的无用步骤,而反事实低估互补步骤、启发式把功劳错分给无贡献步骤。
奖励要么只在终点给,要么拆成过程奖励。过程奖励能加速学习,但设计错了会奖励错误行为。本节用取钥匙开门的走廊任务比较三种信号:稀疏奖励、基于势能的进度奖励、给“原地等待”发奖励。实验展示进度塑形把首次成功从 20 回合提前到 10,而错误的塑形会让 Agent 停在原地。
Agent 不是每件事都该调用工具。本节把“调不调”建模成三个动作的期望效用:调用、澄清、放弃。以 p 表示无需澄清即可正确执行的概率,对三类负载扫描 p 得到动作边界。实验展示不可逆动作的门槛远高于只读动作,以及没有澄清通道时 W3 只能放弃,说明“不调用”与“澄清”是必需的动作空间成员。
把自然语言意图变成一次工具调用,中间要经过四道关:未知参数、必填缺失、类型转换、取值约束。本节用参数构造实验对一组固定输入做错误分类,说明任何一关失败都不应产生“半成品调用”,并给出槽位提取、无损转换与带病调用的判别判据,把调用前校验变成系统的一等公民。
工具选择不是“挑能力最强的那个”。同一个任务下,能力、成本与风险共同决定一次调用是否合格。本节用六条跨 W1/W2/W3 的任务比较四种选择策略,按正确、选错工具、不安全三类归因,说明风险必须做成硬门禁而不是打分里的扣分项,并给出选择记录与归因的架构判据。
上下文窗口是有限预算,每个条目都有 token 成本、效用和关键性。本节把上下文组装形式化为带硬约束的背包问题,用四种策略在四个预算档位上比较关键覆盖率与效用保留率,说明为什么“效用最高”不等于“任务可执行”,并给出分配、淘汰、降级三层可检查的架构判据。