卷一回答了"模型能做什么",这一卷回答下一个问题:Agent 怎么根据观测选择动作。
这个问题经常被淹没在"多 Agent"“工具调用"“提示工程"这些热闹话题里,但它才是决定一个 Agent 有没有用的核心。能力再强,选择错了方向,结果就是错误地执行。
一、决策不能靠感觉
工程书喜欢把决策写成几段提示词:“请一步一步思考"“请调用合适的工具”。这些写法不是错的,但它们把决策当成了黑盒——用一个 prompt 描述,然后期待模型做对。
决策线的主张是:把决策拆成能计算、能验证的形式模型。 状态是什么、观测是什么、策略是什么、什么时候停,每一项都能写下来、算出来、在什么条件下失效。
这不是学术洁癖。W2 代码修复这种 10–40 步的任务,每一步选错了都可能带偏方向;没有"进展度量"和"终止条件”,循环就不知道什么时候该停——于是有了死循环。
二、三块核心
卷二由三块核心组织:
| 块 | 回答的问题 | 落在哪 |
|---|---|---|
| 形式模型 | Agent 的决策结构是什么、怎么定义 | 第 1 章 POMDP、第 4 章计划、第 5 章搜索 |
| 决策机制 | 在给定结构下,怎么选更好 | 第 2 章终止、第 6 章双过程、第 7 章反思 |
| 记忆与学习 | 经验怎么被记住、怎么变成更好的决策 | 第 8 章记忆、第 9 章检索、第 10–13 章学习 |
三块不是并列的三个话题,是一条链:先有形式(能定义),再有机制(能选),最后有记忆与学习(能变好)。 缺形式,机制无从谈起;缺记忆,学习没有载体。
三、与卷一的交接
决策线的输入是能力线。卷一决定"这个动作模型能不能做”,卷二决定"这个动作该不该选”。 能力是决策的约束,不是决策本身。
最典型的误读是"模型会 Function Calling,所以它知道该调什么"。卷一已经说明,Function Calling 是能力;卷二要回答的是,在多个工具、多步任务里怎么选。能力不回答选择,选择需要决策机制。
四、与卷三的交接
决策线的输出交给执行线。卷二决定"选什么动作",卷三决定"动作怎么被可靠执行"。 决策链上每一步都要能在卷三的运行时里落地:状态记录、幂等、故障恢复。
这也意味着决策不能只写在提示词里。决策要能落成运行时可以执行的结构——策略、计划、终止条件——否则卷三的状态机没有输入。
五、反事实实验
卷二反复使用同一个实验方法:反事实实验。 改一个变量(记忆开/关、搜索深度、反思轮数),看决策质量变不变。
| 实验 | 改什么 | 看什么 |
|---|---|---|
| 终止条件 | 步数上限 | 死循环 vs 提前停 |
| 记忆 | 有没有历史 | 决策质量变化 |
| 搜索 | 树深度 | 质量/成本曲线 |
反事实实验是"为什么成立"的证据形式:它回答的不是"这个 Agent 好用",而是"这个机制到底贡献了什么"。没有对照的实验,结论不可信。
六、一个判断
如果卷二只能留下一句话,我希望是这一句:
Agent 的决策质量,用"在什么条件下选对、什么条件下选错、错了能不能发现"来衡量,而不是用"它看起来聪明"来衡量。
聪明的表现容易让人放松警惕。形式模型把"聪明"变成可检查的结构——状态、观测、策略、终止条件。结构齐了,才知道它在哪里会坏。
从第 1 章的形式模型开始。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。