本卷是《AI Agent 技术原理与架构》三卷本的卷二,回答一个问题:Agent 如何根据观测选择动作,如何记住、如何学习。
三卷共用三条工作负载 W1/W2/W3。卷二的重点落在 W2(代码修复,10–40 步长链路)——它最能暴露循环、终止、记忆与学习的问题;W1、W3 作为对照,检验同一判据在短任务与不可逆任务下是否仍然成立。
全书概览
| 项目 | 内容 |
|---|---|
| 书稿 | 《AI Agent 技术原理与架构·决策、记忆与学习》 |
| 篇数 | 45 篇(正文 13 章 39 节 + 序 + 前言 + 目录 + 附录 A–C) |
| 领域 | AI Agent 技术原理(决策线) |
| 贯穿负载 | W1 检索问答、W2 代码修复、W3 运维处置 |
| 实验工程 | agp-lab,Python 3.9+ 标准库零依赖 |
| 上级专题 | 书稿专题 |
怎么读这一卷
三条阅读路径
| 路径 | 章节顺序 | 建议周期 | 适合谁 |
|---|---|---|---|
| 工程师线 | 第 1–3 章 → 第 8 章 → 第 10 章 → 第 13 章 | 约 4 周 | 先建立形式模型,再看记忆与工具选择。 |
| 架构师线 | 第 2 章 → 第 4 章 → 第 6 章 → 第 9 章 | 约 3 周 | 先看终止与重规划,再谈双过程与检索。 |
| 研究线 | 第 5 章 → 第 7 章 → 第 11 章 → 第 12 章 | 约 5 周 | 搜索、反思、信用分配与学习的机制。 |
与卷一、卷三的交接
| 相邻卷 | 负责范围 | 本卷如何处理 |
|---|---|---|
| 卷一《模型、推理与能力边界》 | 模型能做什么、不能做什么 | 决策建立在能力之上,引用卷一判据,不重复 |
| 卷三《运行时、协议与系统架构》 | 动作如何被可靠执行 | 决策链要能落到运行时,状态机/幂等/故障恢复看那边 |
与站内既有书稿的分工
| 书稿 | 负责范围 | 本卷如何处理 |
|---|---|---|
| 《AI Agent 开发》三卷 | 引擎实现、框架用法 | 只给决策原理,实现看那边 |
| 《互联网产品的 AI 架构》四卷 | 网关、路由、编排、治理 | 引用架构结论,不重复 |
| 《AI Agent 产品开发》三卷 | 任务选型、自主度、放量 | 决策机制给这边,产品口径看那边 |
十三章依赖关系
| 章 | 标题 | 依赖 |
|---|---|---|
| 1 | Agent 的形式模型:POMDP、策略与信念 | 无 |
| 2 | 循环、步数与停止条件 | 依赖第 1 章的策略与轨迹 |
| 3 | CoT 的轨迹格式与可验证性 | 依赖第 1–2 章 |
| 4 | 任务分解:DAG、偏序与依赖 | 依赖第 3 章的轨迹 |
| 5 | 树搜索与 Beam | 依赖第 1、4 章 |
| 6 | 双过程:快思考与慢思考 | 依赖第 2 章的成本模型 |
| 7 | Reflexion:失败回看与反思注入 | 依赖第 2 章的失败分类 |
| 8 | 记忆分层 | 依赖第 1、3 章的轨迹 |
| 9 | 检索:召回、重排与注入位置 | 依赖第 8 章的记忆 |
| 10 | 工具选择:能力、成本与风险 | 依赖卷一第 6 章 + 第 9 章 |
| 11 | 轨迹奖励与过程奖励 | 依赖第 7、10 章 |
| 12 | SFT、RLHF/DPO、Agentic RL | 依赖第 11 章的奖励 |
| 13 | 反馈飞轮与回归门 | 汇总第 1–12 章 |
逐节索引
第 1 章 Agent 的形式模型
| 节 | 文章 | 核心内容 |
|---|---|---|
| 1.1 | 1.1 Agent 的形式模型:POMDP、策略与信念 | 状态/观测/动作/转移/奖励/信念六件套;把观测当真相是最常见的错。 |
| 1.2 | 1.2 策略、Rollout 与轨迹 | 一次运行留下什么、哪些可评测、哪些重放时丢失。 |
| 1.3 | 1.3 LLM 作为策略:提示是历史的有损压缩 | 记忆与上下文工程的本质是信念压缩。 |
第 2 章 循环、步数与停止条件
| 节 | 文章 | 核心内容 |
|---|---|---|
| 2.1 | 2.1 循环、步数与停止条件 | 终止是运行时的不变量,不是提示词的一句话。 |
| 2.2 | 2.2 进展度量与死循环检测 | 进展不涨 = 失败信号;检测比防止更重要。 |
| 2.3 | 2.3 预算、超时与强制终止 | 预算决定"跑不跑得完",超时决定"要不要止损"。 |
第 3 章 CoT 的轨迹格式与可验证性
| 节 | 文章 | 核心内容 |
|---|---|---|
| 3.1 | 3.1 CoT 的轨迹格式与可验证性 | 轨迹要能重放、能审计,才能信。 |
| 3.2 | 3.2 ReAct:思考—行动—观察的闭环 | 闭环的三段式与它的失效模式。 |
| 3.3 | 3.3 推理轨迹的失败分类 | 循环、空转、目标漂移、错误结论的分类与对策。 |
第 4 章 任务分解
| 节 | 文章 | 核心内容 |
|---|---|---|
| 4.1 | 4.1 任务分解:DAG、偏序与依赖 | 分解成可验证的子任务,依赖图要无环。 |
| 4.2 | 4.2 HTN/PDDL:计划表示与可验证性 | 显式计划表示何时值得。 |
| 4.3 | 4.3 重规划:局部修复 vs 全盘重来 | 失败后怎么改计划。 |
第 5 章 树搜索与 Beam
| 节 | 文章 | 核心内容 |
|---|---|---|
| 5.1 | 5.1 树搜索与 Beam | 搜索宽度/深度与质量/成本曲线。 |
| 5.2 | 5.2 MCTS:价值估计与探索 | 价值估计不准时搜索怎么坏。 |
| 5.3 | 5.3 搜索何时值得:成本/质量判据 | 搜索的投入产出判据。 |
第 6 章 双过程
| 节 | 文章 | 核心内容 |
|---|---|---|
| 6.1 | 6.1 双过程:快思考与慢思考 | 快慢切换的时机与代价。 |
| 6.2 | 6.2 元推理:什么时候该想 | “要不要再想一步"本身要能被计算。 |
| 6.3 | 6.3 延迟/质量/成本的三角 | 三角的边界与取舍。 |
第 7 章 Reflexion 与自我改进
| 节 | 文章 | 核心内容 |
|---|---|---|
| 7.1 | 7.1 Reflexion:失败回看与反思注入 | 失败后回看什么、注入什么。 |
| 7.2 | 7.2 Self-Refine:自我批评的失效模式 | 自我批评何时退化成自我确认。 |
| 7.3 | 7.3 验证器与奖励黑客防线 | 奖励黑客怎么绕过验证器。 |
第 8 章 记忆分层
| 节 | 文章 | 核心内容 |
|---|---|---|
| 8.1 | 8.1 记忆分层:工作/情景/语义/程序记忆 | 四层记忆各管什么、失效模式。 |
| 8.2 | 8.2 读写策略:什么该记、什么时候记 | 记忆的读写都是成本。 |
| 8.3 | 8.3 遗忘、TTL 与冲突消解 | 遗忘是设计,不是缺陷。 |
第 9 章 检索
| 节 | 文章 | 核心内容 |
|---|---|---|
| 9.1 | 9.1 检索:召回、重排与注入位置 | 检索质量的三段与注入的位置效应。 |
| 9.2 | 9.2 摘要与压缩:损失、可逆性与风险 | 压缩是有损的,损失要有度量。 |
| 9.3 | 9.3 上下文预算:分配、优先级与淘汰 | 预算分配与淘汰策略。 |
第 10 章 工具选择
| 节 | 文章 | 核心内容 |
|---|---|---|
| 10.1 | 10.1 工具选择:能力、成本与风险 | 选择判据:能、便宜、风险可控。 |
| 10.2 | 10.2 参数构造:从意图到调用 | 参数错误的类型与防线。 |
| 10.3 | 10.3 放弃与澄清:什么时候不该调用 | 不确定时放弃,比瞎调好。 |
第 11 章 轨迹奖励与过程奖励
| 节 | 文章 | 核心内容 |
|---|---|---|
| 11.1 | 11.1 轨迹奖励与过程奖励 | 只看结果 vs 看中间步骤的取舍。 |
| 11.2 | 11.2 归因方法:反事实、Shapley 与启发式 | 归因给哪一步的代价与边界。 |
| 11.3 | 11.3 信用分配的局限与评测 | 信用分配的极限,用什么评测。 |
第 12 章 学习
| 节 | 文章 | 核心内容 |
|---|---|---|
| 12.1 | 12.1 SFT:行为克隆与轨迹数据 | 行为克隆的滑移与覆盖问题。 |
| 12.2 | 12.2 RLHF/DPO:偏好与拒绝 | 偏好学习的谄媚与误拒。 |
| 12.3 | 12.3 Agentic RL:可验证奖励、GRPO 与探索 | Agent 环境的 RL 与探索/利用。 |
第 13 章 反馈飞轮与回归门
| 节 | 文章 | 核心内容 |
|---|---|---|
| 13.1 | 13.1 在线反馈与数据飞轮 | 反馈闭环什么时候才转起来。 |
| 13.2 | 13.2 能力漂移与灾难性遗忘 | 学习新东西忘掉旧的。 |
| 13.3 | 13.3 回归门与学习闭环收口 | 回归门是统计决策:样本量、阈值、规则。 |
前置与附录
| 篇 | 文章 | 用途 |
|---|---|---|
| 序 | 序 | Agent 怎么选动作 |
| 前言 | 前言 | 决策线怎么读、与卷一的交接 |
| 附录 A | A | 术语、指标与口径速查 |
| 附录 B | B | 三工作负载事实表与决策实验参数 |
| 附录 C | C | 决策与记忆评审清单 |
与其他卷的关系
上一程:卷一《模型、推理与能力边界》 (能力线)。
下一程:卷三《运行时、协议与系统架构》(执行线)。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。