《AI Agent 技术原理与架构·决策、记忆与学习》全 45 篇,是《AI Agent 技术原理与架构》三卷本的卷二。三条工作负载 W1/W2/W3 贯穿三卷,全部数字见本卷附录 B。Agent 如何根据观测选择动作,如何记住、如何学习。
本页是《AI Agent 技术原理与架构·决策、记忆与学习》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。
全书概览
| 项目 | 内容 |
|---|---|
| 书稿 | 《AI Agent 技术原理与架构·决策、记忆与学习》 |
| 篇数 | 45 篇(正文 13 章 39 节 + 序 + 前言 + 目录 + 附录 A–C) |
| 领域 | AI Agent 技术原理(决策线) |
| 贯穿负载 | W1 检索问答、W2 代码修复、W3 运维处置 |
| 实验工程 | agp-lab,Python 3.9+ 标准库零依赖 |
| 上级专题 | 书稿专题 |
全书目录
前置与附录
| 节 | 文章 |
|---|---|
| — | 序:Agent 怎么选动作 |
| — | 前言:这本书怎么读 |
| — | 目录与学习路径 |
| 附 A | 附录 A 术语与指标 |
| 附 B | 附录 B 三工作负载事实表与决策实验参数 |
| 附 C | 附录 C 决策与记忆评审清单 |
第 1 章 Agent 的形式模型
| 节 | 文章 |
|---|---|
| 1.1 | 1.1 Agent 的形式模型:POMDP、策略与信念 |
| 1.2 | 1.2 策略、Rollout 与轨迹 |
| 1.3 | 1.3 LLM 作为策略:提示是历史的有损压缩 |
第 2 章 循环、步数与停止条件
| 节 | 文章 |
|---|---|
| 2.1 | 2.1 循环、步数与停止条件 |
| 2.2 | 2.2 进展度量与死循环检测 |
| 2.3 | 2.3 预算、超时与强制终止 |
第 3 章 CoT 的轨迹格式与可验证性
| 节 | 文章 |
|---|---|
| 3.1 | 3.1 CoT 的轨迹格式与可验证性 |
| 3.2 | 3.2 ReAct:思考—行动—观察的闭环 |
| 3.3 | 3.3 推理轨迹的失败分类 |
第 4 章 任务分解
| 节 | 文章 |
|---|---|
| 4.1 | 4.1 任务分解:DAG、偏序与依赖 |
| 4.2 | 4.2 HTN/PDDL:计划表示与可验证性 |
| 4.3 | 4.3 重规划:局部修复 vs 全盘重来 |
第 5 章 树搜索与 Beam
| 节 | 文章 |
|---|---|
| 5.1 | 5.1 树搜索与 Beam |
| 5.2 | 5.2 MCTS:价值估计与探索 |
| 5.3 | 5.3 搜索何时值得:成本/质量判据 |
第 6 章 双过程
| 节 | 文章 |
|---|---|
| 6.1 | 6.1 双过程:快思考与慢思考 |
| 6.2 | 6.2 元推理:什么时候该想 |
| 6.3 | 6.3 延迟/质量/成本的三角 |
第 7 章 Reflexion 与自我改进
| 节 | 文章 |
|---|---|
| 7.1 | 7.1 Reflexion:失败回看与反思注入 |
| 7.2 | 7.2 Self-Refine:自我批评的失效模式 |
| 7.3 | 7.3 验证器与奖励黑客防线 |
第 8 章 记忆分层
| 节 | 文章 |
|---|---|
| 8.1 | 8.1 记忆分层:工作/情景/语义/程序记忆 |
| 8.2 | 8.2 读写策略:什么该记、什么时候记 |
| 8.3 | 8.3 遗忘、TTL 与冲突消解 |
第 9 章 检索
| 节 | 文章 |
|---|---|
| 9.1 | 9.1 检索:召回、重排与注入位置 |
| 9.2 | 9.2 摘要与压缩:损失、可逆性与风险 |
| 9.3 | 9.3 上下文预算:分配、优先级与淘汰 |
第 10 章 工具选择
| 节 | 文章 |
|---|---|
| 10.1 | 10.1 工具选择:能力、成本与风险 |
| 10.2 | 10.2 参数构造:从意图到调用 |
| 10.3 | 10.3 放弃与澄清:什么时候不该调用 |
第 11 章 轨迹奖励与过程奖励
| 节 | 文章 |
|---|---|
| 11.1 | 11.1 轨迹奖励与过程奖励 |
| 11.2 | 11.2 归因方法:反事实、Shapley 与启发式 |
| 11.3 | 11.3 信用分配的局限与评测 |
第 12 章 学习
| 节 | 文章 |
|---|---|
| 12.1 | 12.1 SFT:行为克隆与轨迹数据 |
| 12.2 | 12.2 RLHF/DPO:偏好与拒绝 |
| 12.3 | 12.3 Agentic RL:可验证奖励、GRPO 与探索 |
第 13 章 反馈飞轮与回归门
| 节 | 文章 |
|---|---|
| 13.1 | 13.1 在线反馈与数据飞轮 |
| 13.2 | 13.2 能力漂移与灾难性遗忘 |
| 13.3 | 13.3 回归门与学习闭环收口 |
相关阅读
- 书稿专题 :站内全部书稿的入口。
- 《AI Agent 技术原理与架构·模型、推理与能力边界》 :三卷本卷一,能力线。
- 《AI Agent 技术原理与架构·运行时、协议与系统架构》 :三卷本卷三,执行线。
- 《AI Agent 开发》三卷 :同一主题的工程实现线。