posts

《AI Agent 技术原理与架构·决策、记忆与学习》 · 全书目录与章节索引(45 篇)

全 45 篇的章节索引:从 Agent 的形式模型出发,依次处理循环与停止条件、轨迹可验证性、任务分解、树搜索、双过程、Reflexion、记忆分层、检索、工具选择、奖励与信用分配、学习,最后合成为反馈飞轮与回归门;附录 B 是全书数字的唯一来源。

《AI Agent 技术原理与架构·决策、记忆与学习》全 45 篇,是《AI Agent 技术原理与架构》三卷本的卷二。三条工作负载 W1/W2/W3 贯穿三卷,全部数字见本卷附录 B。Agent 如何根据观测选择动作,如何记住、如何学习。

本页是《AI Agent 技术原理与架构·决策、记忆与学习》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。

全书概览

项目内容
书稿《AI Agent 技术原理与架构·决策、记忆与学习》
篇数45 篇(正文 13 章 39 节 + 序 + 前言 + 目录 + 附录 A–C)
领域AI Agent 技术原理(决策线)
贯穿负载W1 检索问答、W2 代码修复、W3 运维处置
实验工程agp-lab,Python 3.9+ 标准库零依赖
上级专题书稿专题

全书目录

前置与附录

节文章
—序:Agent 怎么选动作
—前言:这本书怎么读
—目录与学习路径
附 A附录 A 术语与指标
附 B附录 B 三工作负载事实表与决策实验参数
附 C附录 C 决策与记忆评审清单

第 1 章 Agent 的形式模型

节文章
1.11.1 Agent 的形式模型:POMDP、策略与信念
1.21.2 策略、Rollout 与轨迹
1.31.3 LLM 作为策略:提示是历史的有损压缩

第 2 章 循环、步数与停止条件

节文章
2.12.1 循环、步数与停止条件
2.22.2 进展度量与死循环检测
2.32.3 预算、超时与强制终止

第 3 章 CoT 的轨迹格式与可验证性

节文章
3.13.1 CoT 的轨迹格式与可验证性
3.23.2 ReAct:思考—行动—观察的闭环
3.33.3 推理轨迹的失败分类

第 4 章 任务分解

节文章
4.14.1 任务分解:DAG、偏序与依赖
4.24.2 HTN/PDDL:计划表示与可验证性
4.34.3 重规划:局部修复 vs 全盘重来

第 5 章 树搜索与 Beam

节文章
5.15.1 树搜索与 Beam
5.25.2 MCTS:价值估计与探索
5.35.3 搜索何时值得:成本/质量判据

第 6 章 双过程

节文章
6.16.1 双过程:快思考与慢思考
6.26.2 元推理:什么时候该想
6.36.3 延迟/质量/成本的三角

第 7 章 Reflexion 与自我改进

节文章
7.17.1 Reflexion:失败回看与反思注入
7.27.2 Self-Refine:自我批评的失效模式
7.37.3 验证器与奖励黑客防线

第 8 章 记忆分层

节文章
8.18.1 记忆分层:工作/情景/语义/程序记忆
8.28.2 读写策略:什么该记、什么时候记
8.38.3 遗忘、TTL 与冲突消解

第 9 章 检索

节文章
9.19.1 检索:召回、重排与注入位置
9.29.2 摘要与压缩:损失、可逆性与风险
9.39.3 上下文预算:分配、优先级与淘汰

第 10 章 工具选择

节文章
10.110.1 工具选择:能力、成本与风险
10.210.2 参数构造:从意图到调用
10.310.3 放弃与澄清:什么时候不该调用

第 11 章 轨迹奖励与过程奖励

节文章
11.111.1 轨迹奖励与过程奖励
11.211.2 归因方法:反事实、Shapley 与启发式
11.311.3 信用分配的局限与评测

第 12 章 学习

节文章
12.112.1 SFT:行为克隆与轨迹数据
12.212.2 RLHF/DPO:偏好与拒绝
12.312.3 Agentic RL:可验证奖励、GRPO 与探索

第 13 章 反馈飞轮与回归门

节文章
13.113.1 在线反馈与数据飞轮
13.213.2 能力漂移与灾难性遗忘
13.313.3 回归门与学习闭环收口

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python
books

《AI Agent 技术原理与架构·决策、记忆与学习》1.2 策略、Rollout 与轨迹:一次运行留下了什么

轨迹不是日志的附属品,而是决策系统的证据。本节把一次运行拆成观测、动作、奖励与停止原因,解释折扣回报怎么算、哪些字段缺失会让轨迹从精确重放降为只能审计,并用三条确定性 rollout 展示回报、缺失字段与可重放等级的对应关系,给出可检查的记录 schema 判据与副作用标记的建模要求。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》1.1 Agent 的形式模型:POMDP、策略与信念

“LLM + 循环”不是模型,只是实现。本节用 POMDP 把 Agent 拆成状态、观测、动作、转移、奖励与信念,解释提示词为什么只是历史的有损压缩,并用老虎问题的有限时域价值实验展示观测噪声、听声预算与决策质量的关系,最后给出五条可检查的架构判据。

11 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》前言

本书怎么来的、写给谁、与卷一的交接、决策线如何拆成形式模型、记忆与学习如何落到实验、数字与代码口径是什么、哪些内容不在范围内——读正文之前需要先知道的七件事都在这一篇里,另附最短阅读路线;最后说明每节代码块与实验工程 agp-lab 的对应关系,以及反事实实验怎么做。

4 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》序

为什么决策、记忆与学习需要单独一卷:模型能力回答能不能,决策线回答该选什么。序里给出卷二的三块核心——形式模型、决策机制、记忆与学习——如何落到 POMDP、终止条件与反事实实验上,以及它和卷一能力线、卷三执行线的交接;读完能判断 Agent 的决策质量该用什么标准衡量。

3 分钟阅读
书稿 AI Agent Agent 原理