posts

《AI Agent 技术原理与架构·决策、记忆与学习》 · 全书目录与章节索引(45 篇)

全 45 篇的章节索引:从 Agent 的形式模型出发,依次处理循环与停止条件、轨迹可验证性、任务分解、树搜索、双过程、Reflexion、记忆分层、检索、工具选择、奖励与信用分配、学习,最后合成为反馈飞轮与回归门;附录 B 是全书数字的唯一来源。

《AI Agent 技术原理与架构·决策、记忆与学习》全 45 篇,是《AI Agent 技术原理与架构》三卷本的卷二。三条工作负载 W1/W2/W3 贯穿三卷,全部数字见本卷附录 B。Agent 如何根据观测选择动作,如何记住、如何学习。

本页是《AI Agent 技术原理与架构·决策、记忆与学习》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。

全书概览

项目内容
书稿《AI Agent 技术原理与架构·决策、记忆与学习》
篇数45 篇(正文 13 章 39 节 + 序 + 前言 + 目录 + 附录 A–C)
领域AI Agent 技术原理(决策线)
贯穿负载W1 检索问答、W2 代码修复、W3 运维处置
实验工程agp-lab,Python 3.9+ 标准库零依赖
上级专题书稿专题

全书目录

前置与附录

节文章
—序:Agent 怎么选动作
—前言:这本书怎么读
—目录与学习路径
附 A附录 A 术语与指标
附 B附录 B 三工作负载事实表与决策实验参数
附 C附录 C 决策与记忆评审清单

第 1 章 Agent 的形式模型

节文章
1.11.1 Agent 的形式模型:POMDP、策略与信念
1.21.2 策略、Rollout 与轨迹
1.31.3 LLM 作为策略:提示是历史的有损压缩

第 2 章 循环、步数与停止条件

节文章
2.12.1 循环、步数与停止条件
2.22.2 进展度量与死循环检测
2.32.3 预算、超时与强制终止

第 3 章 CoT 的轨迹格式与可验证性

节文章
3.13.1 CoT 的轨迹格式与可验证性
3.23.2 ReAct:思考—行动—观察的闭环
3.33.3 推理轨迹的失败分类

第 4 章 任务分解

节文章
4.14.1 任务分解:DAG、偏序与依赖
4.24.2 HTN/PDDL:计划表示与可验证性
4.34.3 重规划:局部修复 vs 全盘重来

第 5 章 树搜索与 Beam

节文章
5.15.1 树搜索与 Beam
5.25.2 MCTS:价值估计与探索
5.35.3 搜索何时值得:成本/质量判据

第 6 章 双过程

节文章
6.16.1 双过程:快思考与慢思考
6.26.2 元推理:什么时候该想
6.36.3 延迟/质量/成本的三角

第 7 章 Reflexion 与自我改进

节文章
7.17.1 Reflexion:失败回看与反思注入
7.27.2 Self-Refine:自我批评的失效模式
7.37.3 验证器与奖励黑客防线

第 8 章 记忆分层

节文章
8.18.1 记忆分层:工作/情景/语义/程序记忆
8.28.2 读写策略:什么该记、什么时候记
8.38.3 遗忘、TTL 与冲突消解

第 9 章 检索

节文章
9.19.1 检索:召回、重排与注入位置
9.29.2 摘要与压缩:损失、可逆性与风险
9.39.3 上下文预算:分配、优先级与淘汰

第 10 章 工具选择

节文章
10.110.1 工具选择:能力、成本与风险
10.210.2 参数构造:从意图到调用
10.310.3 放弃与澄清:什么时候不该调用

第 11 章 轨迹奖励与过程奖励

节文章
11.111.1 轨迹奖励与过程奖励
11.211.2 归因方法:反事实、Shapley 与启发式
11.311.3 信用分配的局限与评测

第 12 章 学习

节文章
12.112.1 SFT:行为克隆与轨迹数据
12.212.2 RLHF/DPO:偏好与拒绝
12.312.3 Agentic RL:可验证奖励、GRPO 与探索

第 13 章 反馈飞轮与回归门

节文章
13.113.1 在线反馈与数据飞轮
13.213.2 能力漂移与灾难性遗忘
13.313.3 回归门与学习闭环收口

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python
books

《AI Agent 技术原理与架构·决策、记忆与学习》8.1 记忆分层:工作/情景/语义/程序记忆

把 Agent 记忆拆成工作、情景、语义、程序四层,逐层说明每层该存什么、由谁写入、保留多久、检索时按什么优先级进入上下文,并说明 token 成本从哪来;再用一个容量受限的分层实验展示工作记忆淘汰、情景记忆的重复携带与语义去重的收益,最后给出可检查的记忆架构判据与按层核算成本的判据表。

11 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》7.3 验证器与奖励黑客防线

验证器看到的不是真实质量,而是代理指标;优化代理指标会压垮真实质量。本节用“真实质量 + 漏洞利用度”的候选池实验展示:检查的候选越多,代理分单调上升,但选中答案的真实质量在某一点急剧下降。并说明独立证据门能挡住漏洞候选,却恢复不了被放弃的高质量答案。

7 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》7.2 Self-Refine:自我批评的失效模式

让模型批评自己的输出看起来免费,实际有结构性的失效模式。本节用缺陷分层模型比较四种策略:不改进、同源自我批评、独立验证、先自我批评再独立验证。实验展示同源批评的收益集中在表层缺陷、会在正确输出上造成回退,并解释为什么独立验证通常优于自我批评。

8 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》7.1 Reflexion:失败回看与反思注入

Reflexion 让 Agent 在失败后回看轨迹、写反思并注入下一次尝试。本节把失败模式、轨迹可诊断性与修正率显式建模,比较不反思、通用提醒、针对性反思与错误归因四种策略的重试成功率,说明反思的价值来自证据定位,并给出反思存储、注入范围与防过拟合的架构判据。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》6.2 元推理:什么时候该想

元推理不是“想得越多越好”,而是在不确定性、风险与难度信号下决定何时值得慢想。本节用十个小任务比较全快、全慢、不确定度门、风险门与事后最优的期望成本,拆解信号噪声、阈值误判与失败代价如何改变结论,并给出可落地的路由判据、审计要求与六条常见错误检查。

11 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》6.1 双过程:快思考与慢思考

同一个 Agent 不该用同一套模型处理所有任务:简单的用快路径,难的用慢路径。本节把任务按难度分档,用阈值路由实验比较全快、全慢与按阈值路由的成功率、成本、延迟与期望效用,说明快慢路径的切换点取决于难度信号的质量,并给出元推理之外的架构判据。

8 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》5.3 搜索何时值得:成本/质量判据

前两节讲了搜索怎么做,这一节讲什么时候根本不该搜。搜索用预算换成功率,但成功率提升递减、成本线性增长。本节用期望效用把成功率、失败代价与搜索成本折成一个数字,演示为每条任务算出最优预算,并给出“边际增益为负就不搜”的判据与适用边界,避免为低概率高成本任务过度搜索。

8 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》5.1 树搜索与 Beam

Beam Search 的宽度是一个成本旋钮。本节用带噪声启发式的完整树做确定性实验,比较宽度 1 到 64 的节点评估次数与命中率:窄束便宜但容易剪掉最优分支,宽束接近穷举。实验给出命中率随宽度上升、成本线性上升的曲线,并讨论 Agent 计划搜索中宽度、评分与剪枝依据的选择,以及 W1/W2/W3 的取舍。

8 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》4.3 重规划:局部修复 vs 全盘重来

失效范围决定重规划策略。本节把计划看成带依赖的步骤图,用失效闭包界定局部修复的边界,并用规划成本、二次失败风险与回退成本计算局部修复和全盘重来的期望成本。实验显示小范围局部修复更优,范围扩大后全盘重来同时赢回成本与可靠性,最后在 W1/W2/W3 上给出不同策略与五条架构判据。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》4.2 HTN/PDDL:计划表示与可验证性

上一节说了依赖图,这一节说计划本身:分解用什么表示、校验怎么进行。HTN 负责把复合任务递归拆成原始动作,PDDL 式的动作模型负责判断一串动作在给定状态下能否执行、执行后是否达到目标。实验用发布流程演示完整计划、漏测计划与未知动作三种校验结果。

8 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》4.1 任务分解:DAG、偏序与依赖

把任务拆成子任务不难,难的是把“谁依赖谁”说清楚。本节用有向无环图建模任务分解:依赖必须构成 DAG,才能做拓扑排序与关键路径计算;有环说明计划自相矛盾。实验给出七节点修复计划的拓扑序、最早开始/完成时间与关键路径,并解释为什么“检测到环”比“猜一个顺序”更安全。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》3.3 推理轨迹的失败分类

一次失败运行往往同时留下多个症状:解析失败、工具报错、任务没完成。本节把轨迹失败拆成解析、工具、推理、终止四个阶段,用八条手工轨迹比较“首个失败”和“任一失败”两种归因口径,说明为什么按症状统计会把终止问题放大,并给出按阶段归因的评测判据。

8 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》3.2 ReAct:思考—行动—观察的闭环

ReAct 不是一个提示词模板,而是一个带解析、执行与终止约束的运行时循环。本节用脚本化的模型输出实现最小执行器,分别注入解析失败、未知工具、工具异常和死循环,观察四种中断分别在哪一层被捕获,并给出把解析、工具与终止分开统计的循环设计判据。

10 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》3.1 CoT 的轨迹格式与可验证性

CoT 的价值不在于把思考写成散文,而在于留下可重放、可追溯的轨迹。本节定义步骤、动作、观测与证据引用四类字段,用一个校验器检查三条手工轨迹的完整性与证据覆盖率,解释缺证据与悬空引用两种失败,并给出把 trace 变成可评测、可回归资产的六条架构判据。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》2.3 预算、超时与强制终止

预算不是提示词里的提醒,而是运行时的强制约束。本节把 token、金额、时间、步数四类预算放进统一的使用统计,比较无预算、到限硬停与越过软阈值降级三种策略,说明强制终止必须留下部分结果与原因,并给出预算分配、超限降级与结果保留的设计判据,让超限行为有明确默认处置。

7 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》2.2 进展度量与死循环检测

“看起来在动”不等于“在进展”。本节把进展拆成四个可计算信号:状态差分、目标距离、动作指纹与状态哈希,用两条确定性轨迹演示停滞、重复动作与状态复现的判定,说明死循环检测必须基于状态哈希而不是人类对日志的直觉,并给出进展信号与循环检测的工程判据。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》1.3 LLM 作为策略:提示是历史的有损压缩

提示不是历史的副本,而是有损压缩。本节把压缩损失分成事实、不确定性与时间三类,用十项任务历史比较四种压缩策略的关键约束保留率与字符代价,说明为什么“只留事实”或“只留最近”都会丢掉决策所必需的约束,并给出以“决策所需约束是否保住”为准的提示组装判据。

8 分钟阅读
书稿 AI Agent Agent 原理