《AI Agent 技术原理与架构·决策、记忆与学习》目录与学习路径

《AI Agent 技术原理与架构·决策、记忆与学习》的目录与学习路径:45 篇逐节索引、三条阅读路线、十三章依赖关系,以及本卷与卷一能力线、卷三执行线的交接,与站内既有 Agent 书稿的分工;读完能判断决策线哪些章节必须先读、哪些可以跳读。

本卷是《AI Agent 技术原理与架构》三卷本的卷二,回答一个问题:Agent 如何根据观测选择动作,如何记住、如何学习。

三卷共用三条工作负载 W1/W2/W3。卷二的重点落在 W2(代码修复,10–40 步长链路)——它最能暴露循环、终止、记忆与学习的问题;W1、W3 作为对照,检验同一判据在短任务与不可逆任务下是否仍然成立。

全书概览

项目内容
书稿《AI Agent 技术原理与架构·决策、记忆与学习》
篇数45 篇(正文 13 章 39 节 + 序 + 前言 + 目录 + 附录 A–C)
领域AI Agent 技术原理(决策线)
贯穿负载W1 检索问答、W2 代码修复、W3 运维处置
实验工程agp-lab,Python 3.9+ 标准库零依赖
上级专题书稿专题

怎么读这一卷

三条阅读路径

路径章节顺序建议周期适合谁
工程师线第 1–3 章 → 第 8 章 → 第 10 章 → 第 13 章约 4 周先建立形式模型,再看记忆与工具选择。
架构师线第 2 章 → 第 4 章 → 第 6 章 → 第 9 章约 3 周先看终止与重规划,再谈双过程与检索。
研究线第 5 章 → 第 7 章 → 第 11 章 → 第 12 章约 5 周搜索、反思、信用分配与学习的机制。

与卷一、卷三的交接

相邻卷负责范围本卷如何处理
卷一《模型、推理与能力边界》模型能做什么、不能做什么决策建立在能力之上,引用卷一判据,不重复
卷三《运行时、协议与系统架构》动作如何被可靠执行决策链要能落到运行时,状态机/幂等/故障恢复看那边

与站内既有书稿的分工

书稿负责范围本卷如何处理
《AI Agent 开发》三卷引擎实现、框架用法只给决策原理,实现看那边
《互联网产品的 AI 架构》四卷网关、路由、编排、治理引用架构结论,不重复
《AI Agent 产品开发》三卷任务选型、自主度、放量决策机制给这边,产品口径看那边

十三章依赖关系

章标题依赖
1Agent 的形式模型:POMDP、策略与信念无
2循环、步数与停止条件依赖第 1 章的策略与轨迹
3CoT 的轨迹格式与可验证性依赖第 1–2 章
4任务分解:DAG、偏序与依赖依赖第 3 章的轨迹
5树搜索与 Beam依赖第 1、4 章
6双过程:快思考与慢思考依赖第 2 章的成本模型
7Reflexion:失败回看与反思注入依赖第 2 章的失败分类
8记忆分层依赖第 1、3 章的轨迹
9检索:召回、重排与注入位置依赖第 8 章的记忆
10工具选择:能力、成本与风险依赖卷一第 6 章 + 第 9 章
11轨迹奖励与过程奖励依赖第 7、10 章
12SFT、RLHF/DPO、Agentic RL依赖第 11 章的奖励
13反馈飞轮与回归门汇总第 1–12 章

逐节索引

第 1 章 Agent 的形式模型

节文章核心内容
1.11.1 Agent 的形式模型:POMDP、策略与信念状态/观测/动作/转移/奖励/信念六件套;把观测当真相是最常见的错。
1.21.2 策略、Rollout 与轨迹一次运行留下什么、哪些可评测、哪些重放时丢失。
1.31.3 LLM 作为策略:提示是历史的有损压缩记忆与上下文工程的本质是信念压缩。

第 2 章 循环、步数与停止条件

节文章核心内容
2.12.1 循环、步数与停止条件终止是运行时的不变量,不是提示词的一句话。
2.22.2 进展度量与死循环检测进展不涨 = 失败信号;检测比防止更重要。
2.32.3 预算、超时与强制终止预算决定"跑不跑得完",超时决定"要不要止损"。

第 3 章 CoT 的轨迹格式与可验证性

节文章核心内容
3.13.1 CoT 的轨迹格式与可验证性轨迹要能重放、能审计,才能信。
3.23.2 ReAct:思考—行动—观察的闭环闭环的三段式与它的失效模式。
3.33.3 推理轨迹的失败分类循环、空转、目标漂移、错误结论的分类与对策。

第 4 章 任务分解

节文章核心内容
4.14.1 任务分解:DAG、偏序与依赖分解成可验证的子任务,依赖图要无环。
4.24.2 HTN/PDDL:计划表示与可验证性显式计划表示何时值得。
4.34.3 重规划:局部修复 vs 全盘重来失败后怎么改计划。

第 5 章 树搜索与 Beam

节文章核心内容
5.15.1 树搜索与 Beam搜索宽度/深度与质量/成本曲线。
5.25.2 MCTS:价值估计与探索价值估计不准时搜索怎么坏。
5.35.3 搜索何时值得:成本/质量判据搜索的投入产出判据。

第 6 章 双过程

节文章核心内容
6.16.1 双过程:快思考与慢思考快慢切换的时机与代价。
6.26.2 元推理:什么时候该想“要不要再想一步"本身要能被计算。
6.36.3 延迟/质量/成本的三角三角的边界与取舍。

第 7 章 Reflexion 与自我改进

节文章核心内容
7.17.1 Reflexion:失败回看与反思注入失败后回看什么、注入什么。
7.27.2 Self-Refine:自我批评的失效模式自我批评何时退化成自我确认。
7.37.3 验证器与奖励黑客防线奖励黑客怎么绕过验证器。

第 8 章 记忆分层

节文章核心内容
8.18.1 记忆分层:工作/情景/语义/程序记忆四层记忆各管什么、失效模式。
8.28.2 读写策略:什么该记、什么时候记记忆的读写都是成本。
8.38.3 遗忘、TTL 与冲突消解遗忘是设计,不是缺陷。

第 9 章 检索

节文章核心内容
9.19.1 检索:召回、重排与注入位置检索质量的三段与注入的位置效应。
9.29.2 摘要与压缩:损失、可逆性与风险压缩是有损的,损失要有度量。
9.39.3 上下文预算:分配、优先级与淘汰预算分配与淘汰策略。

第 10 章 工具选择

节文章核心内容
10.110.1 工具选择:能力、成本与风险选择判据:能、便宜、风险可控。
10.210.2 参数构造:从意图到调用参数错误的类型与防线。
10.310.3 放弃与澄清:什么时候不该调用不确定时放弃,比瞎调好。

第 11 章 轨迹奖励与过程奖励

节文章核心内容
11.111.1 轨迹奖励与过程奖励只看结果 vs 看中间步骤的取舍。
11.211.2 归因方法:反事实、Shapley 与启发式归因给哪一步的代价与边界。
11.311.3 信用分配的局限与评测信用分配的极限,用什么评测。

第 12 章 学习

节文章核心内容
12.112.1 SFT:行为克隆与轨迹数据行为克隆的滑移与覆盖问题。
12.212.2 RLHF/DPO:偏好与拒绝偏好学习的谄媚与误拒。
12.312.3 Agentic RL:可验证奖励、GRPO 与探索Agent 环境的 RL 与探索/利用。

第 13 章 反馈飞轮与回归门

节文章核心内容
13.113.1 在线反馈与数据飞轮反馈闭环什么时候才转起来。
13.213.2 能力漂移与灾难性遗忘学习新东西忘掉旧的。
13.313.3 回归门与学习闭环收口回归门是统计决策:样本量、阈值、规则。

前置与附录

篇文章用途
序序Agent 怎么选动作
前言前言决策线怎么读、与卷一的交接
附录 AA术语、指标与口径速查
附录 BB三工作负载事实表与决策实验参数
附录 CC决策与记忆评审清单

与其他卷的关系

上一程:卷一《模型、推理与能力边界》 (能力线)。

下一程:卷三《运行时、协议与系统架构》(执行线)。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图