posts

《AI Agent 技术原理与架构·决策、记忆与学习》 · 全书目录与章节索引(45 篇)

全 45 篇的章节索引:从 Agent 的形式模型出发,依次处理循环与停止条件、轨迹可验证性、任务分解、树搜索、双过程、Reflexion、记忆分层、检索、工具选择、奖励与信用分配、学习,最后合成为反馈飞轮与回归门;附录 B 是全书数字的唯一来源。

《AI Agent 技术原理与架构·决策、记忆与学习》全 45 篇,是《AI Agent 技术原理与架构》三卷本的卷二。三条工作负载 W1/W2/W3 贯穿三卷,全部数字见本卷附录 B。Agent 如何根据观测选择动作,如何记住、如何学习。

本页是《AI Agent 技术原理与架构·决策、记忆与学习》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。

全书概览

项目内容
书稿《AI Agent 技术原理与架构·决策、记忆与学习》
篇数45 篇(正文 13 章 39 节 + 序 + 前言 + 目录 + 附录 A–C)
领域AI Agent 技术原理(决策线)
贯穿负载W1 检索问答、W2 代码修复、W3 运维处置
实验工程agp-lab,Python 3.9+ 标准库零依赖
上级专题书稿专题

全书目录

前置与附录

节文章
—序:Agent 怎么选动作
—前言:这本书怎么读
—目录与学习路径
附 A附录 A 术语与指标
附 B附录 B 三工作负载事实表与决策实验参数
附 C附录 C 决策与记忆评审清单

第 1 章 Agent 的形式模型

节文章
1.11.1 Agent 的形式模型:POMDP、策略与信念
1.21.2 策略、Rollout 与轨迹
1.31.3 LLM 作为策略:提示是历史的有损压缩

第 2 章 循环、步数与停止条件

节文章
2.12.1 循环、步数与停止条件
2.22.2 进展度量与死循环检测
2.32.3 预算、超时与强制终止

第 3 章 CoT 的轨迹格式与可验证性

节文章
3.13.1 CoT 的轨迹格式与可验证性
3.23.2 ReAct:思考—行动—观察的闭环
3.33.3 推理轨迹的失败分类

第 4 章 任务分解

节文章
4.14.1 任务分解:DAG、偏序与依赖
4.24.2 HTN/PDDL:计划表示与可验证性
4.34.3 重规划:局部修复 vs 全盘重来

第 5 章 树搜索与 Beam

节文章
5.15.1 树搜索与 Beam
5.25.2 MCTS:价值估计与探索
5.35.3 搜索何时值得:成本/质量判据

第 6 章 双过程

节文章
6.16.1 双过程:快思考与慢思考
6.26.2 元推理:什么时候该想
6.36.3 延迟/质量/成本的三角

第 7 章 Reflexion 与自我改进

节文章
7.17.1 Reflexion:失败回看与反思注入
7.27.2 Self-Refine:自我批评的失效模式
7.37.3 验证器与奖励黑客防线

第 8 章 记忆分层

节文章
8.18.1 记忆分层:工作/情景/语义/程序记忆
8.28.2 读写策略:什么该记、什么时候记
8.38.3 遗忘、TTL 与冲突消解

第 9 章 检索

节文章
9.19.1 检索:召回、重排与注入位置
9.29.2 摘要与压缩:损失、可逆性与风险
9.39.3 上下文预算:分配、优先级与淘汰

第 10 章 工具选择

节文章
10.110.1 工具选择:能力、成本与风险
10.210.2 参数构造:从意图到调用
10.310.3 放弃与澄清:什么时候不该调用

第 11 章 轨迹奖励与过程奖励

节文章
11.111.1 轨迹奖励与过程奖励
11.211.2 归因方法:反事实、Shapley 与启发式
11.311.3 信用分配的局限与评测

第 12 章 学习

节文章
12.112.1 SFT:行为克隆与轨迹数据
12.212.2 RLHF/DPO:偏好与拒绝
12.312.3 Agentic RL:可验证奖励、GRPO 与探索

第 13 章 反馈飞轮与回归门

节文章
13.113.1 在线反馈与数据飞轮
13.213.2 能力漂移与灾难性遗忘
13.313.3 回归门与学习闭环收口

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python
books

《AI Agent 技术原理与架构·决策、记忆与学习》附录 A 术语与口径

卷二用到的术语与指标定义:POMDP、策略、信念、轨迹、终止条件、任务分解、搜索、双过程、反思、记忆分层、检索、工具选择、奖励与信用分配、行为克隆、偏好学习、回归门,逐条给出定义、计算口径与易混淆点;正文出现这些词时以本表为准,三卷共用同一套口径。

4 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》13.3 回归门与学习闭环收口

回归门不是拍一个阈值就完事:样本量太小会放过退化,下界规则太严又会拒掉改进。本节用二项分布精确计算点估计门与 Wilson 下界门的误放率、误拒率和基线通过率,展示 200 条样本下门为什么会把与基线相同的候选拒掉六成,并给出把回归门写进学习闭环的五条判据。

10 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》13.2 能力漂移与灾难性遗忘

能力漂移不是模型突然变笨,而是训练分布移动后旧能力被新数据挤掉。本节用双技能模型扫描新旧任务混合比例,量化新任务提升与旧任务遗忘的交换关系,说明为什么纯新数据会把旧能力压到接近零,并给出把混合比例、回归评测、灰度回滚与旧能力阈值写进架构的五条判据和常见失效边界。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》13.1 在线反馈与数据飞轮

线上反馈不是随机样本:失败会话更容易沉默,成功会话更容易被报告,这是结构性偏差,增加样本量也不会消失。本节用确定性的分桶模型演示非响应偏差如何让重训数据偏离部署分布,比较朴素重训与逆概率加权在六轮闭环后的收益差距,并给出数据飞轮在生产环境中的五条架构判据、常见失效边界与检查表。

10 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》12.1 SFT:行为克隆与轨迹数据

SFT 的第一课是数据决定上限:策略只能学到演示里出现过的行为。本节用四种工单的确定性动作序列演示三类数据问题——专家覆盖不足、标签噪声、轨迹级成功过滤——并展示步级准确率在长轨迹上如何指数级复合衰减,说明覆盖决定上限、噪声决定下限、过滤依赖可验证标签。

8 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》11.3 信用分配的局限与评测

归因方法再好也有天花板。本节用三步轨迹模型展示三个局限:日志关联不等于因果贡献、增加样本只能消除方差不能消除策略偏差、从不缺席的动作无法识别。实验对比真实效应与日志关联,并用 L1 误差展示样本量增大时误差收敛到非零下限,把归因评测的判据落到实处。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》11.2 归因方法:反事实、Shapley 与启发式

轨迹奖励只给一个总数,功劳要分到每个动作上。本节在五步小轨迹上比较精确归因(反事实、Shapley)与启发式(末步、均分),模型小到可精确枚举。实验展示 Shapley 满足效率性、能识别权重为零的无用步骤,而反事实低估互补步骤、启发式把功劳错分给无贡献步骤。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》11.1 轨迹奖励与过程奖励

奖励要么只在终点给,要么拆成过程奖励。过程奖励能加速学习,但设计错了会奖励错误行为。本节用取钥匙开门的走廊任务比较三种信号:稀疏奖励、基于势能的进度奖励、给“原地等待”发奖励。实验展示进度塑形把首次成功从 20 回合提前到 10,而错误的塑形会让 Agent 停在原地。

7 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》10.3 放弃与澄清:什么时候不该调用

Agent 不是每件事都该调用工具。本节把“调不调”建模成三个动作的期望效用:调用、澄清、放弃。以 p 表示无需澄清即可正确执行的概率,对三类负载扫描 p 得到动作边界。实验展示不可逆动作的门槛远高于只读动作,以及没有澄清通道时 W3 只能放弃,说明“不调用”与“澄清”是必需的动作空间成员。

7 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》10.2 参数构造:从意图到调用

把自然语言意图变成一次工具调用,中间要经过四道关:未知参数、必填缺失、类型转换、取值约束。本节用参数构造实验对一组固定输入做错误分类,说明任何一关失败都不应产生“半成品调用”,并给出槽位提取、无损转换与带病调用的判别判据,把调用前校验变成系统的一等公民。

8 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》10.1 工具选择:能力、成本与风险

工具选择不是“挑能力最强的那个”。同一个任务下,能力、成本与风险共同决定一次调用是否合格。本节用六条跨 W1/W2/W3 的任务比较四种选择策略,按正确、选错工具、不安全三类归因,说明风险必须做成硬门禁而不是打分里的扣分项,并给出选择记录与归因的架构判据。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》9.3 上下文预算:分配、优先级与淘汰

上下文窗口是有限预算,每个条目都有 token 成本、效用和关键性。本节把上下文组装形式化为带硬约束的背包问题,用四种策略在四个预算档位上比较关键覆盖率与效用保留率,说明为什么“效用最高”不等于“任务可执行”,并给出分配、淘汰、降级三层可检查的架构判据。

10 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》9.2 摘要与压缩:损失、可逆性与风险

长上下文塞不下时,压缩是必然选择,但压缩不是免费的:保留什么、丢失什么,取决于截断策略而不取决于“关键”。本节用固定事实表演示压缩率与整体保留率、关键事实保留率的关系,说明截断位置决定损失分布、压缩不可逆,并给出摘要丢失审计与关键事实保护的判据。

7 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》9.1 检索:召回、重排与注入位置

检索不是一次查询,而是两阶段分工:第一阶段用词重叠把相关文档捞进候选池,第二阶段加标题权重把正确文档排到最前。本节用固定小语料演示召回与 top-1 精度的差异、重排的价值,以及注入位置如何衰减证据权重,并给出三阶段检索与注入位置的架构判据。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》8.3 遗忘、TTL 与冲突消解

把遗忘当作记忆系统的一等功能:用 TTL 把陈旧答案换成“不知道”,用 source_rank 与写入时间消解同键冲突;通过一个版本时间线实验比较无 TTL、长 TTL 与短 TTL 下的正确率、陈旧率与缺失率,说明过期、覆盖与审计为什么必须一起设计,最后给出可检查的判据表。

9 分钟阅读
书稿 AI Agent Agent 原理
books

《AI Agent 技术原理与架构·决策、记忆与学习》8.2 读写策略:什么该记、什么时候记

把 Agent 的“该不该记”拆成值判断与时机判断:用重要性、置信度、新颖度加权成写入分数,用任务边界决定何时提交;通过扫描阈值观察召回率、噪声率与 token 成本如何一起变化,说明缓冲写入在崩溃时为什么会丢数据,并区分排练式写入与持久写入,最后给出按负载配置的读写判据。

10 分钟阅读
书稿 AI Agent Agent 原理