《AI Agent 技术原理与架构·决策、记忆与学习》附录 A 术语与口径

卷二用到的术语与指标定义:POMDP、策略、信念、轨迹、终止条件、任务分解、搜索、双过程、反思、记忆分层、检索、工具选择、奖励与信用分配、行为克隆、偏好学习、回归门,逐条给出定义、计算口径与易混淆点;正文出现这些词时以本表为准,三卷共用同一套口径。

本附录定义卷二出现的核心术语与指标。正文使用这些词时,以本表的口径为准;同一概念不在别处另设定义。

一、形式模型

POMDP

部分可观测马尔可夫决策过程。六件套:状态、观测、动作、转移、奖励、信念。状态是真实环境,观测是 Agent 能看到的,信念是对状态的估计。

策略(Policy)

从信念/上下文到动作的映射。在 LLM Agent 里,策略由提示词 + 上下文 + 解码参数实现。

信念(Belief)

Agent 对当前状态的概率估计。观测有噪声时,信念仍然有价值;提示词与记忆工程本质是信念压缩。

Rollout / 轨迹(Trajectory)

一次运行留下的完整记录:观测序列、动作序列、中间状态、结果。轨迹是可评测、可重放的最小单位。

终止条件

决定 Agent 何时停止的运行时规则。是运行时的不变量,不是提示词里的一句话。常见的失败是"没有终止条件导致的死循环"。

二、循环与停止

步数上限 / 预算

一次运行允许的最大步数或最大 token/成本。预算决定"跑不跑得完",超时决定"要不要止损"。

进展度量

衡量"这一步之后离目标更近了吗"的指标。进展不涨 = 失败信号,是死循环检测的基础。

强制终止

超时或超预算时强制结束运行。强制终止必须有记录(reason),否则无法复盘。

三、轨迹与计划

CoT(思维链)

把中间推理步骤写进输出。轨迹格式要可验证:步骤可重放、可审计,才值得信。

ReAct

思考—行动—观察的循环闭环。三段式可能退化成重复试错,需要进展度量。

任务分解

把大任务拆成可验证的子任务,形成 DAG 依赖图。分解的关键判据:每个子任务有可判定验收。

HTN / PDDL

显式的计划表示语言。可验证,但表示成本高,何时值得要看任务结构。

重规划

计划失败后重新安排。局部修复 vs 全盘重来的判据是失败的影响范围。

四、搜索与推理

保留 top-k 个候选路径的搜索。宽度 vs 深度决定质量/成本曲线。

MCTS

蒙特卡洛树搜索:价值估计 + 探索。价值估计不准时搜索会偏向错误方向。

双过程

快思考(快速、便宜、易错)与慢思考(慢、贵、准确)的切换。切换时机本身要能被计算。

元推理

“要不要再想一步"的推理。元推理的成本要算进总成本。

Reflexion / Self-Refine

失败后回看并注入反思;自我批评循环。失效模式:自我确认、奖励黑客。

五、记忆与检索

记忆分层

工作记忆(当前上下文)/ 情景记忆(具体经历)/ 语义记忆(通用事实)/ 程序记忆(技能)。四层各管什么、各自的失效模式。

读写策略

什么该记、什么时候记、什么时候读。记忆的读写都是成本。

TTL / 遗忘

记忆的过期时间。遗忘是设计,不是缺陷;冲突消解要有规则。

召回 / 重排 / 注入位置

检索的三段。注入位置影响信息被利用的程度(Lost in the Middle)。

六、工具与奖励

工具选择

在多个工具间选择。判据:能力、成本、风险。不确定时放弃,比瞎调好。

参数构造

从意图到一次带参调用。参数错误的类型:类型错、范围错、引用错。

轨迹奖励 vs 过程奖励

只看最终结果 vs 看中间步骤的奖励。过程奖励可解释,但更易被游戏化。

信用分配

把奖励归因到轨迹的哪一步。反事实、Shapley 与启发式的代价与边界。

七、学习

行为克隆(SFT)

用专家轨迹训练。滑移:训练分布外的状态开始犯错。

偏好学习(RLHF/DPO)

用人类偏好训练。谄媚:模型学会说"对的话"而不是"真的话”;误拒:过分保守。

Agentic RL

在 Agent 环境里做强化学习。可验证奖励是基础,GRPO 是其中一种优化;探索/利用是核心权衡。

回归门

判断"这个变更值得上线"的统计决策。由样本量、阈值、规则组成,决定误放率、误拒率与基线通过率。

八、易混淆点

  1. 状态与观测:观测不是真相,信念才是对真相的估计。
  2. 提示词与终止条件:提示词要求"别死循环"不是终止条件,运行时的不变量才算。
  3. 记忆与上下文:记忆是跨任务的持久层,上下文是当前任务的窗口,两者机制不同。
  4. 轨迹奖励与过程奖励:一个可证伪但难解释,一个可解释但易被游戏化。
  5. SFT 与 RLHF:行为克隆学"怎么做",偏好学习学"哪个更好",失效模式不同。
  6. 回归门的显著 vs 实用:统计显著不等于值得上线,还要看效应量与错误预算。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图