以下数字均为教学假设,不构成对任何真实系统或供应商的承诺。老虎问题的参数、奖励与听声准确率只用于展示形式模型的计算方式,不代表任何生产环境的最优配置。
“Agent 就是一个 LLM 加一个循环。”这句话在工程上够用,在分析上不够用。它没有告诉你:Agent 看见的是什么、它能做什么、它为什么停下来、它怎么知道自己做对了。没有这些,你无法判断一个失败是模型能力不够、观测缺失、动作空间设计错了,还是终止条件没写。
这一节用一个经典的形式模型把这些说清楚:部分可观测马尔可夫决策过程,简称 POMDP。它不是为了把 Agent 变成数学题,而是为了给出一套可以检查的词汇。读完这一节,你应该能对任何一个 Agent 设计问出五个问题:状态是什么、观测是什么、动作是什么、奖励是什么、什么时候停。
从“LLM + 循环”到 POMDP
POMDP 的标准定义是一个七元组 $(S, A, T, O, Z, R, \gamma)$。放到 Agent 的语境里,每个元素都有对应的工程对象:
| 元素 | 数学含义 | Agent 里的对应物 | 常见错误 |
|---|---|---|---|
| $S$ | 环境状态集合 | 任务真实状态:文件是否已改、订单是否已退款、服务是否已重启 | 把聊天记录当状态 |
| $A$ | 动作集合 | 工具调用、文本回复、提问、停止、拒绝 | 只把工具调用当动作 |
| $T$ | 转移函数 $P(s’ \mid s, a)$ | 工具副作用、外部系统变化、用户响应 | 假设动作一定成功 |
| $O$ | 观测集合 | 工具返回值、用户消息、日志、屏幕截图 | 假设观测完整、及时、可信 |
| $Z$ | 观测函数 $P(o \mid s’, a)$ | 返回值可能延迟、截断、报错、被权限过滤 | 把观测当真相 |
| $R$ | 奖励函数 | 任务成功、成本、延迟、风险、用户满意度 | 只定义“成功”,不定义代价 |
| $\gamma$ | 折扣因子或时域 | 长任务的步数预算、超时、终止条件 | 让模型自己决定何时停 |
这个映射最重要的作用是区分环境状态和Agent 看到的东西。环境状态是真实的:订单到底有没有退款、文件到底有没有改。观测是 Agent 收到的:工具返回了什么、用户说了什么、日志显示了什么。两者之间可能有时延、截断、错误和权限过滤。把所有观测当成真相,是 Agent 设计里最常见、也最隐蔽的错误。
第二个作用是区分模型和策略。LLM 不是整个 Agent,它只是一个策略的一部分:给定一段提示,输出下一个 token 的分布。真正的策略还包括运行时的动作校验、工具执行、重试、终止和人工审批。把 LLM 当 Agent,会导致一个错误的预期:只要模型足够强,系统就会可靠。实际上,模型再强,也补不了观测缺失、动作空间未声明和终止条件缺失。
信念是历史的压缩
POMDP 里有一个关键对象:信念状态 $b_t(s) = P(s \mid h_t)$,其中 $h_t$ 是从开始到现在的完整历史。信念是对历史的充分统计量:给定信念,你不需要回看每一步,就能做出和回看历史一样好的决策。
LLM 没有显式的信念状态。它看到的是一个提示 $p_t$,而提示是历史的有损压缩:
$$
p_t = \text{compress}(h_t)
$$
压缩可能丢掉三类信息:
- 事实:用户早先说过的约束、工具返回过的关键字段、已经确认过的结论。
- 不确定性:某个结论是模型猜的,还是工具查到的;某个字段是完整的,还是被截断的。
- 时间:哪条信息更新、哪条信息已经过期;工具结果是不是上一轮的。
这就是为什么“上下文工程”和“记忆”在 Agent 里如此重要:它们不是给模型多塞一点文本,而是在做信念压缩。压缩得好,模型能在有限的上下文里做出接近全历史决策;压缩得差,模型会基于残缺或过期的信念行动,而且它自己不知道。
一个可落地的架构要求是:把信念状态从原始对话里拆出来。至少要有四类字段:
| 字段 | 内容 | 例子 |
|---|---|---|
| 任务状态 | 已完成、进行中、待确认、失败 | “已定位到订单,尚未退款” |
| 已知事实 | 工具确认过的事实,带来源 | “订单 123 状态为已支付,来源:订单服务” |
| 未决问题 | 还需要确认什么 | “退款金额是否包含运费” |
| 置信与风险 | 哪些结论是猜的,哪些动作不可逆 | “金额来自模型推断,置信中;退款不可逆” |
原始对话仍然保留,但它是证据,不是状态。状态可以被检查、被交接、被重放;对话不能。
策略:从观测到动作
策略写作 $\pi(a \mid b_t)$ 或 $\pi(a \mid h_t)$:给定信念或历史,输出动作。LLM 给出的是一个 token 分布,经过解析和校验后才变成动作。这中间至少有三道关口:
- 解析:模型输出的文本是否构成一个合法的动作。JSON 解析失败、工具名不存在、参数类型不对,都属于这一关。
- 校验:动作在当前状态下是否允许。比如“退款”在“未确认订单”状态下不应该被允许;“重启”在没有审批时不应该被执行。
- 执行:动作是否真的产生了预期效果。工具可能超时、返回错误、部分成功,或者产生副作用但响应丢失。
把这三道关口都塞进“模型能力”里,是另一种常见错误。模型可以负责“建议动作”,但不能负责“动作合法”和“动作生效”。后两者是运行时的不变量。
策略还有一个容易忽略的维度:动作空间里必须包含“不行动”。停止、提问、要求澄清、拒绝执行,都是合法动作。一个只会调用工具的 Agent,在观测不足时会倾向于“先做点什么”,而不是承认信息不够;这会把一个本可以澄清的问题变成一次不可逆的副作用。
终止与奖励
终止条件不是提示词里的一句“完成后请停止”。它是运行时的不变量,至少包含四层:
| 层级 | 条件 | 失败形态 |
|---|---|---|
| 任务层 | 目标达成、明确的失败、用户取消 | 目标漂移,做了很多事但没有完成原任务 |
| 步数层 | 最大步数、最大工具调用次数 | 死循环,成本线性增长 |
| 时间层 | 单步超时、总时长预算 | 长任务挂起,用户不知道还要等多久 |
| 资源层 | token 预算、金额预算、并发配额 | 成本失控,或者被上游限流 |
奖励函数同样不能省。没有奖励,你无法判断“这次运行比上次好”,也无法做 A/B 或回归。Agent 的奖励通常不是单一标量,而是多维的:任务成功率、引用准确率、延迟、成本、风险事件。多维奖励不一定要合成一个分数,但必须在优化之前定义清楚,否则优化会朝着最容易测量的那一维跑偏。
最小实验:老虎问题
老虎问题是 POMDP 的经典最小例子:老虎在左门或右门后面,Agent 看不见;它可以花一次代价听一声(有噪声),也可以直接开一扇门。开对门得到奖励,开错门受到重罚。这个模型足够小,可以精确计算;又足够真实,能展示“观测有噪声时,多听一次是否值得”。
参数如下(均为教学设定):
| 参数 | 值 |
|---|---|
| 状态 | tiger_left、tiger_right |
| 动作 | listen、open_left、open_right |
| 观测 | hear_left、hear_right |
| 听声准确率 | 0.85 |
| 听一次奖励 | −1 |
| 开对门奖励 | +10 |
| 开错门奖励 | −100 |
| 初始信念 | P(tiger_left) = 0.5 |
信念更新用贝叶斯公式。听到“左边”之后:
$$
b’ = \frac{0.85 \cdot b}{0.85 \cdot b + 0.15 \cdot (1-b)}
$$
听到“右边”则把 $0.85$ 和 $0.15$ 对调。下面的实验穷举信念树,计算“最多允许听 k 次”时的最优期望价值。状态只有两个,所以不需要近似方法,计算是精确的。
# file: agp_lab/pomdp.py | write
# tier: 2
# verify: python3 -m unittest tests.test_pomdp
"""老虎问题的有限时域 POMDP:信念更新、策略与价值计算。
状态只有两个:老虎在左门或右门。Agent 看不见状态,只能选择听一声
(有噪声)或直接开门。开门后回合结束。这个最小模型足以演示三件事:
1. 信念是对历史的充分统计量;
2. 观测有噪声时,“多听一次”有价值,但价值会递减;
3. 策略的输入必须是信念,而不是最近一次观测。
"""
from __future__ import annotations
from dataclasses import dataclass
TIGER_LEFT = "tiger_left"
TIGER_RIGHT = "tiger_right"
STATES = (TIGER_LEFT, TIGER_RIGHT)
LISTEN = "listen"
OPEN_LEFT = "open_left"
OPEN_RIGHT = "open_right"
ACTIONS = (LISTEN, OPEN_LEFT, OPEN_RIGHT)
HEAR_LEFT = "hear_left"
HEAR_RIGHT = "hear_right"
OBSERVATIONS = (HEAR_LEFT, HEAR_RIGHT)
ACCURACY = 0.85
LISTEN_REWARD = -1.0
CORRECT_REWARD = 10.0
WRONG_REWARD = -100.0
def update_belief(belief_left: float, observation: str, accuracy: float = ACCURACY) -> float:
"""给定先验 P(tiger_left) 与一次听声观测,返回后验 P(tiger_left)。"""
if not 0.0 <= belief_left <= 1.0:
raise ValueError("belief_left 必须在 [0, 1] 内")
if not 0.0 <= accuracy <= 1.0:
raise ValueError("accuracy 必须在 [0, 1] 内")
if observation == HEAR_LEFT:
numerator = accuracy * belief_left
denominator = accuracy * belief_left + (1.0 - accuracy) * (1.0 - belief_left)
elif observation == HEAR_RIGHT:
numerator = (1.0 - accuracy) * belief_left
denominator = (1.0 - accuracy) * belief_left + accuracy * (1.0 - belief_left)
else:
raise ValueError(f"未知观测: {observation}")
if denominator == 0.0:
raise ValueError("观测与先验矛盾,无法归一化")
return numerator / denominator
def open_value(belief_left: float, door: str) -> float:
"""开某一扇门的期望奖励;belief_left = P(tiger_left)。"""
if door == OPEN_LEFT:
return CORRECT_REWARD * (1.0 - belief_left) + WRONG_REWARD * belief_left
if door == OPEN_RIGHT:
return CORRECT_REWARD * belief_left + WRONG_REWARD * (1.0 - belief_left)
raise ValueError(f"不是开门动作: {door}")
def best_open(belief_left: float) -> tuple[str, float]:
"""返回期望奖励更高的开门动作及其价值。"""
left_value = open_value(belief_left, OPEN_LEFT)
right_value = open_value(belief_left, OPEN_RIGHT)
if left_value >= right_value:
return OPEN_LEFT, left_value
return OPEN_RIGHT, right_value
def expected_value(
max_listens: int,
belief_left: float = 0.5,
listens: int = 0,
accuracy: float = ACCURACY,
) -> float:
"""最多允许 max_listens 次听声时的最优期望价值。
这是对信念树的穷举:每个节点比较“立即开门”和“听一声再继续”。
状态空间只有两个,所以不需要 alpha-vector 等近似方法。
"""
if max_listens < 0:
raise ValueError("max_listens 不能为负")
_, open_reward = best_open(belief_left)
if listens >= max_listens:
return open_reward
after_left = update_belief(belief_left, HEAR_LEFT, accuracy)
after_right = update_belief(belief_left, HEAR_RIGHT, accuracy)
listen_reward = (
LISTEN_REWARD
+ accuracy * expected_value(max_listens, after_left, listens + 1, accuracy)
+ (1.0 - accuracy) * expected_value(max_listens, after_right, listens + 1, accuracy)
)
return max(open_reward, listen_reward)
def optimal_action(
max_listens: int,
belief_left: float = 0.5,
listens: int = 0,
accuracy: float = ACCURACY,
) -> str:
"""返回当前信念下的最优动作,用于观察策略形状。"""
open_action, open_reward = best_open(belief_left)
if listens >= max_listens:
return open_action
after_left = update_belief(belief_left, HEAR_LEFT, accuracy)
after_right = update_belief(belief_left, HEAR_RIGHT, accuracy)
listen_reward = (
LISTEN_REWARD
+ accuracy * expected_value(max_listens, after_left, listens + 1, accuracy)
+ (1.0 - accuracy) * expected_value(max_listens, after_right, listens + 1, accuracy)
)
if listen_reward > open_reward:
return LISTEN
return open_action
@dataclass(frozen=True)
class Row:
max_listens: int
value: float
first_action: str
posterior_after_hear_left: float
def value_table(max_listens: int = 4) -> list[Row]:
"""输出 0..max_listens 次听声预算下的最优价值与首动作。"""
rows: list[Row] = []
for budget in range(max_listens + 1):
rows.append(
Row(
max_listens=budget,
value=expected_value(budget),
first_action=optimal_action(budget),
posterior_after_hear_left=update_belief(0.5, HEAR_LEFT),
)
)
return rows
if __name__ == "__main__":
print(f"{'听声预算':<8}{'最优价值':>10}{'首动作':>12}{'听左后验':>12}")
for row in value_table(4):
print(
f"{row.max_listens:<8}{row.value:>10.3f}"
f"{row.first_action:>12}{row.posterior_after_hear_left:>12.3f}"
)
运行:
cd private/labs/agp-lab
python3 -m agp_lab.pomdp
输出:
听声预算 最优价值 首动作 听左后验
0 -45.000 open_left 0.850
1 -7.500 listen 0.850
2 -3.738 listen 0.850
3 1.062 listen 0.850
4 2.022 listen 0.850
这张表说明三件事:
- 没有观测时,决策很差。 预算为 0 时只能按先验开门,期望价值是 −45。
- 观测有噪声,但仍然有价值。 允许听一次后,价值从 −45 提升到 −7.5;听两次到 −3.738;听三次转正,为 1.062。
- 价值递增,但边际递减。 从 1 次到 2 次提升 3.762,从 2 次到 3 次提升 4.800,从 3 次到 4 次只提升 0.960。继续增加听声次数,收益会越来越小,最终被每次 −1 的成本吃掉。
这里最容易被误读的是“多听总是更好”。正确结论是:在给定的奖励、噪声和预算下,存在一个最优的观测次数;超过它,继续观测的期望收益抵不过成本。 生产系统里还要叠加延迟预算:W3 的告警处置窗口可能只有几十秒,听三次的期望价值再高,也可能来不及。
另一个容易误读的是“首动作永远是 listen”。表里预算 ≥1 时首动作确实是 listen,但这只是在初始信念 0.5、噪声 0.85、奖励 −100/+10 这组参数下的结果。换一组参数,最优策略可能变成“先开一扇门,错了再补偿”,也可能变成“先听一次,听到明确信号才开门”。形式模型的价值不是给出固定答案,而是让你能算出答案,并知道它在什么参数下会变。
把形式模型落到架构
POMDP 不是学术装饰。它直接推出五条架构要求:
- 声明动作空间。 工具 schema 只是动作空间的一部分;停止、提问、澄清、拒绝都必须是显式动作,并且有明确的触发条件。
- 定义观测契约。 每个观测要带来源、时间、是否截断、是否可信;权限过滤后的空结果和“真的没有数据”必须能区分。
- 把信念状态做成一等对象。 任务状态、已知事实、未决问题、置信与风险要能被读取、交接和重放,不能只埋在对话历史里。
- 把终止与预算写成运行时约束。 步数、时间、token、金额、并发都要有上限;达到上限时要有确定的失败语义,而不是让模型“再试一次”。
- 先定义奖励,再优化。 任务成功、引用准确、延迟、成本、风险事件要在评测里写清楚;否则优化只会朝最容易测量的方向跑。
这五条也可以用一张检查表来问:
| 检查项 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 状态 | 有独立的任务状态对象 | 只有聊天记录 |
| 观测 | 有来源、时间、截断标记 | 工具返回什么就信什么 |
| 动作 | 包含停止、提问、拒绝 | 只有工具调用 |
| 奖励 | 多维、可计算、可回归 | 只看“用户说好” |
| 终止 | 运行时强制,有预算 | 提示词里写“完成后停止” |
小结
- “LLM + 循环”是实现描述,不是形式模型;POMDP 给出了状态、观测、动作、转移、奖励与信念的词汇。
- 环境状态和观测必须分开;把观测当真相,是 Agent 设计里最常见的隐蔽错误。
- 提示词是历史的有损压缩;记忆与上下文工程的本质是信念压缩,不是多塞文本。
- 策略的输出要经过解析、校验、执行三道关口;模型只负责建议,运行时要负责合法与生效。
- 终止条件是运行时的不变量,不是提示词里的一句话;奖励必须在优化之前定义。
- 老虎问题说明:观测有噪声时仍然有价值,但存在最优观测次数,超过后边际收益抵不过成本。
- 形式模型的价值是让你能算出“在什么参数下成立”,而不是背一个固定结论。
下一节会把策略展开成 rollout 与轨迹:一次运行到底留下了什么、哪些信息可以用于评测、哪些信息在重放时会丢失。
阅读导航:上一节:目录与学习路径 · 下一节:1.2 策略、Rollout 与轨迹:一次运行留下了什么 。
常见错误与边界
- 把提示词当状态。 提示词是压缩后的历史,不是完整状态;一旦压缩丢掉约束或时间信息,模型会在残缺信念上做决定。
- 把工具 schema 当完整动作空间。 停止、提问、澄清、拒绝都是动作;缺少这些动作,Agent 会用“继续执行”来应对信息不足。
- 把模型输出当动作。 模型输出的是 token 分布,经过解析和校验后才成为动作;跳过校验,等于把非法动作直接交给外部系统。
- 把终止交给提示词。 “完成后停止”不是约束;没有步数、时间、token、金额上限,死循环只是时间问题。
- 把奖励等同于用户满意。 用户满意可能来自“说了好听的话”,而不是任务完成;奖励必须包含可验证的结果与风险事件。
- 把 POMDP 当学术装饰。 如果形式化没有推出可检查的架构判据,它就只是术语堆砌;这一节的标准是五条检查表都能落到代码或流程里。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。