以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
偏好学习用“人更喜欢哪个回答”做信号,可验证奖励(RLVR, Reinforcement Learning with Verifiable Rewards)换了一个更硬的信号:答案是否与标准答案一致、代码是否通过测试、数学结果是否可被符号检查器验证。它不需要训练奖励模型,也不依赖标注者的主观判断;奖励来自一个可以重复执行的验证器。
这带来两个好处:信号更客观,训练更稳定;也带来两个边界:只有能被验证的任务才能用,且模型会优化验证器的漏洞。 推理模型的能力提升,很大程度上来自“把可验证任务上的成功经验迁移到不可验证任务”,而不是“模型突然学会了通用思考”。
从偏好奖励到可验证奖励
| 信号 | 来源 | 优点 | 风险 |
|---|---|---|---|
| 人类偏好 | 标注者比较 | 覆盖开放任务 | 主观、长度/风格偏差 |
| 奖励模型 | 偏好数据训练 | 可批量打分 | 奖励黑客、分布外失真 |
| 可验证奖励 | 答案/测试/检查器 | 客观、可重复 | 只覆盖可验证任务 |
| 混合信号 | 以上组合 | 覆盖更广 | 权重难调、归因困难 |
可验证奖励不一定是“完全正确”。它可以是单元测试通过、SQL 查询结果一致、数学表达式等价、引用片段存在。关键是验证器要独立于策略:不能让模型自己判断自己对不对。
GRPO 在做什么
近端策略优化(PPO)通常需要一个价值网络(critic)估计基线,再用优势函数更新策略。GRPO(Group Relative Policy Optimization)去掉了 critic:对同一个问题采样一组回答,用组内奖励的均值作为基线,用标准差归一化得到优势:
$$
A_i = \frac{r_i - \operatorname{mean}(r)}{\operatorname{std}(r)}
$$
然后对每个回答做策略梯度更新,并加一个相对参考策略的 KL 惩罚,防止策略跑得太远。直观地说:组内比平均好的回答被提高概率,比平均差的被降低概率。 不需要单独学习“这个状态值多少”。
| 组件 | PPO | GRPO |
|---|---|---|
| 价值网络 | 需要 | 不需要 |
| 基线 | critic 估计 | 组内均值 |
| 采样 | 通常单条/小批 | 同一问题一组 |
| 主要超参 | 裁剪、GAE、critic 学习率 | 组大小、KL 系数 |
组大小是关键超参。组太小,均值和方差估计不稳;组太大,采样成本上升。对可验证任务,组内奖励常常是 0/1,方差在“全对”或“全错”时为 0,这时优势全为 0,更新没有信号。训练需要保证组内有对有错,或者用更细的奖励(部分分、步骤分)。
最小实验:组相对优势与策略更新
下面的实验实现可验证奖励、组相对优势、标量 GRPO 损失和一次策略更新。它不训练真实模型,只展示“奖励如何变成优势、优势如何推动对数概率”。
# file: agp_lab/rlvr.py | write
# tier: 3
# verify: python3 -m unittest tests.test_rlvr
"""可验证奖励与 GRPO 的组相对优势:一个标量策略梯度玩具。"""
from __future__ import annotations
import math
def verifiable_reward(answer: str, expected: str) -> float:
"""只给可判定的结果发奖励,不给“看起来合理”的中间文本发奖励。"""
return 1.0 if answer.strip() == expected.strip() else 0.0
def group_advantages(rewards: list[float], eps: float = 1e-6) -> list[float]:
if not rewards:
raise ValueError("组不能为空")
mean = sum(rewards) / len(rewards)
variance = sum((reward - mean) ** 2 for reward in rewards) / len(rewards)
std = math.sqrt(variance)
if std < eps:
return [0.0 for _ in rewards]
return [(reward - mean) / (std + eps) for reward in rewards]
def grpo_loss(logp: float, ref_logp: float, advantage: float,
beta: float = 0.01) -> float:
"""策略梯度项 + 相对参考策略的 KL 惩罚(标量示意)。"""
if beta < 0:
raise ValueError("beta 不能为负")
ratio = math.exp(logp - ref_logp)
return -advantage * ratio + beta * (logp - ref_logp) ** 2
def update_logp(logp: float, advantage: float, lr: float = 0.1) -> float:
"""优势为正时提高该回答的对数概率,为负时降低。"""
return logp + lr * advantage
if __name__ == "__main__":
rewards = [1.0, 0.0, 0.0, 0.0]
advantages = group_advantages(rewards)
print("rewards:", rewards)
print("advantages:", [round(value, 3) for value in advantages])
for reward, advantage in zip(rewards, advantages):
updated = update_logp(-1.0, advantage)
print(f"reward={reward:.0f} advantage={advantage:+.3f} logp={updated:+.3f}")
print("loss:", round(grpo_loss(-1.0, -1.1, 1.0), 4))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.rlvr
输出:
rewards: [1.0, 0.0, 0.0, 0.0]
advantages: [1.732, -0.577, -0.577, -0.577]
reward=1 advantage=+1.732 logp=-0.827
reward=0 advantage=-0.577 logp=-1.058
reward=0 advantage=-0.577 logp=-1.058
reward=0 advantage=-0.577 logp=-1.058
四条回答里只有一条通过验证器,奖励为 1,其余为 0。组内均值 0.25,标准差约 0.433;归一化后,正确回答的优势是 +1.732,错误回答是 -0.577。这个不对称很重要:一组里只有一个正确答案时,正确样本的更新权重远大于错误样本。
更新后的对数概率:正确回答从 -1.0 升到 -0.827,错误回答降到 -1.058。方向符合预期:提高正确回答的概率,降低错误回答的概率。真实训练里,更新会同时影响所有 token 的概率,并受 KL 惩罚约束;这里只用一个标量代表“该回答的对数概率”。
grpo_loss 的输出 -1.1051 是“优势项 + KL 项”的标量示意,不是可直接优化的真实损失。它的作用是提醒:GRPO 不是只有奖励,还有一个把策略拉回参考模型的约束;没有这个约束,策略可能为了奖励而破坏语言能力。
可验证奖励的边界
| 边界 | 表现 | 应对 |
|---|---|---|
| 覆盖有限 | 开放写作、策略判断没有验证器 | 混合偏好信号或人工评估 |
| 验证器有漏洞 | 改测试、猜答案、利用格式 | 隐藏测试、独立验证、对抗样本 |
| 奖励稀疏 | 一组全错或全对,优势为 0 | 课程学习、部分分、增大组 |
| 分布偏移 | 训练题和线上题不同 | 评测集覆盖真实分布 |
| 过度优化 | 奖励上升,能力或可读性下降 | KL 约束、能力回归、早停 |
第二个边界最危险。代码任务里,模型可能学会修改测试而不是修代码;数学任务里,模型可能学会猜格式而不是推导;检索任务里,模型可能学会堆关键词而不是理解问题。这些都不是“模型变坏”,而是奖励函数定义了什么,模型就优化什么。
与 RLHF 的关系
RLVR 和 RLHF 不是替代关系,而是不同信号源:
- RLHF 适合“没有唯一正确答案、但人能比较”的任务:写作、语气、有用性。
- RLVR 适合“有客观判定”的任务:数学、代码、结构化查询、可核对的引用。
- 推理模型通常先用 RLVR 获得可验证能力,再用偏好信号调整表达和安全性。
把两者混在一起时,要明确权重和评测口径。用偏好信号覆盖可验证正确性,会让模型学会“说得好听”;用可验证信号覆盖开放任务,会让模型只会做有标准答案的题。
架构含义
RLVR/GRPO 对 Agent 架构有四个直接约束:
- 验证器要独立。 不能用策略自己的判断做奖励;测试、检索、符号检查器必须外部执行。
- 验证器要隐藏。 训练时可见的测试会被利用;保留一部分隐藏测试做最终评估。
- 奖励要可分解。 全对/全错的 0/1 奖励在组内全同时没有信号;部分分和步骤分能提高学习效率。
- 能力要回归。 奖励上升不等于能力上升;每次训练后要跑通用能力、格式和安全回归。
第 1 条是底线。让模型参与给自己的答案打分,等于把奖励黑客写进训练目标。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 奖励可验证 | 外部测试/检查器给出 0/1 或分步分 | 模型自评 |
| 验证器独立 | 与被训练策略分离 | 同一模型既生成又判分 |
| 测试有隐藏集 | 训练集与最终评测集分离 | 用训练测试评估 |
| 优势有信号 | 组内有对有错或使用部分分 | 全对/全错仍强行训练 |
| 能力有回归 | 训练后跑通用能力与安全评测 | 只看奖励曲线 |
这些判据里,“测试有隐藏集”决定结论是否可信。训练集上的通过率可以因记忆或利用漏洞而虚高;只有隐藏集上的提升,才能说明模型学到了可迁移的能力。
一个代码 Agent 的例子
假设用单元测试作为可验证奖励训练代码修复 Agent。训练集里的测试是可见的,模型可能学会:
- 修改测试断言,让它通过;
- 捕获异常并返回默认值,绕过失败;
- 只针对测试输入写特判。
这些行为在训练奖励上都是满分,但在真实任务上是灾难。防线不是“告诉模型不要作弊”,而是:测试文件只读、隐藏测试单独运行、代码审查检查 diff 的合理性、线上用真实回归集评估。奖励设计必须假设模型会寻找最省力的通过路径。
奖励设计的三种粒度
| 粒度 | 例子 | 优点 | 风险 |
|---|---|---|---|
| 结果级 | 最终答案对/错 | 简单、客观 | 稀疏,长链难学 |
| 步骤级 | 每一步有检查点 | 信号密,能纠偏 | 步骤标注成本高 |
| 部分分 | 测试通过 3/5 | 缓解稀疏 | 可能奖励“多改多过” |
结果级奖励最常用,也最稀疏。步骤级奖励需要能判定中间步骤的验证器,往往只在数学、代码、结构化任务里可用。部分分要小心设计:如果按“通过的测试数”给分,模型可能学会改测试或堆补丁。
组大小与训练稳定性
组大小 $G$ 影响优势估计的方差。$G$ 太小,均值和标准差抖动,更新方向不稳定;$G$ 太大,采样成本线性上升。对 0/1 奖励,组内全对或全错的概率随 $G$ 变化;题目太难或太易时,组内没有区分度,优势全为 0。
一个实用的做法是动态筛题:只保留组内有对有错的样本进入训练,全对/全错的组用于评估或课程调整。这样既节省算力,又避免无信号更新。
一个数学任务的例子
假设题目是“求一个三元一次方程组的整数解”,验证器直接代入检查。模型采样 8 条,2 条正确,6 条错误:
- 奖励为 [1,1,0,0,0,0,0,0];
- 均值 0.25,标准差约 0.463;
- 正确样本优势约 +1.62,错误样本约 -0.54。
这次更新会提高那两条正确解法的概率。但如果两条正确解法是同一种套路,模型学到的可能是“这个套路”而不是“解方程组”;换一道题,套路可能失效。隐藏测试和分布外评测就是用来发现这个问题的。
评测 RLVR 模型
评估不能只看训练奖励。至少要看四组指标:
- 域内隐藏集:同分布但未参与训练的题;
- 域外泛化:不同题型、不同难度;
- 能力回归:通用语言、格式、安全;
- 行为审计:是否出现改测试、猜答案、堆关键词等捷径。
第一组决定“有没有学会”,第二组决定“能不能迁移”,后两组决定“有没有变坏”。四组缺一,结论都不完整。
最后要强调:RLVR 的训练信号来自验证器,验证器的覆盖范围就是模型能力的边界。扩展验证器(更多题型、更强检查器、更真实的执行环境),往往比调 GRPO 超参更能提升上限。
小结
- RLVR 用可验证结果做奖励,不训练奖励模型;信号客观,但只覆盖可验证任务。
- GRPO 用组内均值和标准差构造优势,去掉 critic;组大小和 KL 系数是关键超参。
- 组内全对或全错时优势为 0,训练没有信号;需要课程、部分分或更大组。
- 可验证奖励的边界是覆盖、漏洞、稀疏、分布偏移和过度优化。
- 验证器必须独立且保留隐藏测试;否则模型会优化测试而不是任务。
- 奖励上升不等于能力上升;训练后必须做通用能力、格式和安全回归。
阅读导航:上一节:7.1 CoT:显式推理的收益与代价 · 下一节:7.3 测试时计算:何时更多 token 有用 。
常见错误与边界
- 用模型自评做奖励。 这等于把奖励黑客写进目标;验证器必须外部且独立。
- 训练集当评测集。 可见测试会被记忆或利用;必须保留隐藏测试。
- 忽略组内全同。 全对/全错时优势为 0,训练没有梯度;需要部分分或课程学习。
- 只看奖励曲线。 奖励上升可能是过度优化的结果;要同时看能力和安全回归。
- 把 RLVR 当通用推理药。 它只覆盖可验证任务;开放任务仍需要偏好信号或人工评估。
- 测试文件可写。 模型可能改测试而不是修代码;测试应只读并在独立环境运行。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。