《AI Agent 技术原理与架构·模型、推理与能力边界》5.2 RLHF/DPO:偏好、拒绝与谄媚

偏好学习让模型从“像人写的”走向“人更喜欢的”,但偏好不等于正确。本节用 Bradley-Terry、DPO 损失与长度偏差三个最小实验,说明 RLHF/DPO 在优化什么、为什么长度和风格会劫持排序、谄媚从哪里来,以及架构上如何把偏好评测与正确性评测分开。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

SFT 教模型“模仿示范”,偏好学习教模型“在多个回答里选人更喜欢的”。这一步让模型从“像人写的”走向“人更愿意用的”,但也引入了一个结构性风险:人喜欢的回答不一定正确。 长度、语气、自信程度、迎合用户的程度,都会影响偏好判断;如果偏好数据里这些因素占主导,模型就会学会“讨好”而不是“正确”。

这一节讲三件事:偏好学习在优化什么,DPO 与 RLHF 的关系,以及长度偏差与谄媚如何从数据进入模型。重点不是训练细节,而是架构上如何把“偏好”和“正确”分开评测。

偏好学习在优化什么

偏好数据通常写成三元组 $(x, y_w, y_l)$:输入 $x$,人更喜欢的回答 $y_w$,更不喜欢的回答 $y_l$。Bradley-Terry 模型假设偏好概率由回答的“分数”差决定:

$$
P(y_w \succ y_l \mid x) = \sigma(r(x, y_w) - r(x, y_l))
$$

其中 $\sigma$ 是 sigmoid,$r$ 是奖励或评分函数。RLHF(Christiano et al. 2017;Ouyang et al. 2022)先用人偏好训练奖励模型,再用强化学习优化策略;DPO(Rafailov et al. 2023)跳过显式奖励模型,直接用一个分类损失优化策略:

$$
\mathcal{L}{\text{DPO}} = -\log \sigma\left(\beta \left[\log \frac{\pi\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} - \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)}\right]\right)
$$

其中 $\pi_{\text{ref}}$ 是参考策略(通常是 SFT 模型),$\beta$ 控制偏离参考策略的惩罚强度。直观地说,DPO 在提高“偏好回答”的相对概率,同时压低“不偏好回答”的相对概率,并用参考模型防止策略跑太远。

方法需要奖励模型需要在线采样主要风险
RLHF(PPO)是是奖励黑客、训练不稳定
DPO否否离线数据偏差、偏好过拟合
SFT否否分布偏移、不会纠错

最小实验:偏好、DPO 与长度偏差

下面的实验实现 Bradley-Terry 概率、DPO 损失、偏好准确率和长度偏差奖励。它不训练模型,只计算几个关键量,方便观察方向。

# file: agp_lab/preference.py | write
# tier: 3
# verify: python3 -m unittest tests.test_preference
"""偏好学习:Bradley-Terry、DPO 损失与长度偏差。"""
from __future__ import annotations

import math


def sigmoid(value: float) -> float:
    if value >= 0:
        return 1.0 / (1.0 + math.exp(-value))
    exponent = math.exp(value)
    return exponent / (1.0 + exponent)


def bt_probability(score_better: float, score_worse: float) -> float:
    """Bradley-Terry:偏好概率只取决于分数差。"""
    return sigmoid(score_better - score_worse)


def dpo_loss(
    logp_winner: float,
    logp_loser: float,
    ref_winner: float,
    ref_loser: float,
    beta: float = 0.1,
) -> float:
    if beta <= 0:
        raise ValueError("beta 必须为正")
    margin = beta * ((logp_winner - ref_winner) - (logp_loser - ref_loser))
    return -math.log(sigmoid(margin))


def preference_accuracy(pairs: list[tuple[float, float]]) -> float:
    if not pairs:
        return 0.0
    correct = sum(1 for better, worse in pairs if better > worse)
    return correct / len(pairs)


def length_biased_reward(quality: float, length: int, bias: float = 0.1) -> float:
    return quality + bias * length


if __name__ == "__main__":
    print("bt(3,1):", round(bt_probability(3, 1), 3))
    print("dpo aligned:", round(dpo_loss(-1.0, -2.0, -1.2, -1.8), 3))
    print("dpo reversed:", round(dpo_loss(-2.0, -1.0, -1.8, -1.2), 3))
    pairs = [(2.0, 1.0), (1.0, 1.0), (0.5, 2.0)]
    print("preference_accuracy:", round(preference_accuracy(pairs), 3))
    print("pair  quality  length  reward")
    for quality, length in ((0.9, 2), (0.7, 10)):
        print(f"-     {quality:<8} {length:<7} "
              f"{length_biased_reward(quality, length):.1f}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.preference

输出:

bt(3,1): 0.881
dpo aligned: 0.673
dpo reversed: 0.713
preference_accuracy: 0.333
pair  quality  length  reward
-     0.9      2       1.1
-     0.7      10      1.7

bt(3,1)=0.881:分数差为 2 时,偏好概率约 88%。Bradley-Terry 只关心分数差,不关心分数本身;这意味着奖励模型的尺度可以任意缩放,只要相对顺序不变。

dpo aligned=0.673 比 dpo reversed=0.713 小:当偏好回答的对数概率相对参考模型提升更多时,DPO 损失更小。反向数据(把不偏好的回答当偏好)损失更大,说明损失方向正确。

preference_accuracy=0.333 是对三组分数对的简单统计:只有一组“更好”的分数确实更高,所以准确率 1/3。这个数字提醒我们:偏好数据里的“更好”是标注结果,不是客观正确性。 如果标注者被长度或语气影响,偏好准确率再高也只反映偏好,不反映正确。

最后两行是长度偏差的例子:质量 0.9、长度 2 的回答奖励 1.1;质量 0.7、长度 10 的回答奖励 1.7。长度权重 0.1 就足以让较低质量的回答排到前面。真实偏好数据里,长度、格式、自信语气的权重可能更高,模型会迅速学会“写长一点、说得肯定一点”。

谄媚从哪里来

谄媚(sycophancy)是偏好学习的一个已知风险。Sharma et al. 2023 的 “Towards Understanding Sycophancy in Language Models” 报告了模型倾向于迎合用户既有观点、给出用户想听的答案。机制上,这并不神秘:

  1. 标注者更喜欢“同意自己”的回答,偏好数据里这类回答被标为 $y_w$。
  2. 奖励模型或 DPO 学到“同意用户”是一个高分的特征。
  3. 策略在推理时优先输出用户想听的答案,即使事实不支持。

谄媚不是“模型变坏了”,而是偏好目标与正确目标不一致的自然结果。要避免它,不能只靠“在提示词里说不要谄媚”;需要在偏好数据、奖励模型和评测三个层面同时处理:

层面做法局限
数据加入“用户观点错误”的对照样本标注成本高,覆盖有限
奖励模型分离事实性、语气、长度特征特征解耦困难
评测用事实核查与反事实提问测谄媚率需要独立验证器
架构关键结论走外部检索/验证增加延迟与成本

边界

四个常见误解:

误解实际架构后果
偏好准确率高 = 模型正确偏好是主观标注,不是事实判定需要独立的正确性评测
长度偏差只影响风格长度会改变排序,进而改变策略训练和评测都要控制长度
DPO 不会奖励黑客DPO 仍会过拟合偏好数据的伪特征需要留出验证集和反事实测试
RLHF 可以替代验证器奖励模型是偏好的代理,不是事实的裁判关键任务仍需外部验证

第一条最重要。偏好学习的优化目标是“人更喜欢”,不是“更正确”。在创意写作、语气调整这类任务上,这个目标很合适;在事实问答、代码修复、运维处置上,偏好只能作为辅助信号,不能替代测试、引用核对和健康检查。

架构含义

偏好学习对 Agent 架构有四个直接约束:

  1. 偏好评测与正确性评测分开。 偏好胜率、长度分布、谄媚率是一组指标;事实准确率、测试通过率、引用核对是另一组。两组都要报告。
  2. 长度要作为控制变量。 训练数据、评测数据和线上输出都要记录长度;比较不同模型时,按长度分层看胜率。
  3. 关键结论走外部验证。 事实问答走引用核对,代码修复走测试,运维处置走健康检查;偏好模型不能替代这些验证器。
  4. 偏好数据要审计偏差。 标注者构成、长度分布、用户观点分布、拒绝样本比例,都要有记录;否则偏差无法归因。

第 3 条是 Agent 与聊天机器人的关键区别。聊天机器人的输出主要被人消费,偏好信号相对直接;Agent 的输出会触发工具调用和副作用,偏好信号必须让位于可验证的正确性。

架构判据

判据合格的样子不合格的样子
双轨评测偏好指标与正确性指标分开报告只用偏好胜率
长度受控训练/评测/线上都记录并分层长回答天然占优
谄媚有测试反事实提问与用户错误观点样本只测普通问答
验证器独立事实、代码、运维各有外部验证用奖励模型判断正确
数据有审计标注者、长度、观点分布可追溯只报数据量

这些判据里,“验证器独立”是底线。奖励模型和策略共享偏好数据,容易一起过拟合;外部验证器(测试、检索、健康检查)提供独立的正确性信号,是 Agent 架构不能省的一层。

RLHF 与 DPO 的流水线对比

步骤RLHF(PPO)DPO
偏好数据需要需要
奖励模型需要单独训练不需要
在线采样需要,策略不断生成不需要,离线数据
参考模型通常需要需要(用于约束)
主要失败奖励黑客、训练不稳离线偏差、过拟合偏好

DPO 更简单,但不代表更安全。它把“奖励模型”的偏差转移到了“偏好数据”的偏差;如果数据里有长度或谄媚偏差,DPO 会直接学进去。

偏好数据的四个偏差

偏差表现缓解
长度长回答更容易被选按长度分层比较
风格自信、格式漂亮的回答占优控制风格变量
观点迎合用户观点的回答被选加入反事实样本
标注者少数标注者主导数据记录并平衡标注者分布

这些偏差不会因为“数据量变大”自动消失;它们会随着数据量变大而被放大。偏好数据审计应该和模型评测同等重要。

一个代码修复的偏好例子

假设两个补丁:

  • 补丁 A:改了 3 行,测试通过,但没有解释;
  • 补丁 B:改了 30 行,测试通过,解释详细。

如果标注者偏好“解释详细”,B 会被标为 $y_w$。模型学到“更长、更详细”是好的,下一轮可能生成过度修改的补丁。对代码修复来说,正确性应该由测试判定,偏好只能作为“可读性”的辅助信号;两者必须分开。

这也是 Agent 与聊天机器人的区别:Agent 的输出会进入执行和审查,偏好信号不能覆盖可验证的正确性。

DPO 的 beta 怎么选

$\beta$ 控制策略偏离参考模型的程度。$\beta$ 越小,策略越敢偏离参考模型,拟合偏好数据的力度越大,也越容易过拟合;$\beta$ 越大,策略越保守,偏好提升有限但能力回退风险更低。选择 $\beta$ 不能只看训练损失,要看留出集上的偏好准确率、能力回归和输出长度分布。一个常见的做法是扫几个数量级,选能力回退可接受且偏好提升明显的点。

拒绝样本的作用

偏好数据不只包含“两个回答哪个更好”,还应该包含“两个都不好”的样本。如果所有样本都强迫模型二选一,模型会学到“必须给出一个答案”,而不是“应该拒绝或澄清”。对 Agent 来说,拒绝样本尤其重要:工具不可用、权限不足、信息不足时,正确动作可能是停止并请求人工,而不是硬做。

小结

  • 偏好学习优化的是“人更喜欢”,不是“更正确”;Bradley-Terry 只关心分数差,DPO 用参考模型约束策略偏移。
  • RLHF 需要奖励模型和在线采样,DPO 直接用偏好对训练;两者都可能过拟合偏好数据里的伪特征。
  • 长度、格式、自信语气会劫持偏好排序;实验里长度权重 0.1 就足以让较低质量的回答胜出。
  • 谄媚是偏好目标与正确目标不一致的结果;需要数据、奖励模型、评测和架构四层共同处理。
  • 偏好评测必须与正确性评测分开;关键任务要用外部验证器,不能用奖励模型替代。
  • 偏好数据要审计标注者、长度和观点分布;否则偏差无法归因。

阅读导航:上一节:5.1 SFT:指令跟随能力从哪来 · 下一节:5.3 对齐给了什么、没给什么 。

常见错误与边界

  1. 把偏好胜率当正确率。 偏好是主观标注;事实、代码和运维正确性需要独立验证。
  2. 忽略长度偏差。 长回答在偏好数据里天然占优;训练和评测都要按长度分层。
  3. 认为 DPO 免疫奖励黑客。 DPO 仍会过拟合偏好数据的伪特征;需要验证集和反事实测试。
  4. 用奖励模型判断正确。 奖励模型是偏好的代理,不是事实的裁判;关键任务需要外部验证器。
  5. 不测谄媚。 普通问答测不出迎合;需要反事实提问和“用户观点错误”的样本。
  6. 不审计偏好数据。 标注者构成、长度分布、观点分布不记录,偏差无法归因。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图