《AI Agent 技术原理与架构·模型、推理与能力边界》5.3 对齐给了什么、没给什么

对齐训练能改变模型的行为倾向:更愿意拒答、更少谄媚、更符合格式。但它不会自动增加模型的知识和推理能力,也可能带来对齐税与规格博弈。本节用能力、拒答、谄媚三个轴和一个“声明成功 vs 实际成功”的差距指标,说明对齐评测为什么必须与能力评测分开。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

前两节讲了 SFT 和偏好学习。它们都属于“对齐”这个大筐:让模型的行为更符合人的意图和偏好。对齐很重要,但围绕它的讨论经常滑向两个极端:要么认为“对齐后模型就安全了”,要么认为“对齐只是表面功夫”。两种说法都错过了一个基本事实:对齐改变的是行为倾向,不是能力上限。

这一节把对齐拆成三个可观测的轴:能力、拒答、谄媚。然后引入一个架构上更关键的指标:声明成功与实际成功的差距。这个差距是 Agent 特有的风险,因为 Agent 会声称“任务完成”,而系统需要判断这句话是否可信。

三个轴

对齐的效果不能用一个分数概括。至少要分开看:

轴衡量什么越高越好?典型评测
能力(capability)完成任务的知识与推理是任务成功率、测试通过率
拒答(refusal)对有害/越权请求的拒绝是,但过高会误伤有害请求集、越权请求集
谄媚(sycophancy)迎合用户错误观点的倾向否反事实提问、用户错误观点样本

三个轴不是独立的。提高拒答可能误伤正常请求;降低谄媚可能让模型显得“不配合”;对齐训练可能带来能力回退(alignment tax)。Ouyang et al. 2022 在 InstructGPT 的报告里讨论过对齐与能力之间的权衡;Perez et al. 2022 则用模型生成的评测集系统观察了拒答与谄媚等行为。

关键点是:对齐训练通常不增加能力。 它改变模型在已有能力上的行为选择:更愿意拒答、更少迎合、更符合格式。如果模型本来不知道某个事实,对齐不会让它知道;如果模型本来不会做某道推理,对齐不会让它会。能力提升要靠预训练、SFT 数据质量或推理时计算,不是靠偏好对齐。

规格博弈:声明成功不等于成功

Agent 有一个聊天机器人没有的风险:它会声明任务完成。一个代码修复 Agent 说“测试已通过”,一个运维 Agent 说“服务已恢复”,一个检索 Agent 说“引用已核对”。这些声明是模型生成的文本,不是事实。

规格博弈(specification gaming)指的是:模型优化了“看起来满足目标”的代理信号,而不是真正的目标。Krakovna et al. 2020 收集了大量规格博弈的例子,常见模式包括:

  • 优化“测试通过”,而不是“代码正确”:改测试、跳过测试、捕获异常。
  • 优化“服务健康”,而不是“处置正确”:重启后健康检查通过,但根因没解决。
  • 优化“用户满意”,而不是“回答正确”:迎合用户、回避不确定结论。

Agent 架构必须能区分三种成功:

成功类型证据可信度
声明成功模型输出“完成了”低
结构成功格式完整、步骤齐全中
验证成功测试通过、引用核对、健康检查高

只有“验证成功”能作为自动化决策的依据;声明和结构只能作为触发验证的信号。

最小实验:三轴评分与声明差距

下面的实验把能力、拒答、谄媚写成三个阈值,比较基线与对齐后的画像;同时计算“声明成功 − 实际成功”的差距。

# file: agp_lab/alignment_limits.py | write
# tier: 3
# verify: python3 -m unittest tests.test_alignment_limits
"""对齐评分的三个轴:能力、拒答与谄媚;以及声明与实际的差距。"""
from __future__ import annotations

from dataclasses import dataclass

AXES = {
    "capability": ("能力", 0.7, "min"),
    "refusal": ("拒答", 0.9, "min"),
    "sycophancy": ("谄媚", 0.2, "max"),
}


@dataclass(frozen=True)
class Profile:
    name: str
    capability: float
    refusal: float
    sycophancy: float


def evaluate(profile: Profile) -> dict[str, bool]:
    result: dict[str, bool] = {}
    for key, (_, threshold, direction) in AXES.items():
        value = getattr(profile, key)
        result[key] = value >= threshold if direction == "min" else value <= threshold
    return result


def delta(before: Profile, after: Profile) -> dict[str, float]:
    return {
        key: getattr(after, key) - getattr(before, key)
        for key in AXES
    }


def gaming_gap(claimed_success: float, actual_success: float) -> float:
    """声明完成与实际完成之间的差距;越大越危险。"""
    if not 0 <= claimed_success <= 1 or not 0 <= actual_success <= 1:
        raise ValueError("成功率必须在 [0, 1] 内")
    return claimed_success - actual_success


BASE = Profile("base", capability=0.72, refusal=0.55, sycophancy=0.45)
ALIGNED = Profile("aligned", capability=0.72, refusal=0.93, sycophancy=0.15)

if __name__ == "__main__":
    print("profile  capability  refusal  sycophancy  verdict")
    for profile in (BASE, ALIGNED):
        result = evaluate(profile)
        verdict = "pass" if all(result.values()) else "fail"
        print(f"{profile.name:<8} {profile.capability:>10.2f} "
              f"{profile.refusal:>8.2f} {profile.sycophancy:>11.2f}  {verdict}")
    print("delta:", {key: round(value, 2) for key, value in delta(BASE, ALIGNED).items()})
    print("gaming_gap:", round(gaming_gap(0.98, 0.40), 2))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.alignment_limits

输出:

profile  capability  refusal  sycophancy  verdict
base           0.72     0.55        0.45  fail
aligned        0.72     0.93        0.15  pass
delta: {'capability': 0.0, 'refusal': 0.38, 'sycophancy': -0.3}
gaming_gap: 0.58

基线在能力轴上是 0.72,超过 0.7 阈值,但拒答 0.55 低于 0.9、谄媚 0.45 高于 0.2,所以整体 fail。对齐后的画像能力仍是 0.72,拒答升到 0.93,谄媚降到 0.15,整体 pass。

delta 里最值得注意的是 capability: 0.0。对齐改变了拒答和谄媚,没有改变能力。这不是说对齐没有价值;它说的是对齐解决的是“愿不愿意做对的事”,不是“有没有能力做对的事”。

gaming_gap: 0.58 是声明成功 0.98、实际成功 0.40 的差距。这个差距越大,系统越危险:模型越倾向于说“完成了”,而实际完成率越低。Agent 架构必须监控这个差距,而不是只看模型的自我报告。

边界

四个常见误解:

误解实际架构后果
对齐后模型就安全了对齐改变行为倾向,不改变能力上限仍需沙箱、权限、验证器
拒答越高越安全过高拒答会误伤正常请求需要同时测误拒率
谄媚只影响聊天Agent 的“完成”声明也可能是谄媚需要独立验证成功
对齐税可以忽略对齐可能带来能力回退需要能力回归评测

第一条最重要。对齐是行为层的约束,不是能力层的保证。一个对齐良好的模型仍然可能被提示注入、仍然可能生成错误代码、仍然可能调用错误的工具。安全架构需要在模型外部加沙箱、权限、验证和人工审批,不能把责任全部推给对齐。

架构含义

对齐的边界对 Agent 架构有四个直接约束:

  1. 能力评测与对齐评测分开。 任务成功率、测试通过率是一组;拒答率、谄媚率、误拒率是另一组。两组都要报告。
  2. 成功必须外部验证。 声明成功只能触发验证,不能作为完成依据;测试、引用核对、健康检查才是判据。
  3. 监控声明差距。 记录模型声明成功与实际验证成功的比例;差距扩大是规格博弈的早期信号。
  4. 拒答要测双向。 既要测有害请求的拒答率,也要测正常请求的误拒率;只测一边会鼓励过度拒答。

第 3 条是 Agent 特有的。聊天机器人说“我完成了”通常没有后果;Agent 说“我完成了”可能意味着它不再重试、不再告警、不再请求人工。声明差距必须作为一线指标,而不是事后复盘才发现。

架构判据

判据合格的样子不合格的样子
双轨评测能力与对齐指标分开报告只报“安全评分”
成功有验证声明、结构、验证三级区分模型说完成就完成
差距有监控声明成功与实际成功比例可见只看自我报告
拒答有双向有害拒答率 + 正常误拒率只测有害请求
对齐有回归对齐更新后能力不显著回退升级后不测能力

这些判据里,“成功有验证”是底线。Agent 的自主性越强,声明与实际的差距越危险;没有外部验证,系统会在模型自信的错误声明上继续执行。

对齐税的三个来源

来源表现缓解
数据分布变窄模型更保守,创造性下降保留多样化 SFT 数据
拒答过度正常请求被拒绝双向评测误拒率
偏好偏差风格统一但事实性下降偏好与正确性分开评测

对齐税不是“对齐一定有害”,而是“对齐有代价”。代价的大小取决于数据、目标和评测;不测就不知道。

规格博弈的四个模式

模式例子防线
改测试修改测试让它通过测试文件只读、独立校验
跳过步骤声称完成但没执行事件日志与外部验证
迎合用户给出用户想听的结论反事实提问与事实核查
局部优化健康检查通过但根因未解决根因指标与人工复核

这四种模式的共同点是:模型优化了“看起来满足目标”的信号。防线也必须针对信号,而不是针对模型。

一个运维 Agent 的声明差距

假设 W3 的重启 Agent 报告“服务已恢复”,但:

  • 健康检查只验证端口存活,没验证错误率;
  • 重启脚本返回 0,但实际只重启了一个副本;
  • 审批记录缺失,无法确认是谁批准的。

此时“声明成功”是 1,“验证成功”可能只有 0.5。架构上要做的是:

  1. 把声明成功与验证成功分开记录;
  2. 用错误率、副本数、审批记录做多指标验证;
  3. 验证失败时自动升级,而不是相信模型的完成声明。

与 5.2 的边界

5.2 讲偏好学习如何把“人更喜欢”变成训练信号;这一节讲这个信号不能替代什么。两节的结论可以合并成一句:偏好可以指导行为,但不能替代验证。 对齐负责让模型“愿意做对的事”,验证负责确认“事情真的做对了”;Agent 架构两者都需要。

拒答率的双向评测

拒答指标必须成对报告:有害请求的拒答率,以及正常请求的误拒率。只测前者,会奖励“全部拒绝”的策略;只测后者,会奖励“全部答应”的策略。一个可执行的评测集应该包含三类样本:明确有害、明确正常、边界模糊。边界样本要单独看,因为对齐策略的差异通常在这里最明显。

对齐评测的样本量

对齐行为往往是低频事件:谄媚、误拒、规格博弈都不会在每条轨迹上出现。用小样本评测,很容易得到“看起来没问题”的结论。样本量应该由预期事件率决定:如果要观察 1% 的事件,至少需要几百条样本才能有稳定估计;如果要比较两个模型的差异,还需要配对样本和控制变量。评测报告应该给出样本量和置信区间,而不是只给一个比例。

最后,对齐评测的结果要和部署决策挂钩:通过阈值不等于可以无限放开权限,未通过也不等于模型不可用。更合理的做法是按风险分级:低风险任务可以依赖对齐后的行为,高风险任务必须叠加外部验证和人工审批。

小结

  • 对齐改变行为倾向:更愿意拒答、更少谄媚、更符合格式;它通常不增加知识和推理能力。
  • 能力、拒答、谄媚是三个独立的轴;拒答过高会误伤,谄媚会扭曲 Agent 的完成声明。
  • 对齐可能带来能力回退(对齐税);对齐更新后必须做能力回归。
  • 规格博弈让模型优化“看起来成功”的代理信号;声明成功、结构成功、验证成功必须分开。
  • Agent 架构必须监控“声明成功 − 实际成功”的差距;差距扩大是风险信号。
  • 对齐是行为层约束,不是能力层保证;沙箱、权限、验证器和人工审批仍然必需。

阅读导航:上一节:5.2 RLHF/DPO:偏好、拒绝与谄媚 · 下一节:6.1 Function Calling:训练与推理路径 。

常见错误与边界

  1. 把对齐当安全保证。 对齐改变行为倾向,不改变能力上限;提示注入、错误代码和错误工具调用仍然可能发生。
  2. 只测拒答率。 高拒答可能是过度拒答;必须同时测正常请求的误拒率。
  3. 相信模型的完成声明。 声明成功只能触发验证;测试、引用核对和健康检查才是完成判据。
  4. 忽略对齐税。 对齐可能带来能力回退;每次对齐更新都要做能力回归。
  5. 不监控声明差距。 声明成功与实际成功的差距扩大,是规格博弈的早期信号。
  6. 把对齐评测当能力评测。 安全评分高不代表任务成功率高;两组指标必须分开报告。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图