《AI Agent 技术原理与架构·模型、推理与能力边界》5.1 SFT:指令跟随能力从哪来

监督微调把“补全文本”变成“按指令行动”,但它学的是示范轨迹上的行为,不是任务规则本身。本节用走廊环境的行为克隆实验说明 SFT 的分布偏移:专家没走过的状态,策略不会处理;并给出示范覆盖、轨迹记录、DAgger 式纠偏的架构判据,最后给出可执行的示范数据检查表。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

预训练模型只会“补全文本”:给它一段话,它续写下一段。SFT(supervised fine-tuning)把这种能力变成“按指令行动”:给它任务和示范,它学会在什么情况下输出什么动作。InstructGPT(Ouyang et al. 2022)展示了这条路径的有效性:用人类示范微调后,模型在指令跟随上显著改善。

但 SFT 有一个经常被低估的边界:它学的是示范分布上的行为,不是任务规则本身。 示范里没出现过的状态,策略可能完全不会处理。这一节用行为克隆的最小实验说明这个边界,然后给出示范覆盖与纠偏的架构判据。

SFT 在优化什么

给定示范数据集 $\mathcal{D} = {(s_i, a_i)}$,SFT 最小化负对数似然:

$$
\mathcal{L}{\text{SFT}} = -\sum{(s_i, a_i) \in \mathcal{D}} \log \pi_\theta(a_i \mid s_i)
$$

这就是行为克隆(behavior cloning):让策略在示范状态上模仿专家动作。它不直接优化任务成功率,也不要求策略理解“为什么这个动作好”;它只要求“在见过的状态上,输出和专家一样”。

这带来两个后果:

  • 好处:样本效率高,训练稳定,能学到格式、工具调用模式和常见策略。
  • 代价:策略只对示范分布负责。示范没覆盖的状态,策略没有监督信号,行为不可预测。

对 Agent 来说,状态不只是环境状态,还包括上下文:当前目标、可用工具、上一步结果、历史轨迹。示范轨迹覆盖的是“专家走出来的上下文”,不是“策略可能走到的所有上下文”。策略一旦走偏,就会进入示范没覆盖的状态,然后继续走偏——这就是分布偏移。

最小实验:走廊里的行为克隆

下面的实验用一个 0–5 的走廊:目标是 5,动作是 left/right/stay,专家未到目标就向右。示范只从起点 2、3、4 开始,因此状态 0、1 从未出现。策略在示范状态上学习专家动作,未见状态默认 stay。

# file: agp_lab/sft.py | write
# tier: 3
# verify: python3 -m unittest tests.test_sft
"""行为克隆的分布偏移:专家轨迹覆盖不到的状态,策略不会处理。"""
from __future__ import annotations

import random
from dataclasses import dataclass, field

GOAL = 5
ACTIONS = ("left", "right", "stay")


def expert_action(state: int) -> str:
    if state < GOAL:
        return "right"
    return "stay"


def step(state: int, action: str, rng: random.Random, slip: float) -> int:
    if action == "stay":
        return state
    if rng.random() < slip:
        action = "left" if action == "right" else "right"
    nxt = state + 1 if action == "right" else state - 1
    return max(0, min(GOAL, nxt))


@dataclass
class BehaviorCloning:
    demos: list[tuple[int, str]] = field(default_factory=list)
    counts: dict[int, dict[str, int]] = field(default_factory=dict)

    def fit(self) -> "BehaviorCloning":
        self.counts = {}
        for state, action in self.demos:
            bucket = self.counts.setdefault(state, {})
            bucket[action] = bucket.get(action, 0) + 1
        return self

    def predict(self, state: int) -> str:
        bucket = self.counts.get(state)
        if not bucket:
            return "stay"
        return max(bucket, key=lambda action: (bucket[action], action == "right"))


def rollout(policy: BehaviorCloning, start: int, rng: random.Random,
            slip: float, max_steps: int = 30) -> tuple[bool, set[int]]:
    if not 0 <= slip <= 1:
        raise ValueError("slip 必须在 [0, 1] 内")
    state = start
    visited = {state}
    for _ in range(max_steps):
        if state == GOAL:
            return True, visited
        state = step(state, policy.predict(state), rng, slip)
        visited.add(state)
    return state == GOAL, visited


def evaluate(
    policy: BehaviorCloning,
    starts: tuple[int, ...],
    episodes: int,
    slip: float,
    seed: int,
) -> float:
    rng = random.Random(seed)
    wins = sum(
        rollout(policy, starts[index % len(starts)], rng, slip)[0]
        for index in range(episodes)
    )
    return wins / episodes


def augment(demos: list[tuple[int, str]], states: set[int]) -> list[tuple[int, str]]:
    known = {state for state, _ in demos}
    return demos + [(state, expert_action(state)) for state in sorted(states - known)]


if __name__ == "__main__":
    demos = [(state, expert_action(state)) for start in (2, 3, 4)
             for state in range(start, GOAL + 1)]
    policy = BehaviorCloning(list(demos)).fit()
    print("round  seen_start  unseen_start")
    for round_index in range(3):
        seen = evaluate(policy, (2, 3, 4), 200, 0.2, 11)
        unseen = evaluate(policy, (0,), 200, 0.2, 11)
        print(f"{round_index:<6} {seen:>10.2%} {unseen:>13.2%}")
        _, visited = rollout(policy, 0, random.Random(11), 0.2)
        demos = augment(demos, visited)
        policy = BehaviorCloning(list(demos)).fit()

运行:

cd private/labs/agp-lab
python3 -m agp_lab.sft

输出:

round  seen_start  unseen_start
0          89.00%         0.00%
1          89.00%         0.00%
2         100.00%       100.00%

第 0 轮,策略在示范起点(2、3、4)上成功率 89%,在未覆盖起点 0 上成功率 0%。原因很直接:状态 0 不在示范里,策略默认 stay,永远不出发。

第 1 轮做了一次 DAgger 式纠偏:让策略从起点 0 走一遍,收集它访问到的状态(这里是 0),请专家给这些状态打标签(0 → right),加入示范集。策略现在会从 0 走到 1,但状态 1 仍然未覆盖,于是又停住。

第 2 轮再把状态 1 加入示范集,策略覆盖了 0、1、2……成功率变成 100%。同时,示范起点的成功率也从 89% 升到 100%,因为低状态的覆盖让策略在滑移后能恢复。

这个实验揭示了两件事。第一,未覆盖状态不是罕见的边缘情况:只要策略走偏一次,就会进入示范没走过的状态。第二,纠偏不需要重新标注全部数据:只需要在策略实际访问的状态上请专家打标签,就能逐步补齐覆盖。

SFT 教什么、不教什么

内容SFT 是否教说明
输出格式是示范里的 JSON、工具调用格式会被模仿
常见动作模式是“先搜索再回答”这类模式可以从示范中学到
任务规则部分示范隐含规则,但策略不一定能泛化
未覆盖状态的处理否没有监督信号,行为由初始化或默认策略决定
验证与自我纠错弱示范很少包含“发现错误并回退”的完整过程
新知识有限SFT 主要改变行为,不保证注入新事实

这张表解释了一个常见困惑:为什么 SFT 后的模型“格式很对,但遇到没见过的情况就乱来”?因为格式和常见模式在示范分布内,未覆盖状态不在。SFT 不是“教模型理解任务”,而是“教模型模仿示范”。

架构含义

SFT 的分布偏移对 Agent 架构有四个直接约束:

  1. 示范覆盖要审计。 不能只看示范数量,要看示范覆盖了哪些状态、哪些工具、哪些失败路径。
  2. 轨迹要记录。 线上策略访问的状态是纠偏数据的来源;没有轨迹,就不知道哪些状态没覆盖。
  3. 评测起点要包含未覆盖状态。 只在示范起点上评测会高估能力;要加入偏移起点、滑移后的状态和异常输入。
  4. 纠偏要持续。 DAgger 式纠偏不是一次性的;策略更新后会产生新的未覆盖状态,需要持续收集。

第 3 条最容易被忽略。很多团队用“和示范相同的起点”做评测,得到很高的成功率,上线后却在用户的各种起始状态下失败。评测集必须包含策略自己会走到的状态,而不只是专家走过的状态。

架构判据

判据合格的样子不合格的样子
覆盖有审计示范覆盖状态、工具、失败路径有清单只报示范条数
轨迹有记录线上状态与动作可回放只存最终结果
评测有偏移包含未覆盖起点与滑移状态只用示范起点
纠偏有闭环定期收集策略访问状态并标注训练一次就结束
默认行为有定义未覆盖状态的兜底动作明确依赖模型“自由发挥”

这些判据里,“默认行为有定义”是安全底线。未覆盖状态下,策略可能输出任何动作;如果这个动作有副作用,后果不可控。兜底策略可以是“停止并请求澄清”,也可以是“转到人工”,但必须是显式的。

示范数据的四个检查项

检查项问题不合格的信号
覆盖示范是否覆盖所有关键状态与工具只覆盖顺利路径
多样性是否包含不同起点、不同失败恢复所有轨迹几乎一样
标签质量专家动作是否一致、可复现同一状态出现矛盾动作
失败样本是否包含“应该停止/澄清”的示范只有成功轨迹

第三项最容易被忽略。如果两个专家在同一状态下给出不同动作,SFT 会学到平均行为,而不是明确策略;这时需要先统一标注规范,再训练。

一个代码修复 Agent 的例子

假设示范都从“测试失败、仓库干净”的起点开始,策略学会了“读测试 → 改代码 → 跑测试”。上线后遇到“仓库有未提交改动”的状态,策略没有示范,可能直接覆盖用户改动。

修复方式不是加一句提示词,而是:

  1. 在评测集中加入“脏仓库”起点;
  2. 收集策略在该状态下的轨迹;
  3. 请专家标注正确动作(例如先 stash 或先询问);
  4. 把新样本加入示范集,重新训练或做偏好优化。

这个例子说明:SFT 的覆盖问题不是“数据不够多”,而是“起点和状态不够全”。

SFT 与 RAG 的分工

SFT 改变的是模型的行为分布,RAG 改变的是模型在推理时能看到的信息。前者适合教“怎么做”,后者适合补“知道什么”。如果任务是“按公司规范处理工单”,规范应该放进检索上下文,而不是指望 SFT 记住;如果任务是“按固定格式调用工具”,行为模式更适合用示范教。两者混用会让问题难以归因:到底是模型没学会,还是资料没检索到?

小结

  • SFT 用示范数据做行为克隆,优化的是示范状态上的动作似然,不是任务成功率。
  • SFT 能教格式、常见模式和工具调用习惯,但不保证教会任务规则、未覆盖状态处理和自我纠错。
  • 分布偏移是行为克隆的结构性问题:策略走偏一次,就会进入示范没覆盖的状态,然后继续走偏。
  • DAgger 式纠偏在策略实际访问的状态上请专家打标签,能逐步补齐覆盖;它不是一次性训练。
  • 评测必须包含未覆盖起点和滑移状态;只用示范起点会高估能力。
  • 未覆盖状态必须有显式兜底动作,不能依赖模型自由发挥。

阅读导航:上一节:4.3 上下文长度、注意力复杂度与成本曲线 · 下一节:5.2 RLHF/DPO:偏好、拒绝与谄媚 。

常见错误与边界

  1. 把 SFT 当任务理解。 SFT 学的是示范分布上的行为,不是任务规则;未覆盖状态没有监督信号。
  2. 只看示范数量。 数量不等于覆盖;要审计状态、工具和失败路径的覆盖。
  3. 只用示范起点评测。 这会高估能力;评测要包含偏移起点和滑移后的状态。
  4. 训练一次就结束。 策略更新会产生新的未覆盖状态;纠偏需要持续闭环。
  5. 未定义兜底动作。 未覆盖状态下模型可能输出任意动作;有副作用时必须显式停止或转人工。
  6. 指望 SFT 教自我纠错。 示范通常不包含完整的“发现错误并回退”过程;纠错能力需要额外训练或外部验证器。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图