《AI Agent 技术原理与架构·决策、记忆与学习》13.1 在线反馈与数据飞轮

线上反馈不是随机样本:失败会话更容易沉默,成功会话更容易被报告,这是结构性偏差,增加样本量也不会消失。本节用确定性的分桶模型演示非响应偏差如何让重训数据偏离部署分布,比较朴素重训与逆概率加权在六轮闭环后的收益差距,并给出数据飞轮在生产环境中的五条架构判据、常见失效边界与检查表。

以下数字均为教学假设,不构成对任何真实系统或供应商的承诺。分桶成功率、反馈响应率与学习率只用于展示数据飞轮的计算方式,不代表任何生产环境的最优配置。

“我们有一个数据飞轮:线上产生反馈,反馈用于训练,训练让线上更好。”这句话在汇报里很顺,在工程上却缺了最关键的一环:线上产生的反馈,和线上真实发生的问题,往往不是同一批样本。 失败会话的用户更容易直接离开,成功会话的用户更愿意点个赞、填个问卷。于是你拿来训练的那份数据,天然偏向成功案例。

这一节把数据飞轮拆成一个可计算的最小闭环:部署分布、每类任务的真实成功率、成功与失败不同的反馈响应率,以及一轮重训如何把估计出的失败率变成能力提升。实验只回答一个问题:当反馈存在非响应偏差时,朴素重训和按响应倾向加权的重训,闭环收益差多少。

飞轮的第一性问题:反馈样本代表谁

先定义三组量。部署分布 $q_i$ 表示第 $i$ 类任务在真实流量中的占比;$s_i$ 表示当前策略在该类任务上的真实成功率;反馈响应率 $a$ 与 $b$ 分别表示成功会话和失败会话被报告的概率。通常 $a > b$,因为失败用户更可能流失。

报告样本中失败的占比是:

$$
f_{\text{report}} = \frac{\sum_i q_i \cdot b \cdot (1-s_i)}{\sum_i q_i \cdot \left[a \cdot s_i + b \cdot (1-s_i)\right]}
$$

而真实失败率是 $1-\sum_i q_i s_i$。只要 $b < a$,前者就系统性低于后者。这不是抽样噪声,增加样本量也不会消失;它是结构性的选择偏差。

如果响应倾向已知,逆概率加权(IPW)可以把比例还原:

$$
\hat{f}_i^{\text{IPW}} = \frac{b(1-s_i)/b}{a s_i/a + b(1-s_i)/b} = 1-s_i
$$

这个等式说明了两件事。第一,IPW 在理想条件下是无偏的;第二,它完全依赖响应倾向 $a,b$ 的准确性。倾向估错,修正式会把偏差以另一种形状带回来。

飞轮的一轮更新可以写得很简单:

$$
s_i’ = \min\left(s_{\max},\ s_i + \eta \cdot \hat{f}_i\right)
$$

其中 $\hat{f}i$ 是这一轮看到的失败率估计,$\eta$ 是单轮能补上的比例。朴素重训直接用 $f{\text{report}}$,加权重训用 $\hat{f}^{\text{IPW}}$。两者在同一个部署分布上评估真实成功率,差距就是采样偏差的代价。

最小实验:两条飞轮并排跑

实验设四类任务:简单、中等、困难、稀有,部署占比分别为 0.40、0.35、0.20、0.05,初始成功率为 0.90、0.70、0.40、0.20。成功会话的反馈响应率是 0.80,失败会话只有 0.25。单轮学习率 0.25,成功率上限 0.98,共跑六轮。

# file: agp_lab/data_flywheel.py | write
# tier: 2
# verify: python3 -m unittest tests.test_data_flywheel
"""在线反馈与数据飞轮的最小模型:非响应偏差如何扭曲重训信号。

线上 Agent 只能从“被报告”的会话里学习。失败会话的反馈率通常低于成功
会话:用户遇到错误答案时更可能直接离开,而不是填写反馈。于是重训样本
不是部署分布的随机抽样,而是一个有偏子集。这个模型把偏差拆成三件事:

1. 真实任务分桶与每桶成功率;
2. 成功/失败不同的反馈响应率;
3. 朴素重训(把报告样本当全体)与 IPW 重训(按响应倾向加权)的差异。

一轮飞轮只做一件事:用估计出的失败率把该桶成功率向上抬一点。模型是
确定性的,没有随机采样;所有数字都是教学假设。
"""
from __future__ import annotations

from dataclasses import dataclass, replace


@dataclass(frozen=True)
class Bucket:
    """一类任务:部署占比、当前成功率。"""

    name: str
    weight: float
    success: float


# 部署分布:简单任务多,困难任务少。成功率是教学假设。
BUCKETS = (
    Bucket("easy", 0.40, 0.90),
    Bucket("medium", 0.35, 0.70),
    Bucket("hard", 0.20, 0.40),
    Bucket("rare", 0.05, 0.20),
)

# 反馈响应率:成功会话更愿意报告。失败会话的沉默就是采样偏差。
SUCCESS_RESPONSE = 0.80
FAILURE_RESPONSE = 0.25

# 单轮能补上的失败比例,以及成功率上限。
LEARNING_RATE = 0.25
SUCCESS_CAP = 0.98


def _validate_probability(value: float, name: str) -> None:
    if not 0.0 <= value <= 1.0:
        raise ValueError(f"{name} 必须在 [0, 1] 内")


def reported_failure_share(
    success: float,
    success_response: float = SUCCESS_RESPONSE,
    failure_response: float = FAILURE_RESPONSE,
) -> float:
    """报告样本中失败的占比;success 是该桶的真实成功率。"""
    _validate_probability(success, "success")
    _validate_probability(success_response, "success_response")
    _validate_probability(failure_response, "failure_response")
    reported_success = success_response * success
    reported_failure = failure_response * (1.0 - success)
    total = reported_success + reported_failure
    if total == 0.0:
        raise ValueError("没有任何会话被报告,无法计算占比")
    return reported_failure / total


def ipw_failure_rate(
    success: float,
    success_response: float = SUCCESS_RESPONSE,
    failure_response: float = FAILURE_RESPONSE,
) -> float:
    """按响应倾向的倒数加权后,失败率的估计值。

    当倾向已知时,加权后的失败质量与成功质量重新还原真实比例;这正是
    IPW 的假设,也是它最脆弱的地方:倾向一旦估错,修正式会重新引入偏差。
    """
    _validate_probability(success, "success")
    if success_response <= 0.0 or failure_response <= 0.0:
        raise ValueError("响应率必须大于 0,否则无法做逆概率加权")
    _validate_probability(success_response, "success_response")
    _validate_probability(failure_response, "failure_response")
    failure_mass = failure_response * (1.0 - success) / failure_response
    success_mass = success_response * success / success_response
    total = failure_mass + success_mass
    if total == 0.0:
        raise ValueError("加权质量为 0,无法归一化")
    return failure_mass / total


def estimate_failure_rate(success: float, weighted: bool) -> float:
    """飞轮看到的失败率:朴素口径直接读报告,加权口径用 IPW。"""
    if weighted:
        return ipw_failure_rate(success)
    return reported_failure_share(success)


def aggregate_success(buckets) -> float:
    """部署分布下的真实总体成功率。"""
    total_weight = sum(bucket.weight for bucket in buckets)
    if total_weight <= 0.0:
        raise ValueError("桶权重之和必须大于 0")
    return sum(bucket.weight * bucket.success for bucket in buckets) / total_weight


def aggregate_reported_failure_share(buckets) -> float:
    """把所有桶的报告样本汇合后,失败在报告样本中的占比。"""
    reported_success = sum(
        bucket.weight * SUCCESS_RESPONSE * bucket.success for bucket in buckets
    )
    reported_failure = sum(
        bucket.weight * FAILURE_RESPONSE * (1.0 - bucket.success) for bucket in buckets
    )
    total = reported_success + reported_failure
    if total == 0.0:
        raise ValueError("报告样本为空")
    return reported_failure / total


def train_step(bucket: Bucket, weighted: bool, learning_rate: float = LEARNING_RATE) -> Bucket:
    """一轮飞轮:按估计失败率把成功率抬高,且不超过上限。"""
    if not 0.0 <= learning_rate <= 1.0:
        raise ValueError("learning_rate 必须在 [0, 1] 内")
    failure = estimate_failure_rate(bucket.success, weighted)
    raised = bucket.success + learning_rate * failure
    return replace(bucket, success=min(SUCCESS_CAP, raised))


@dataclass(frozen=True)
class CycleRow:
    cycle: int
    naive_success: float
    weighted_success: float
    reported_failure_share: float
    true_failure_share: float


def flywheel(cycles: int = 6, learning_rate: float = LEARNING_RATE) -> list[CycleRow]:
    """并排模拟朴素与 IPW 两套飞轮,返回每一轮的真实总体成功率。"""
    if cycles < 0:
        raise ValueError("cycles 不能为负")
    naive = list(BUCKETS)
    weighted = list(BUCKETS)
    rows: list[CycleRow] = []
    for cycle in range(cycles + 1):
        naive_success = aggregate_success(naive)
        rows.append(
            CycleRow(
                cycle=cycle,
                naive_success=naive_success,
                weighted_success=aggregate_success(weighted),
                reported_failure_share=aggregate_reported_failure_share(naive),
                true_failure_share=1.0 - naive_success,
            )
        )
        naive = [train_step(bucket, weighted=False, learning_rate=learning_rate) for bucket in naive]
        weighted = [train_step(bucket, weighted=True, learning_rate=learning_rate) for bucket in weighted]
    return rows


def closed_loop_gain(cycles: int = 6, learning_rate: float = LEARNING_RATE) -> dict[str, float]:
    """闭环收益:相对基线的提升,以及加权口径比朴素口径多出来的部分。"""
    rows = flywheel(cycles, learning_rate)
    baseline = rows[0].naive_success
    final = rows[-1]
    return {
        "baseline": baseline,
        "naive": final.naive_success,
        "weighted": final.weighted_success,
        "naive_gain": final.naive_success - baseline,
        "weighted_gain": final.weighted_success - baseline,
        "bias_gap": final.weighted_success - final.naive_success,
    }


if __name__ == "__main__":
    print(f"{'周期':<6}{'朴素':>10}{'IPW':>10}{'报告失败占比':>14}{'真实失败占比':>14}")
    for row in flywheel(6):
        print(
            f"{row.cycle:<6}{row.naive_success:>10.3f}{row.weighted_success:>10.3f}"
            f"{row.reported_failure_share:>14.3f}{row.true_failure_share:>14.3f}"
        )
    gain = closed_loop_gain(6)
    print(
        f"基线={gain['baseline']:.3f} 朴素增益={gain['naive_gain']:+.3f} "
        f"IPW增益={gain['weighted_gain']:+.3f} 偏差差={gain['bias_gap']:+.3f}"
    )

运行:

cd private/labs/agp-lab
python3 -m agp_lab.data_flywheel

输出:

周期            朴素       IPW        报告失败占比        真实失败占比
0          0.695     0.695         0.121         0.305
1          0.732     0.771         0.103         0.268
2          0.761     0.828         0.089         0.239
3          0.786     0.871         0.078         0.214
4          0.807     0.903         0.069         0.193
5          0.826     0.928         0.062         0.174
6          0.842     0.945         0.055         0.158
基线=0.695 朴素增益=+0.147 IPW增益=+0.250 偏差差=+0.102

第一行就值得停下来看:报告样本里的失败占比是 12.1%,真实失败率是 30.5%。如果直接拿反馈数据当训练集,你会以为系统只有八分之一的会话失败,实际接近三分之一。 六轮之后,报告样本的失败占比降到 5.5%,真实失败率仍有 15.8%,偏差没有被飞轮自动修正。

两条飞轮的差距同样清楚。朴素重训把真实成功率从 0.695 抬到 0.842,增益 0.147;IPW 重训抬到 0.945,增益 0.250。二者相差 0.102,正好是“难任务失败被沉默”所丢掉的那部分学习信号。注意,这不是说 IPW 一定更好,而是说:在非响应偏差存在时,不做加权的飞轮会把训练预算花在已经被报告的那部分任务上,而问题最大的任务恰恰最安静。

偏差从哪里来,又会在哪里失效

这个模型至少暴露了四种失败模式:

  1. 非响应偏差。 失败用户不反馈,反馈样本偏向成功。增加反馈入口只能提高总响应量,不能保证各桶响应率一致。
  2. 倾向未知。 IPW 的修正是有条件的:$a,b$ 必须可观测、可按桶估计。如果响应率本身依赖未观测的失败严重程度,就是 MNAR,IPW 也救不回来。
  3. 标签错位。 用户点了“满意”不等于任务成功;用户没有投诉也不等于答案正确。反馈标签必须和可验证结果分开记录,否则飞轮优化的是情绪,不是能力。
  4. 闭环自证。 用模型自己的输出训练自己,会把已有的错误固化。飞轮需要独立的验证集和外部审计样本,不能只吃自己产生的数据。

还有一个常被忽略的成本:飞轮不是免费的。采集、标注、重训、评测、灰度都要花时间;轮次太密,评测样本会被反复使用而失去独立性。工程上更稳妥的做法是固定节奏、固定留出集、每次只改一个变量。

把飞轮落到架构

数据飞轮在架构上不是“加一个反馈按钮”,而是一条有方向的流水线。它至少要回答五个问题:

  1. 部署分布是什么。 记录每类任务的曝光量与占比,而不是只统计“有反馈的会话”。没有分母,就没有偏差的判断。
  2. 反馈倾向是否可估。 为每次曝光记录是否被报告、报告渠道、报告时间;按任务桶估计响应率,而不是用全局平均值。
  3. 有没有随机审计样本。 从全部会话中随机抽取一小部分做人工或可验证评测,用它校准反馈样本。审计样本是飞轮的地基。
  4. 训练标签与产品指标是否分离。 成功率、引用正确率、测试通过率属于可验证结果;点赞、满意度、投诉属于产品信号。两者可以一起看,不能混成一个标签。
  5. 飞轮有没有闸门。 每一轮重训都要过回归门,设轮次上限与回滚条件;不能因为“数据更多了”就默认模型更好。
检查项合格的样子不合格的样子
部署分布有曝光日志与分桶占比只看反馈量
反馈倾向按桶记录响应率假设反馈是随机样本
审计样本固定比例随机抽取只依赖用户主动反馈
标签可验证结果与满意度分开把点赞当成功率
闸门回归门 + 回滚 + 轮次上限每次重训直接全量上线

放到三条负载上,偏差的形状不同。W1 检索问答是只读、可重试的,反馈可以来自引用核对,采样成本低,随机审计容易做;主要风险是“用户没追问”被误当成“答案正确”。W2 代码修复有测试作为客观标签,反馈偏差更多体现在“哪些仓库、哪些任务被送进评测”,而不是用户沉默;需要防止评测集被反复使用后泄漏。W3 运维处置不可逆、延迟敏感,失败常伴随事故,反馈最稀疏也最不及时,非响应偏差最严重;这类负载不能靠纯飞轮,必须保留人工审批与事后复盘。

小结

  • 线上反馈不是部署分布的随机样本;失败会话更可能沉默,这是结构性偏差,不是样本量问题。
  • 报告样本中的失败占比会系统性低于真实失败率;实验里是 12.1% 对 30.5%。
  • 朴素重训只能学到“被报告的那部分失败”,六轮增益 0.147;按响应倾向加权的重训增益 0.250。
  • IPW 不是免费的午餐:它要求响应倾向可观测、可按桶估计;遇到 MNAR,修正式也会失效。
  • 飞轮需要随机审计样本、可验证标签、独立验证集和回归闸门;缺一项,闭环就可能变成自证循环。
  • W1、W2、W3 的偏差来源不同:W1 靠引用核对,W2 靠测试与评测集管理,W3 必须保留人工审批。

阅读导航:上一节:12.3 Agentic RL · 下一节:13.2 能力漂移与灾难性遗忘 。

常见错误与边界

  1. 把反馈量当覆盖率。 反馈条数增长不代表样本更有代表性;如果失败用户持续沉默,样本只会越来越偏向成功。
  2. 只用全局响应率做加权。 不同任务桶的响应率可能差一个数量级;全局平均会把简单任务的权重错误地分给困难任务。
  3. 把点赞当成功标签。 用户满意可能来自语气、格式或迎合,而不是任务完成;训练标签必须尽量来自可验证结果。
  4. 忽略反馈延迟。 长任务的反馈可能在数天后才到,和当前策略版本对不上;不记录版本与时间,飞轮会把旧策略的失败算到新策略头上。
  5. 让飞轮无限自转。 没有独立审计集与回归门,模型会在自己的输出分布上越走越窄;轮次上限和回滚条件不是保守,是必需。
  6. 把 IPW 当万能修正。 响应倾向未知或与结果强相关时,加权只能改变偏差的形状,不能消除偏差;此时应补随机审计,而不是调权重。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图