《AI Agent 产品开发·任务定义与能力边界》11.3 数据飞轮什么时候才转起来

飞轮不是数据越多越好,而是反馈密度、反馈质量、回流速度三项同时成立。本节给出三项的量化判据,用 B Quill 的 606 份报告、63/28/9 三档审改与 1.6 小时回流说明高质量反馈从哪来,对比 A/B/C 的 6、5、4 分,并给出可运行的飞轮评分模型与启动阈值。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节讲第一次价值,这一节讲价值能不能持续变好。很多团队在立项时都会说「用起来就有数据,数据多了模型就会变强」,这句话把飞轮说成了一个自动过程。实际上,绝大多数产品只是在收集数据,不是在转飞轮。

飞轮和「收集数据」的区别在于:数据有没有回到决策里,改变了下一次的输出。如果用户改了结果,系统只存了一条日志,下一次行为不变,那不是飞轮,是归档。

飞轮不是数据越多越好

数据量是最容易被高估的变量。一个每月产生 26,400 条记录的产品,如果记录里只有「用户点了采纳」,没有「为什么采纳、改了什么、为什么改」,这些记录对改进几乎没有用。

飞轮转起来需要三个条件同时成立:

  1. 反馈密度。 每月有足够多的已标注反馈,能支撑一次有统计意义的复盘。
  2. 反馈质量。 反馈带有可核对的结果与原因,能区分「错了」和「为什么错」。
  3. 回流速度。 反馈能在同一批任务的修正窗口内回到系统,而不是几周后才被看到。

三项是乘法关系,不是加法。密度再高,没有原因标签,系统只知道错了;质量再高,一个月只有十条,撑不起判断;前两项都好,反馈三周后才回来,只能改下一批,改不了当前批。

三要素与判据

把三项写成可检查的判据,飞轮才不是一句口号。

要素判据不合格的表现
密度每月至少 100 条已标注反馈,200 条以上算有密度只有点击日志,没有标注;或每月不足 100 条
质量反馈同时带结果标签与原因标签只有「采纳/不采纳」,没有「为什么」
速度24 小时内回流算快,超过 7 天基本错过窗口按周或按月批量回传,反馈到达时任务已结束

三个判据里,密度最容易做,质量最难,速度最容易被忽视。

密度可以靠埋点解决:每一次修改、每一次转人工、每一次审计,都记一条。质量难在原因标签,用户不愿意填,填写口径也不统一。速度难在链路,反馈往往先进入数据仓库,再经过清洗、标注、评测,等回到模型时已经过去几周。

三项的优先级不是固定的。冷启动阶段先做密度,因为没有记录就没有后续;试点阶段重点做质量,因为少量高质量反馈比大量点击有用;放量阶段重点做速度,因为覆盖扩大后,慢反馈的代价会被放大。

B Quill 的审改记录为什么质量高

B Quill 是三家里反馈质量最典型的案例。

它每月 606 份报告,一次采纳率 63%,小改率 28%,返工率 9%。三个比例对应三档审改时长:采纳 1.25 小时、小改 1.95 小时、返工 3.0 小时,加权后 1.6 小时。这个结构本身就是高质量反馈的基础:系统不仅知道报告有没有被改,还知道改动属于哪一档。

更重要的是,审改记录能定位到段落。B 的输出是 12 到 20 页的 Markdown 加图表,每一次修改都能对应到具体章节和数据包条目。系统可以回答「第三页第二段被改了,原因是引用的数据口径不对」,而不是只知道「这份报告被改了」。

B 的事实错误率是 4.6%,每月约 27.876 份报告在审改时发现事实错误。这个数字不大,但每一条都带有具体位置和原因,是高质量的负样本。相比之下,如果只有「用户点了不满意」,系统无法知道该改哪里。

B 每月需要改动的报告约 224.22 份(606 × 37%),其中小改 169.68 份、返工 54.54 份。224.22 条带位置和档位的修改记录,足够支撑一次月度复盘,也超过了每月 100 条的密度下限。B 的飞轮能不能转,关键不在数量,而在这些修改有没有被结构化地回传。

三案例的飞轮评分

按三项判据给三家打分,每项 0 到 2 分,满分 6 分,5 分算转起来。

案例密度质量速度总分是否转起来
A Relay2(5,808 条/月)2(队列、优先级、模板可直接比对)2(同一班次回流)6是
B Quill2(224.22 条/月)1(有档位,缺原因标签)2(1.6 小时内回流)5是
C Runner2(2,904 条/月)1(有处置结果,审计只覆盖 8%)1(按周回流)4否

A 的 5,808 条来自 22% 的建议被修改(26,400 × 22%)。每一次修改都能对应到队列、优先级、模板三个字段,改动原因可以在确认时顺手记录,反馈质量高。确认发生在同一班次,回流速度也快。A 的飞轮是三家最容易转起来的。

B 的 224.22 条来自 37% 的报告需要改动(606 × 37%)。数量刚过密度线,质量有档位但缺原因标签,速度是 1.6 小时,三项合计 5 分。B 的短板很清楚:把「小改」和「返工」的原因做成可选标签,质量就能从 1 分升到 2 分。

C 的 2,904 条来自 22% 的任务转人工(13,200 × 22%)。数量最大,但质量只有 1 分,因为错误判断依赖 8% 的审计样本,转人工的处置结果如果没有原因标签,就只能定位不能沉淀;速度只有 1 分,因为审计按周批次,168 小时才回流。C 的总分是 4 分,还没到启动线。

这个评分最重要的结论是:执行档不等于飞轮快。C 的自动化程度最高、任务量最大,但它的反馈最慢、最难结构化。执行档的产品如果把审计只当合规动作,不当学习动作,飞轮会比建议档还慢。

启动阈值

阈值的作用是让「飞轮转起来了」变成一个可判断的状态,而不是感觉。

密度阈值:每月 100 条已标注反馈。 低于 100 条,一次月度复盘平均每天不到 4 条,无法区分信号和偶然。100 到 199 条算起步,200 条以上才算有密度。这个阈值不是统计定理,而是一个可执行的下限:它保证了复盘时每组至少有几十条样本。

质量阈值:同时有结果标签与原因标签。 只有结果标签,系统知道「这份报告被返工了」,但不知道是数据错、结构错还是语气不对;有了原因标签,才能把返工映射到具体的改进项。质量分 0 分意味着反馈不可用,1 分意味着只能定位不能沉淀,2 分才意味着可以形成规则。

速度阈值:24 小时内算快,超过 7 天算慢。 24 小时对应「同一批任务还能修正」;7 天对应「下一批任务开始前还能用上」。超过 7 天,反馈到达时相关任务已经结束,只能用于长期评测,不能用于即时修正。

总分阈值:5/6,且三项都不能为 0。 5 分保证至少两项满分、一项及格;三项都不能为 0,是因为乘法关系下任何一项为零,另外两项的投入都无法转化为改进。

阈值要写进试点退出条件。比如「连续两个月密度 ≥200、质量 = 2、速度 ≤24 小时,才允许把反馈链路接入生产模型」。没有这条,飞轮会停在「数据在收集」的状态,没人对「有没有用上」负责。

把评分写成可运行的模型

下面这个模型把三项判据、三案例评分和启动阈值写在一起。scoreFlywheel 返回分数、是否转起来、以及具体的阻塞项;monthlyLabeled 从案例事实表推出每月的可标注反馈量。

// file: src/task/11-3-data-flywheel.ts
// tier: L2
// verify: node --test test/task/11-3-data-flywheel.test.ts

// 飞轮 = 反馈密度 × 反馈质量 × 回流速度。三项是乘法,不是加法:
// 任何一项为零,另外两项做得再好,结果仍然是零。

import { byKey } from "../cases.ts";
import { FULL } from "../core/rate.ts";

export type FactorName = "density" | "quality" | "speed";
export type FactorScore = 0 | 1 | 2;

export type FlywheelInput = {
  /** 每月能进入训练或评测的已标注反馈条数 */
  readonly labeledPerMonth: number;
  /** 反馈是否带可核对的原因标签:0 无标签,1 有结果标签,2 有结果与原因 */
  readonly quality: FactorScore;
  /** 从产生结果到反馈回到系统的中位小时数 */
  readonly returnHours: number;
};

export type FlywheelVerdict = {
  readonly scores: Record<FactorName, FactorScore>;
  readonly total: number;
  readonly turning: boolean;
  readonly blockers: readonly string[];
};

// 启动线:每月 100 条是下限,200 条才算有密度;
// 24 小时内回流才算快,超过 7 天基本错过修正窗口。
export const MIN_LABELED_PER_MONTH = 100;
export const DENSITY_FULL = 200;
export const FAST_RETURN_HOURS = 24;
export const SLOW_RETURN_HOURS = 168;
export const TURNING_SCORE = 5;

export function densityScore(labeledPerMonth: number): FactorScore {
  if (labeledPerMonth >= DENSITY_FULL) return 2;
  if (labeledPerMonth >= MIN_LABELED_PER_MONTH) return 1;
  return 0;
}

export function speedScore(returnHours: number): FactorScore {
  if (returnHours <= FAST_RETURN_HOURS) return 2;
  if (returnHours <= SLOW_RETURN_HOURS) return 1;
  return 0;
}

export function scoreFlywheel(input: FlywheelInput): FlywheelVerdict {
  const scores: Record<FactorName, FactorScore> = {
    density: densityScore(input.labeledPerMonth),
    quality: input.quality,
    speed: speedScore(input.returnHours),
  };
  const total = scores.density + scores.quality + scores.speed;
  const blockers: string[] = [];

  if (scores.density === 0) {
    blockers.push(`每月可标注反馈不足 ${MIN_LABELED_PER_MONTH} 条,样本撑不起一次复盘`);
  } else if (scores.density === 1) {
    blockers.push(`每月可标注反馈在 ${MIN_LABELED_PER_MONTH} 到 ${DENSITY_FULL - 1} 条之间,只能做月度复盘`);
  }
  if (scores.quality === 0) {
    blockers.push("反馈没有可核对的标签,系统只知道错了,不知道错在哪");
  } else if (scores.quality === 1) {
    blockers.push("反馈有结果标签但缺原因标签,能定位错误不能沉淀规则");
  }
  if (scores.speed === 0) {
    blockers.push(`反馈回流超过 ${SLOW_RETURN_HOURS} 小时,已错过同一批任务的修正窗口`);
  } else if (scores.speed === 1) {
    blockers.push("反馈按周回流,只能改下一批,改不了当前批");
  }
  if (total < TURNING_SCORE) {
    blockers.push(`三项合计 ${total}/6,低于启动线 ${TURNING_SCORE}/6`);
  }

  const turning =
    total >= TURNING_SCORE &&
    scores.density > 0 &&
    scores.quality > 0 &&
    scores.speed > 0;

  return { scores, total, turning, blockers };
}

// 每月可标注反馈由事实表推出:
// A 22% 的建议被修改,B 37% 的报告需要改动,C 22% 的任务转人工。
export function monthlyLabeled(key: "A" | "B" | "C"): number {
  const profile = byKey(key);
  const editBps =
    key === "A" ? FULL - 7800 : key === "B" ? FULL - 6300 : FULL - 7800;
  return (profile.monthlyTasks * editBps) / FULL;
}

// 质量分与回流时长的判据写在注释里,避免把「感觉不错」当成高质量反馈。
export const CASE_INPUT: Record<"A" | "B" | "C", FlywheelInput> = {
  A: {
    labeledPerMonth: monthlyLabeled("A"),
    // 队列、优先级、模板三项都能与人工选择直接比对,改动原因可在确认时记录
    quality: 2,
    // 确认与修改发生在同一班次,分钟级回流
    returnHours: 0.5,
  },
  B: {
    labeledPerMonth: monthlyLabeled("B"),
    // 有采纳、小改、返工三档结果标签,但改动原因需要审改人额外填写
    quality: 1,
    // 审改 1.6 小时,同一天回流
    returnHours: 1.6,
  },
  C: {
    labeledPerMonth: monthlyLabeled("C"),
    // 转人工有处置结果,但只对 8% 的审计样本判断对错,原因多在回访记录里
    quality: 1,
    // 审计按周批次,168 小时才回流
    returnHours: 168,
  },
};

export type FlywheelRow = {
  readonly key: "A" | "B" | "C";
  readonly labeledPerMonth: number;
  readonly verdict: FlywheelVerdict;
};

export function summarize(): readonly FlywheelRow[] {
  return (["A", "B", "C"] as const).map((key) => ({
    key,
    labeledPerMonth: monthlyLabeled(key),
    verdict: scoreFlywheel(CASE_INPUT[key]),
  }));
}

densityScore 和 speedScore 的边界是硬边:99 条是 0 分,100 条是 1 分;24 小时是 2 分,25 小时是 1 分。硬边的好处是评审时没有「差不多」的空间,团队不会为了好看把 99 说成 100。

scoreFlywheel 的 turning 要求总分 ≥5 且三项都大于 0。这个组合条件比单纯看总分更严格:一个 5 分但质量为 0 的组合,说明系统收集了很多无法使用的反馈,不应该判定为转起来。

monthlyLabeled 用案例事实表里的修改率乘月任务量:A 22% × 26,400 = 5,808,B 37% × 606 = 224.22,C 22% × 13,200 = 2,904。三个数字的量级差异很大,但密度分都到了 2 分,说明密度不是三家的主要差距。

真正的差距在质量和速度。A 的质量与速度都是 2 分,B 的质量 1 分、速度 2 分,C 的质量 1 分、速度 1 分。改进顺序也因此不同:B 先补原因标签,C 先缩短回流时间,A 则可以把重点放在扩大覆盖上。

飞轮启动后的第二圈

飞轮转起来之后,第二圈的重点会变。

第一圈解决的是「有没有反馈」。第二圈要解决「反馈有没有改变决策」。判断方法是做对照:接入反馈前后的同类任务,一次通过率有没有变化。A 的采纳率如果从 78% 提升到 80%,B 的返工率如果从 9% 降到 7%,才说明反馈真的进入了模型或规则,而不是只进了报表。

第二圈还会暴露一个新问题:反馈会过时。用户三个月前的修改偏好,可能已经不适用当前的产品结构。飞轮需要定期清理旧反馈,否则模型会学到过时的模式。清理周期可以和预算复核周期一致,每季度一次。

第三圈才是规模化:把一套反馈链路复用到第二个产品。B 的第二个产品周期是 11 周,比第一个 16 周短,复制周期比 0.69;C 的第二个周期是 9 周,比第一个 14 周短,复制周期比 0.64。复制变快的前提是反馈链路已经标准化,而不是每个产品重新搭一遍。

飞轮不是一次建成的基础设施,而是随着产品阶段不断调整重点的机制。冷启动看密度,试点看质量,放量看速度,规模化看复用。每个阶段的瓶颈不同,产品经理的判断也要跟着变。

小结

  • 飞轮不是数据越多越好,而是反馈密度、质量、回流速度三项同时成立。
  • 三项是乘法关系,任何一项为零,另外两项的投入都无法转化为改进。
  • 密度判据:每月至少 100 条已标注反馈,200 条以上才算有密度。
  • 质量判据:同时有结果标签与原因标签;只有结果标签只能定位,不能沉淀规则。
  • 速度判据:24 小时内回流算快,超过 7 天基本错过修正窗口。
  • 三案例评分:A 6 分、B 5 分、C 4 分;C 任务量最大但反馈最慢,执行档不等于飞轮快。
  • 启动线是总分 5/6 且三项都不能为 0,要写进试点退出条件。
  • 飞轮第二圈看反馈有没有改变决策,第三圈才看能不能复用到第二个产品。

阅读导航:上一节:11.2 第一次价值时刻的设计 · 下一节:12.1 成功率、接管率、返工率、人机耗时比 。

常见错误与边界

  1. 把收集数据当成飞轮。 只存点击和采纳,没有原因标签,数据再多也不能改进下一次输出。
  2. 只做密度,不做质量。 每月几千条「不满意」无法定位问题;结果标签加原因标签才有用。
  3. 反馈按周或按月回流。 超过 7 天,相关任务已经结束,只能做长期评测,不能修正当前批。
  4. 用总分掩盖单项为零。 5 分但质量为 0,仍然不应该判定为转起来;三项都活着是硬条件。
  5. 执行档默认飞轮快。 C 的任务量最大,但审计只覆盖 8%、按周回流,评分反而最低。
  6. 不清理过时反馈。 三个月前的偏好可能已不适用,旧反馈会让模型学到过时模式。

第 11 章讲完冷启动、首次价值与飞轮。下一章开始讲度量:用哪几个指标判断一个 Agent 是不是真的在工作。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图