以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
上一节讲第一次价值,这一节讲价值能不能持续变好。很多团队在立项时都会说「用起来就有数据,数据多了模型就会变强」,这句话把飞轮说成了一个自动过程。实际上,绝大多数产品只是在收集数据,不是在转飞轮。
飞轮和「收集数据」的区别在于:数据有没有回到决策里,改变了下一次的输出。如果用户改了结果,系统只存了一条日志,下一次行为不变,那不是飞轮,是归档。
飞轮不是数据越多越好
数据量是最容易被高估的变量。一个每月产生 26,400 条记录的产品,如果记录里只有「用户点了采纳」,没有「为什么采纳、改了什么、为什么改」,这些记录对改进几乎没有用。
飞轮转起来需要三个条件同时成立:
- 反馈密度。 每月有足够多的已标注反馈,能支撑一次有统计意义的复盘。
- 反馈质量。 反馈带有可核对的结果与原因,能区分「错了」和「为什么错」。
- 回流速度。 反馈能在同一批任务的修正窗口内回到系统,而不是几周后才被看到。
三项是乘法关系,不是加法。密度再高,没有原因标签,系统只知道错了;质量再高,一个月只有十条,撑不起判断;前两项都好,反馈三周后才回来,只能改下一批,改不了当前批。
三要素与判据
把三项写成可检查的判据,飞轮才不是一句口号。
| 要素 | 判据 | 不合格的表现 |
|---|---|---|
| 密度 | 每月至少 100 条已标注反馈,200 条以上算有密度 | 只有点击日志,没有标注;或每月不足 100 条 |
| 质量 | 反馈同时带结果标签与原因标签 | 只有「采纳/不采纳」,没有「为什么」 |
| 速度 | 24 小时内回流算快,超过 7 天基本错过窗口 | 按周或按月批量回传,反馈到达时任务已结束 |
三个判据里,密度最容易做,质量最难,速度最容易被忽视。
密度可以靠埋点解决:每一次修改、每一次转人工、每一次审计,都记一条。质量难在原因标签,用户不愿意填,填写口径也不统一。速度难在链路,反馈往往先进入数据仓库,再经过清洗、标注、评测,等回到模型时已经过去几周。
三项的优先级不是固定的。冷启动阶段先做密度,因为没有记录就没有后续;试点阶段重点做质量,因为少量高质量反馈比大量点击有用;放量阶段重点做速度,因为覆盖扩大后,慢反馈的代价会被放大。
B Quill 的审改记录为什么质量高
B Quill 是三家里反馈质量最典型的案例。
它每月 606 份报告,一次采纳率 63%,小改率 28%,返工率 9%。三个比例对应三档审改时长:采纳 1.25 小时、小改 1.95 小时、返工 3.0 小时,加权后 1.6 小时。这个结构本身就是高质量反馈的基础:系统不仅知道报告有没有被改,还知道改动属于哪一档。
更重要的是,审改记录能定位到段落。B 的输出是 12 到 20 页的 Markdown 加图表,每一次修改都能对应到具体章节和数据包条目。系统可以回答「第三页第二段被改了,原因是引用的数据口径不对」,而不是只知道「这份报告被改了」。
B 的事实错误率是 4.6%,每月约 27.876 份报告在审改时发现事实错误。这个数字不大,但每一条都带有具体位置和原因,是高质量的负样本。相比之下,如果只有「用户点了不满意」,系统无法知道该改哪里。
B 每月需要改动的报告约 224.22 份(606 × 37%),其中小改 169.68 份、返工 54.54 份。224.22 条带位置和档位的修改记录,足够支撑一次月度复盘,也超过了每月 100 条的密度下限。B 的飞轮能不能转,关键不在数量,而在这些修改有没有被结构化地回传。
三案例的飞轮评分
按三项判据给三家打分,每项 0 到 2 分,满分 6 分,5 分算转起来。
| 案例 | 密度 | 质量 | 速度 | 总分 | 是否转起来 |
|---|---|---|---|---|---|
| A Relay | 2(5,808 条/月) | 2(队列、优先级、模板可直接比对) | 2(同一班次回流) | 6 | 是 |
| B Quill | 2(224.22 条/月) | 1(有档位,缺原因标签) | 2(1.6 小时内回流) | 5 | 是 |
| C Runner | 2(2,904 条/月) | 1(有处置结果,审计只覆盖 8%) | 1(按周回流) | 4 | 否 |
A 的 5,808 条来自 22% 的建议被修改(26,400 × 22%)。每一次修改都能对应到队列、优先级、模板三个字段,改动原因可以在确认时顺手记录,反馈质量高。确认发生在同一班次,回流速度也快。A 的飞轮是三家最容易转起来的。
B 的 224.22 条来自 37% 的报告需要改动(606 × 37%)。数量刚过密度线,质量有档位但缺原因标签,速度是 1.6 小时,三项合计 5 分。B 的短板很清楚:把「小改」和「返工」的原因做成可选标签,质量就能从 1 分升到 2 分。
C 的 2,904 条来自 22% 的任务转人工(13,200 × 22%)。数量最大,但质量只有 1 分,因为错误判断依赖 8% 的审计样本,转人工的处置结果如果没有原因标签,就只能定位不能沉淀;速度只有 1 分,因为审计按周批次,168 小时才回流。C 的总分是 4 分,还没到启动线。
这个评分最重要的结论是:执行档不等于飞轮快。C 的自动化程度最高、任务量最大,但它的反馈最慢、最难结构化。执行档的产品如果把审计只当合规动作,不当学习动作,飞轮会比建议档还慢。
启动阈值
阈值的作用是让「飞轮转起来了」变成一个可判断的状态,而不是感觉。
密度阈值:每月 100 条已标注反馈。 低于 100 条,一次月度复盘平均每天不到 4 条,无法区分信号和偶然。100 到 199 条算起步,200 条以上才算有密度。这个阈值不是统计定理,而是一个可执行的下限:它保证了复盘时每组至少有几十条样本。
质量阈值:同时有结果标签与原因标签。 只有结果标签,系统知道「这份报告被返工了」,但不知道是数据错、结构错还是语气不对;有了原因标签,才能把返工映射到具体的改进项。质量分 0 分意味着反馈不可用,1 分意味着只能定位不能沉淀,2 分才意味着可以形成规则。
速度阈值:24 小时内算快,超过 7 天算慢。 24 小时对应「同一批任务还能修正」;7 天对应「下一批任务开始前还能用上」。超过 7 天,反馈到达时相关任务已经结束,只能用于长期评测,不能用于即时修正。
总分阈值:5/6,且三项都不能为 0。 5 分保证至少两项满分、一项及格;三项都不能为 0,是因为乘法关系下任何一项为零,另外两项的投入都无法转化为改进。
阈值要写进试点退出条件。比如「连续两个月密度 ≥200、质量 = 2、速度 ≤24 小时,才允许把反馈链路接入生产模型」。没有这条,飞轮会停在「数据在收集」的状态,没人对「有没有用上」负责。
把评分写成可运行的模型
下面这个模型把三项判据、三案例评分和启动阈值写在一起。scoreFlywheel 返回分数、是否转起来、以及具体的阻塞项;monthlyLabeled 从案例事实表推出每月的可标注反馈量。
// file: src/task/11-3-data-flywheel.ts
// tier: L2
// verify: node --test test/task/11-3-data-flywheel.test.ts
// 飞轮 = 反馈密度 × 反馈质量 × 回流速度。三项是乘法,不是加法:
// 任何一项为零,另外两项做得再好,结果仍然是零。
import { byKey } from "../cases.ts";
import { FULL } from "../core/rate.ts";
export type FactorName = "density" | "quality" | "speed";
export type FactorScore = 0 | 1 | 2;
export type FlywheelInput = {
/** 每月能进入训练或评测的已标注反馈条数 */
readonly labeledPerMonth: number;
/** 反馈是否带可核对的原因标签:0 无标签,1 有结果标签,2 有结果与原因 */
readonly quality: FactorScore;
/** 从产生结果到反馈回到系统的中位小时数 */
readonly returnHours: number;
};
export type FlywheelVerdict = {
readonly scores: Record<FactorName, FactorScore>;
readonly total: number;
readonly turning: boolean;
readonly blockers: readonly string[];
};
// 启动线:每月 100 条是下限,200 条才算有密度;
// 24 小时内回流才算快,超过 7 天基本错过修正窗口。
export const MIN_LABELED_PER_MONTH = 100;
export const DENSITY_FULL = 200;
export const FAST_RETURN_HOURS = 24;
export const SLOW_RETURN_HOURS = 168;
export const TURNING_SCORE = 5;
export function densityScore(labeledPerMonth: number): FactorScore {
if (labeledPerMonth >= DENSITY_FULL) return 2;
if (labeledPerMonth >= MIN_LABELED_PER_MONTH) return 1;
return 0;
}
export function speedScore(returnHours: number): FactorScore {
if (returnHours <= FAST_RETURN_HOURS) return 2;
if (returnHours <= SLOW_RETURN_HOURS) return 1;
return 0;
}
export function scoreFlywheel(input: FlywheelInput): FlywheelVerdict {
const scores: Record<FactorName, FactorScore> = {
density: densityScore(input.labeledPerMonth),
quality: input.quality,
speed: speedScore(input.returnHours),
};
const total = scores.density + scores.quality + scores.speed;
const blockers: string[] = [];
if (scores.density === 0) {
blockers.push(`每月可标注反馈不足 ${MIN_LABELED_PER_MONTH} 条,样本撑不起一次复盘`);
} else if (scores.density === 1) {
blockers.push(`每月可标注反馈在 ${MIN_LABELED_PER_MONTH} 到 ${DENSITY_FULL - 1} 条之间,只能做月度复盘`);
}
if (scores.quality === 0) {
blockers.push("反馈没有可核对的标签,系统只知道错了,不知道错在哪");
} else if (scores.quality === 1) {
blockers.push("反馈有结果标签但缺原因标签,能定位错误不能沉淀规则");
}
if (scores.speed === 0) {
blockers.push(`反馈回流超过 ${SLOW_RETURN_HOURS} 小时,已错过同一批任务的修正窗口`);
} else if (scores.speed === 1) {
blockers.push("反馈按周回流,只能改下一批,改不了当前批");
}
if (total < TURNING_SCORE) {
blockers.push(`三项合计 ${total}/6,低于启动线 ${TURNING_SCORE}/6`);
}
const turning =
total >= TURNING_SCORE &&
scores.density > 0 &&
scores.quality > 0 &&
scores.speed > 0;
return { scores, total, turning, blockers };
}
// 每月可标注反馈由事实表推出:
// A 22% 的建议被修改,B 37% 的报告需要改动,C 22% 的任务转人工。
export function monthlyLabeled(key: "A" | "B" | "C"): number {
const profile = byKey(key);
const editBps =
key === "A" ? FULL - 7800 : key === "B" ? FULL - 6300 : FULL - 7800;
return (profile.monthlyTasks * editBps) / FULL;
}
// 质量分与回流时长的判据写在注释里,避免把「感觉不错」当成高质量反馈。
export const CASE_INPUT: Record<"A" | "B" | "C", FlywheelInput> = {
A: {
labeledPerMonth: monthlyLabeled("A"),
// 队列、优先级、模板三项都能与人工选择直接比对,改动原因可在确认时记录
quality: 2,
// 确认与修改发生在同一班次,分钟级回流
returnHours: 0.5,
},
B: {
labeledPerMonth: monthlyLabeled("B"),
// 有采纳、小改、返工三档结果标签,但改动原因需要审改人额外填写
quality: 1,
// 审改 1.6 小时,同一天回流
returnHours: 1.6,
},
C: {
labeledPerMonth: monthlyLabeled("C"),
// 转人工有处置结果,但只对 8% 的审计样本判断对错,原因多在回访记录里
quality: 1,
// 审计按周批次,168 小时才回流
returnHours: 168,
},
};
export type FlywheelRow = {
readonly key: "A" | "B" | "C";
readonly labeledPerMonth: number;
readonly verdict: FlywheelVerdict;
};
export function summarize(): readonly FlywheelRow[] {
return (["A", "B", "C"] as const).map((key) => ({
key,
labeledPerMonth: monthlyLabeled(key),
verdict: scoreFlywheel(CASE_INPUT[key]),
}));
}
densityScore 和 speedScore 的边界是硬边:99 条是 0 分,100 条是 1 分;24 小时是 2 分,25 小时是 1 分。硬边的好处是评审时没有「差不多」的空间,团队不会为了好看把 99 说成 100。
scoreFlywheel 的 turning 要求总分 ≥5 且三项都大于 0。这个组合条件比单纯看总分更严格:一个 5 分但质量为 0 的组合,说明系统收集了很多无法使用的反馈,不应该判定为转起来。
monthlyLabeled 用案例事实表里的修改率乘月任务量:A 22% × 26,400 = 5,808,B 37% × 606 = 224.22,C 22% × 13,200 = 2,904。三个数字的量级差异很大,但密度分都到了 2 分,说明密度不是三家的主要差距。
真正的差距在质量和速度。A 的质量与速度都是 2 分,B 的质量 1 分、速度 2 分,C 的质量 1 分、速度 1 分。改进顺序也因此不同:B 先补原因标签,C 先缩短回流时间,A 则可以把重点放在扩大覆盖上。
飞轮启动后的第二圈
飞轮转起来之后,第二圈的重点会变。
第一圈解决的是「有没有反馈」。第二圈要解决「反馈有没有改变决策」。判断方法是做对照:接入反馈前后的同类任务,一次通过率有没有变化。A 的采纳率如果从 78% 提升到 80%,B 的返工率如果从 9% 降到 7%,才说明反馈真的进入了模型或规则,而不是只进了报表。
第二圈还会暴露一个新问题:反馈会过时。用户三个月前的修改偏好,可能已经不适用当前的产品结构。飞轮需要定期清理旧反馈,否则模型会学到过时的模式。清理周期可以和预算复核周期一致,每季度一次。
第三圈才是规模化:把一套反馈链路复用到第二个产品。B 的第二个产品周期是 11 周,比第一个 16 周短,复制周期比 0.69;C 的第二个周期是 9 周,比第一个 14 周短,复制周期比 0.64。复制变快的前提是反馈链路已经标准化,而不是每个产品重新搭一遍。
飞轮不是一次建成的基础设施,而是随着产品阶段不断调整重点的机制。冷启动看密度,试点看质量,放量看速度,规模化看复用。每个阶段的瓶颈不同,产品经理的判断也要跟着变。
小结
- 飞轮不是数据越多越好,而是反馈密度、质量、回流速度三项同时成立。
- 三项是乘法关系,任何一项为零,另外两项的投入都无法转化为改进。
- 密度判据:每月至少 100 条已标注反馈,200 条以上才算有密度。
- 质量判据:同时有结果标签与原因标签;只有结果标签只能定位,不能沉淀规则。
- 速度判据:24 小时内回流算快,超过 7 天基本错过修正窗口。
- 三案例评分:A 6 分、B 5 分、C 4 分;C 任务量最大但反馈最慢,执行档不等于飞轮快。
- 启动线是总分 5/6 且三项都不能为 0,要写进试点退出条件。
- 飞轮第二圈看反馈有没有改变决策,第三圈才看能不能复用到第二个产品。
阅读导航:上一节:11.2 第一次价值时刻的设计 · 下一节:12.1 成功率、接管率、返工率、人机耗时比 。
常见错误与边界
- 把收集数据当成飞轮。 只存点击和采纳,没有原因标签,数据再多也不能改进下一次输出。
- 只做密度,不做质量。 每月几千条「不满意」无法定位问题;结果标签加原因标签才有用。
- 反馈按周或按月回流。 超过 7 天,相关任务已经结束,只能做长期评测,不能修正当前批。
- 用总分掩盖单项为零。 5 分但质量为 0,仍然不应该判定为转起来;三项都活着是硬条件。
- 执行档默认飞轮快。 C 的任务量最大,但审计只覆盖 8%、按周回流,评分反而最低。
- 不清理过时反馈。 三个月前的偏好可能已不适用,旧反馈会让模型学到过时模式。
第 11 章讲完冷启动、首次价值与飞轮。下一章开始讲度量:用哪几个指标判断一个 Agent 是不是真的在工作。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。