以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。分流比例、样本量与实验周期均为教学设定值。
《潮汐消消》改了一版赛后点评的提示词,全量上线一周后 D1 涨了 0.5 个百分点。团队准备把这个改动写进季度总结,有人问了一句:同一周还上线了夏日活动,怎么确定是提示词起的作用。
没人能回答。改动是全量的,没有对照组;活动也是全量的,两件事同时发生。数据只能说明「这一周比上一周好」,不能说明「好在提示词」。
这一节讲实验设计:怎么把因果关系从相关性里分离出来,以及实验开始前必须写死哪些条件。
相关不等于因果,三类混杂最常见
观察到的变化可能来自三类混杂:
| 混杂 | 表现 | 例 |
|---|---|---|
| 同期改动 | 多个变更同时上线 | 提示词与活动同周上线 |
| 自选择 | 用的人本来就不同 | 愿意开 Agent 的玩家更活跃 |
| 版本差异 | 前后版本环境不同 | 新版本换了匹配规则 |
三类混杂不能靠「多观察一段时间」消除。时间越长,同期改动越多,混杂越严重。
实验的作用是随机制造两组几乎相同的玩家,只让一个变量不同。随机化把三类混杂平均掉,剩下的差异才可能归因于变量。
随机化不是万能的。样本太小时,随机也可能不均衡;实验期太短时,新奇效应会主导结果。这两点分别由样本量与周期控制。
分流要确定,不能随机
分流指把玩家分到对照组与实验组。常见错误是每次请求都随机一次,导致同一玩家今天在实验组、明天在对照组。
正确做法是对玩家 id 做哈希,取模后按比例分组:
- 同一玩家永远在同一组。
- 换实验盐值会重新打散,避免同一批人总当实验组。
- 分组结果可复现,回放与排查都能对上。
哈希分流还要考虑设备与账号。一个玩家多设备登录时,按账号分流才能保证体验一致;按设备分流会让同一个人在两台设备上看到不同版本。
分流比例不一定是一半。风险高的改动先放 5%,确认没有大面积问题再扩到 50%。比例变化时要保持已分组玩家的组别稳定,不能重新洗牌。
样本量要算,不能拍
样本量决定实验能否检出真实差异。样本太小,真实有效的改动也会显示「不显著」;样本太大,微小到没有产品意义的差异也会显著。
近似公式是 16 × p(1−p) / mde²:
p是基线比例,例如 D1 留存 30%。mde是最小可检测差异,例如 3.35 个百分点。- 结果每组约 3,000 人。
三个输入都要提前定。基线来自历史数据,mde 来自产品判断「多大的提升值得做」,样本量是计算结果,不是拍脑袋的数字。
mde 不能定得太小。想把 mde 从 3.35 个百分点降到 1 个百分点,样本量要涨十倍以上;多数团队没有这个流量,实验会永远跑不完。
样本量还要按分群调整。总体 3,000 人够,但如果要单独看新玩家,新玩家只占两成,每组只有 600 人,分群结论就不可信。
周期七天,覆盖完整行为
实验周期至少七天,原因是行为有周期性:
- 工作日与周末的游玩时长不同。
- 活动通常在周末集中参与。
- 新玩家的前七天决定留存,短于七天看不全。
七天是下限,不是标准。涉及赛季或长线关系的改动要跑满一个赛季,否则只能看到短期反应。
周期内不能改实验配置。中途调整提示词、扩大分流比例或修改指标口径,都会让前面积累的数据失效。
实验结束不等于结论成立。要检查样本比例是否均衡、是否有异常流量、护栏是否被突破,三项都通过才看主指标。
先看护栏,再看主指标
主指标是实验想提升的那个数,护栏是不能被牺牲的数。判定顺序固定:
- 护栏是否突破。 退款率、投诉率、崩溃率,任一突破直接停。
- 主指标是否显著。 p 值小于 0.05 且方向为正。
- 效应是否够大。 提升幅度要超过 mde,否则只是统计显著、产品不显著。
顺序不能反。先看主指标,会在「留存涨了但投诉翻倍」时得出错误结论;先看护栏,才能保证不为了一个指标牺牲整体。
护栏用绝对差判定,不用相对变化。退款率从 0.1% 涨到 0.2% 是翻倍,绝对差只有 0.1 个百分点;用相对变化会把它放大成「恶化 100%」,用绝对差更接近真实影响。
护栏阈值要提前写进实验方案。上线后再补护栏,等于给已发生的结果找理由。
灰度不是实验
灰度与实验经常被混为一谈,两者目的不同:
| 灰度 | 实验 | |
|---|---|---|
| 目的 | 控制风险 | 判断因果 |
| 分组 | 按比例放量 | 随机对照 |
| 结论 | 能不能全量 | 有没有效果 |
| 失败 | 回滚 | 停止并记录 |
灰度可以先于实验。新功能先放 5% 确认不崩,再开 50/50 实验判断效果。两步不能合并,因为灰度期间没有对照组,看不出效果。
反过来,实验也不能替代灰度。实验组与对照组各占一半,如果新功能有严重缺陷,一半玩家会受影响;先用小比例灰度能把这个风险降下来。
把实验判定写成可运行规则
下面的实现把确定性分流、样本量估算、成熟判断、护栏检查与三选决策写成纯函数。
// file: src/metrics/experiment.ts
// tier: L1
// verify: node --test test/metrics/experiment.test.ts
// 灰度与实验:分流要确定,样本要算够,护栏要先于主指标判定。
// 主指标显著但护栏破了,结论是不上,而不是「再观察一下」。
export type Arm = "control" | "treatment";
function fnv1a(input: string): number {
let hash = 0x811c9dc5;
for (let index = 0; index < input.length; index += 1) {
hash ^= input.charCodeAt(index);
hash = Math.imul(hash, 0x01000193) >>> 0;
}
return hash;
}
// 同一玩家永远进同一组:哈希取模,不用随机数,重跑与回放都能复现。
export function bucket(playerId: string, salt = "aga", ratio = 0.5): Arm {
const point = (fnv1a(`${salt}:${playerId}`) % 10_000) / 10_000;
return point < ratio ? "treatment" : "control";
}
// 近似样本量:16 × p(1−p) / mde²,向上取整到百位,便于对外沟通。
export function sampleSizeNeeded(baseline: number, mde: number): number {
if (mde <= 0) throw new Error("mde must be positive");
const raw = (16 * baseline * (1 - baseline)) / (mde * mde);
return Math.ceil(raw / 100) * 100;
}
export function isMature(startDay: number, todayDay: number, days = 7): boolean {
return todayDay - startDay >= days;
}
export type GuardrailRow = {
readonly name: string;
readonly control: number;
readonly treatment: number;
readonly maxDelta: number;
};
// 护栏按绝对差判定:退款率、投诉率、崩溃率的量级不同,不用相对变化混算。
export function breaches(rows: readonly GuardrailRow[]): string[] {
return rows
.filter((row) => Math.abs(row.treatment - row.control) > row.maxDelta)
.map((row) => row.name)
.sort();
}
// 护栏优先:任一护栏破了就停;否则显著为正才上,其余延长观察。
export function decide(
primaryDelta: number,
pValue: number,
guardrailBreaches: readonly string[],
): "ship" | "extend" | "stop" {
if (guardrailBreaches.length > 0) return "stop";
if (pValue < 0.05 && primaryDelta < 0) return "stop";
if (pValue < 0.05 && primaryDelta > 0) return "ship";
return "extend";
}
bucket 用 FNV-1a 哈希,输入是「盐值 + 玩家 id」。盐值让不同实验互相独立,玩家 id 保证同一实验内稳定。
哈希取模后用 10000 个桶,比例精度到万分之一。直接对 100 取模会让 50/50 分流的误差偏大,桶多一点的成本可以忽略。
sampleSizeNeeded 用近似公式,并向上取整到百位。取整到百位是为了对外沟通方便,不是为了数学精确;真实样本量还要按流量与分群再调整。
isMature 判断实验是否满七天。它只回答「时间够不够」,不回答「样本够不够」,两个条件要分别检查。
breaches 用绝对差与阈值比较,返回护栏名字。返回名字而不是布尔值,是为了让决策函数能记录「哪个护栏破了」。
decide 把护栏放在第一位。即使主指标显著为正,只要护栏破了就返回 stop;这是整节最重要的一条规则。
decide 在不显著时返回 extend,而不是 ship 或 stop。不显著可能意味着「没效果」,也可能意味着「样本不够」,两者需要不同的后续动作。
实验开始前写死五件事
实验方案要包含五个条件,缺一个就不要开始:
- 假设。 改什么、期望哪个指标怎么变、为什么。
- 主指标与护栏。 各一个主指标,最多三个护栏。
- 样本量与周期。 每组多少人、跑几天、按什么分群检查。
- 分流比例与盐值。 50/50 还是 5/95,盐值是什么。
- 停损条件。 什么情况下提前结束,谁有权结束。
五件事写死的目的是防止事后解释。实验结束后调整指标或放宽护栏,等于用数据证明一个已经相信的结论。
方案还要写清「如果结果为负怎么办」。只准备成功路径的实验,会在失败时被解释成「样本不够」或「被其他改动干扰」,然后重跑一次,直到出现想要的结果。
方舟的对照:匹配实验
《潮汐方舟》的 AI 对手调难度,实验设计比消消复杂:难度影响匹配,匹配影响对局质量,对局质量又影响留存,中间隔着好几层。
这类实验要盯中间指标:匹配时长、对局时长、投降率。只看留存,会把「难度合适但匹配变慢」的改动判为有效。
方舟还要防止实验组与对照组互相匹配。同一局里一个玩家在实验组、一个在对照组,对局本身就不公平;分流要在匹配之前完成,并按对局整体分组。
两个案例的共同点是:实验单位要与体验单位一致。消消按玩家分流,方舟按对局分流;分错单位,结论就不可信。
小结
- 同期改动、自选择与版本差异是三类最常见混杂,观察再久也消不掉。
- 随机化制造两组几乎相同的玩家,只让一个变量不同。
- 分流按玩家 id 哈希,同一玩家永远同一组,换盐值重新打散。
- 样本量按 16×p(1−p)/mde² 估算,30% 基线与 3.35 个百分点差异对应每组 3,000 人。
- mde 定得太小会让实验永远跑不完,分群看要重新算样本。
- 周期至少七天,覆盖工作日与周末,期间不改配置。
- 判定顺序是先护栏后主指标,护栏用绝对差不用相对变化。
- 灰度控制风险,实验判断因果,灰度不能替代实验。
- 实验前写死假设、指标、样本、分流与停损五个条件。
- 方舟按对局分流,实验单位要与体验单位一致。
阅读导航:上一节:11.2 单位玩家 Agent 成本 · 下一节:12.1 Agent 归谁拥有:策划、程序还是平台 。
常见错误与边界
- 全量上线后看前后对比。 同期活动与版本差异混在一起,无法归因。
- 每次请求随机分组。 同一玩家来回换组,体验不一致,数据也失真。
- 样本量拍脑袋。 太小检不出真实效果,太大把微小差异放大成结论。
- 先看主指标。 留存涨了但投诉翻倍,仍然判为成功。
- 把灰度当实验。 灰度没有对照组,只能回答「会不会崩」,不能回答「有没有用」。
- 实验结束后改口径。 调指标、放宽护栏,本质是用数据证明已经相信的结论。
指标与实验回答「有没有用、值不值」。还有一个问题在数据和代码之外:这套能力到底归谁负责,工具链怎么共享,什么时候该买、什么时候该自建。
第 12 章从所有权开始,把组织与平台问题写成可执行的规则。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。