《AI Agent 游戏产品开发》11.3 灰度、对照组与实验设计

全量上线后留存涨了,不等于 Agent 有效:同期活动、玩家自选择与版本差异都会混进来。本节把分流、样本量与决策写成可执行规则,给出 30% 基线下每组 3,000 人、七天周期的口径,说明灰度与实验的区别、护栏为什么先于主指标判定,以及实验开始前必须写死的五个条件。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。分流比例、样本量与实验周期均为教学设定值。

《潮汐消消》改了一版赛后点评的提示词,全量上线一周后 D1 涨了 0.5 个百分点。团队准备把这个改动写进季度总结,有人问了一句:同一周还上线了夏日活动,怎么确定是提示词起的作用。

没人能回答。改动是全量的,没有对照组;活动也是全量的,两件事同时发生。数据只能说明「这一周比上一周好」,不能说明「好在提示词」。

这一节讲实验设计:怎么把因果关系从相关性里分离出来,以及实验开始前必须写死哪些条件。

相关不等于因果,三类混杂最常见

观察到的变化可能来自三类混杂:

混杂表现例
同期改动多个变更同时上线提示词与活动同周上线
自选择用的人本来就不同愿意开 Agent 的玩家更活跃
版本差异前后版本环境不同新版本换了匹配规则

三类混杂不能靠「多观察一段时间」消除。时间越长,同期改动越多,混杂越严重。

实验的作用是随机制造两组几乎相同的玩家,只让一个变量不同。随机化把三类混杂平均掉,剩下的差异才可能归因于变量。

随机化不是万能的。样本太小时,随机也可能不均衡;实验期太短时,新奇效应会主导结果。这两点分别由样本量与周期控制。

分流要确定,不能随机

分流指把玩家分到对照组与实验组。常见错误是每次请求都随机一次,导致同一玩家今天在实验组、明天在对照组。

正确做法是对玩家 id 做哈希,取模后按比例分组:

  • 同一玩家永远在同一组。
  • 换实验盐值会重新打散,避免同一批人总当实验组。
  • 分组结果可复现,回放与排查都能对上。

哈希分流还要考虑设备与账号。一个玩家多设备登录时,按账号分流才能保证体验一致;按设备分流会让同一个人在两台设备上看到不同版本。

分流比例不一定是一半。风险高的改动先放 5%,确认没有大面积问题再扩到 50%。比例变化时要保持已分组玩家的组别稳定,不能重新洗牌。

样本量要算,不能拍

样本量决定实验能否检出真实差异。样本太小,真实有效的改动也会显示「不显著」;样本太大,微小到没有产品意义的差异也会显著。

近似公式是 16 × p(1−p) / mde²:

  • p 是基线比例,例如 D1 留存 30%。
  • mde 是最小可检测差异,例如 3.35 个百分点。
  • 结果每组约 3,000 人。

三个输入都要提前定。基线来自历史数据,mde 来自产品判断「多大的提升值得做」,样本量是计算结果,不是拍脑袋的数字。

mde 不能定得太小。想把 mde 从 3.35 个百分点降到 1 个百分点,样本量要涨十倍以上;多数团队没有这个流量,实验会永远跑不完。

样本量还要按分群调整。总体 3,000 人够,但如果要单独看新玩家,新玩家只占两成,每组只有 600 人,分群结论就不可信。

周期七天,覆盖完整行为

实验周期至少七天,原因是行为有周期性:

  • 工作日与周末的游玩时长不同。
  • 活动通常在周末集中参与。
  • 新玩家的前七天决定留存,短于七天看不全。

七天是下限,不是标准。涉及赛季或长线关系的改动要跑满一个赛季,否则只能看到短期反应。

周期内不能改实验配置。中途调整提示词、扩大分流比例或修改指标口径,都会让前面积累的数据失效。

实验结束不等于结论成立。要检查样本比例是否均衡、是否有异常流量、护栏是否被突破,三项都通过才看主指标。

先看护栏,再看主指标

主指标是实验想提升的那个数,护栏是不能被牺牲的数。判定顺序固定:

  1. 护栏是否突破。 退款率、投诉率、崩溃率,任一突破直接停。
  2. 主指标是否显著。 p 值小于 0.05 且方向为正。
  3. 效应是否够大。 提升幅度要超过 mde,否则只是统计显著、产品不显著。

顺序不能反。先看主指标,会在「留存涨了但投诉翻倍」时得出错误结论;先看护栏,才能保证不为了一个指标牺牲整体。

护栏用绝对差判定,不用相对变化。退款率从 0.1% 涨到 0.2% 是翻倍,绝对差只有 0.1 个百分点;用相对变化会把它放大成「恶化 100%」,用绝对差更接近真实影响。

护栏阈值要提前写进实验方案。上线后再补护栏,等于给已发生的结果找理由。

灰度不是实验

灰度与实验经常被混为一谈,两者目的不同:

灰度实验
目的控制风险判断因果
分组按比例放量随机对照
结论能不能全量有没有效果
失败回滚停止并记录

灰度可以先于实验。新功能先放 5% 确认不崩,再开 50/50 实验判断效果。两步不能合并,因为灰度期间没有对照组,看不出效果。

反过来,实验也不能替代灰度。实验组与对照组各占一半,如果新功能有严重缺陷,一半玩家会受影响;先用小比例灰度能把这个风险降下来。

把实验判定写成可运行规则

下面的实现把确定性分流、样本量估算、成熟判断、护栏检查与三选决策写成纯函数。

// file: src/metrics/experiment.ts
// tier: L1
// verify: node --test test/metrics/experiment.test.ts

// 灰度与实验:分流要确定,样本要算够,护栏要先于主指标判定。
// 主指标显著但护栏破了,结论是不上,而不是「再观察一下」。

export type Arm = "control" | "treatment";

function fnv1a(input: string): number {
  let hash = 0x811c9dc5;
  for (let index = 0; index < input.length; index += 1) {
    hash ^= input.charCodeAt(index);
    hash = Math.imul(hash, 0x01000193) >>> 0;
  }
  return hash;
}

// 同一玩家永远进同一组:哈希取模,不用随机数,重跑与回放都能复现。
export function bucket(playerId: string, salt = "aga", ratio = 0.5): Arm {
  const point = (fnv1a(`${salt}:${playerId}`) % 10_000) / 10_000;
  return point < ratio ? "treatment" : "control";
}

// 近似样本量:16 × p(1−p) / mde²,向上取整到百位,便于对外沟通。
export function sampleSizeNeeded(baseline: number, mde: number): number {
  if (mde <= 0) throw new Error("mde must be positive");
  const raw = (16 * baseline * (1 - baseline)) / (mde * mde);
  return Math.ceil(raw / 100) * 100;
}

export function isMature(startDay: number, todayDay: number, days = 7): boolean {
  return todayDay - startDay >= days;
}

export type GuardrailRow = {
  readonly name: string;
  readonly control: number;
  readonly treatment: number;
  readonly maxDelta: number;
};

// 护栏按绝对差判定:退款率、投诉率、崩溃率的量级不同,不用相对变化混算。
export function breaches(rows: readonly GuardrailRow[]): string[] {
  return rows
    .filter((row) => Math.abs(row.treatment - row.control) > row.maxDelta)
    .map((row) => row.name)
    .sort();
}

// 护栏优先:任一护栏破了就停;否则显著为正才上,其余延长观察。
export function decide(
  primaryDelta: number,
  pValue: number,
  guardrailBreaches: readonly string[],
): "ship" | "extend" | "stop" {
  if (guardrailBreaches.length > 0) return "stop";
  if (pValue < 0.05 && primaryDelta < 0) return "stop";
  if (pValue < 0.05 && primaryDelta > 0) return "ship";
  return "extend";
}

bucket 用 FNV-1a 哈希,输入是「盐值 + 玩家 id」。盐值让不同实验互相独立,玩家 id 保证同一实验内稳定。

哈希取模后用 10000 个桶,比例精度到万分之一。直接对 100 取模会让 50/50 分流的误差偏大,桶多一点的成本可以忽略。

sampleSizeNeeded 用近似公式,并向上取整到百位。取整到百位是为了对外沟通方便,不是为了数学精确;真实样本量还要按流量与分群再调整。

isMature 判断实验是否满七天。它只回答「时间够不够」,不回答「样本够不够」,两个条件要分别检查。

breaches 用绝对差与阈值比较,返回护栏名字。返回名字而不是布尔值,是为了让决策函数能记录「哪个护栏破了」。

decide 把护栏放在第一位。即使主指标显著为正,只要护栏破了就返回 stop;这是整节最重要的一条规则。

decide 在不显著时返回 extend,而不是 ship 或 stop。不显著可能意味着「没效果」,也可能意味着「样本不够」,两者需要不同的后续动作。

实验开始前写死五件事

实验方案要包含五个条件,缺一个就不要开始:

  1. 假设。 改什么、期望哪个指标怎么变、为什么。
  2. 主指标与护栏。 各一个主指标,最多三个护栏。
  3. 样本量与周期。 每组多少人、跑几天、按什么分群检查。
  4. 分流比例与盐值。 50/50 还是 5/95,盐值是什么。
  5. 停损条件。 什么情况下提前结束,谁有权结束。

五件事写死的目的是防止事后解释。实验结束后调整指标或放宽护栏,等于用数据证明一个已经相信的结论。

方案还要写清「如果结果为负怎么办」。只准备成功路径的实验,会在失败时被解释成「样本不够」或「被其他改动干扰」,然后重跑一次,直到出现想要的结果。

方舟的对照:匹配实验

《潮汐方舟》的 AI 对手调难度,实验设计比消消复杂:难度影响匹配,匹配影响对局质量,对局质量又影响留存,中间隔着好几层。

这类实验要盯中间指标:匹配时长、对局时长、投降率。只看留存,会把「难度合适但匹配变慢」的改动判为有效。

方舟还要防止实验组与对照组互相匹配。同一局里一个玩家在实验组、一个在对照组,对局本身就不公平;分流要在匹配之前完成,并按对局整体分组。

两个案例的共同点是:实验单位要与体验单位一致。消消按玩家分流,方舟按对局分流;分错单位,结论就不可信。

小结

  • 同期改动、自选择与版本差异是三类最常见混杂,观察再久也消不掉。
  • 随机化制造两组几乎相同的玩家,只让一个变量不同。
  • 分流按玩家 id 哈希,同一玩家永远同一组,换盐值重新打散。
  • 样本量按 16×p(1−p)/mde² 估算,30% 基线与 3.35 个百分点差异对应每组 3,000 人。
  • mde 定得太小会让实验永远跑不完,分群看要重新算样本。
  • 周期至少七天,覆盖工作日与周末,期间不改配置。
  • 判定顺序是先护栏后主指标,护栏用绝对差不用相对变化。
  • 灰度控制风险,实验判断因果,灰度不能替代实验。
  • 实验前写死假设、指标、样本、分流与停损五个条件。
  • 方舟按对局分流,实验单位要与体验单位一致。

阅读导航:上一节:11.2 单位玩家 Agent 成本 · 下一节:12.1 Agent 归谁拥有:策划、程序还是平台 。

常见错误与边界

  1. 全量上线后看前后对比。 同期活动与版本差异混在一起,无法归因。
  2. 每次请求随机分组。 同一玩家来回换组,体验不一致,数据也失真。
  3. 样本量拍脑袋。 太小检不出真实效果,太大把微小差异放大成结论。
  4. 先看主指标。 留存涨了但投诉翻倍,仍然判为成功。
  5. 把灰度当实验。 灰度没有对照组,只能回答「会不会崩」,不能回答「有没有用」。
  6. 实验结束后改口径。 调指标、放宽护栏,本质是用数据证明已经相信的结论。

指标与实验回答「有没有用、值不值」。还有一个问题在数据和代码之外:这套能力到底归谁负责,工具链怎么共享,什么时候该买、什么时候该自建。

第 12 章从所有权开始,把组织与平台问题写成可执行的规则。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图