《Steam 游戏平台:开发与商业化》5.3 转化率实验与基准

改了商店页要验证有没有效果,不能凭感觉。本节用两比例 z 检验算要多少访问才能检测出转化差异、一次改动是否显著,并给转化率基准档位定位自己,lab 复现样本量、实验周数与显著性判断。

5.3 转化率实验与基准

5.2 给每个素材变量估了转化提升,但那个提升是真还是幻觉?商店页改动要验证,验证的最小工具是 A/B 实验:对照组与实验组各拿一部分访问,比较转化率差异是否显著。 本节解决实验设计的三件事——要多少样本、要测几周、差异算不算显著——并把转化率放进基准档位定位自己。

本章与站内既有内容的分工

  • steam-store-data-experimentation-2025 讲商店页实验的操作(一次一个变量、7–14 天观察、UTM 记录);本节不写实验流程,写「样本量、显著性、基准档位」的统计口径。
  • 卷一 8.3 数据驱动决策(机制位)讲指标口径与决策流;本节给「改动是否有效」提供可执行的检验。
  • 5.1 提供漏斗基数、5.2 提供提升假设;本节验证假设,输出回 5.2 校准 ROI。

样本量与实验周数

要把转化率从 3.0% 检测出 0.5pp 的提升(3.5%),在 α=0.05(z=1.96)、功效 80%(z=0.84)下,每组约需 1.97 万访问:

n ≈ (1.96 + 0.84)² × (p1(1−p1) + p2(1−p2)) / (p2−p1)²

周流量不同,需要的周数不同:

周访问量总样本(2×每组)实验周数
5,000约 39,4368 周
10,000约 39,4364 周
20,000约 39,4362 周

想测更小的差异(+0.1pp),样本量会暴涨到 46 万+——小差异要花大成本,这也是 5.2 优先挑提升大的变量改的原因。

显著性:差异是真是假

两比例 z 检验:z = (p2−p1) / sqrt(p̄(1−p̄)(1/n1+1/n2)),|z| ≥ 1.96 视为显著。同样 3.2% vs 3.8% 的差异:

样本量z 值结论
每组 20,000≈3.27显著(可确认改动有效)
每组 2,000≈1.03不显著(样本不够,不能说有效)

同样的转化差,样本量不够时无法下结论——「看起来涨了」不等于「真的涨了」。

转化率基准档位

把当前购买转化率放进档位定位(模型假设,非官方数值):

档位访问→购买转化率含义
低<1%页面承接或曝光质量有问题
中1%–3%常见区间,先做 5.2 高 ROI 变量
良3%–5%页面承接健康,优化空间有限
强≥5%品类稀缺或口碑驱动,保持即可

实验决策表

情形决策
访问量 < 每周 5,000单次实验周期会拖到 8 周+,合并小改动一次测
改动预期提升 < 0.3pp不值得单独实验,并入更大的改动批次
实验显著采纳改动,把实测提升回填 5.2 的 ROI
实验不显著不改或回滚,别把「看起来涨」当结论

模型参数与数据口径

  • α=0.05、功效 80%、基准档位边界:模型假设,统计惯例;转化率真实值以 partner 后台为准(登录后可见)。
  • 样本量公式为经典两比例 z 检验,可在任意统计教材核对;lab 用正态近似实现。
  • 无金额参与本节计算;采纳改动后收入折算回 1.1。

可运行产物:C++ 最小验证

下面的仿真把实验决策固化成可执行的计算:样本量、实验周数、z 检验显著性、零差异边界、基准档位。它与 src/steam-launch-05-3-conversion-benchmark-experiment.cpp 逐字节一致:

// file: src/steam-launch-05-3-conversion-benchmark-experiment.cpp
// tier: L1
// verify: clang++ -std=c++20 -Wall -I. src/steam-launch-05-3-conversion-benchmark-experiment.cpp -o bin/steam-launch-05-3-conversion-benchmark-experiment && ./bin/steam-launch-05-3-conversion-benchmark-experiment
//
// mock:复现转化率实验与基准——用两比例 z 检验计算把转化率从 p1
// 提升到 p2 所需样本量、给定周流量的实验周数,判断一次改动是否
// 显著;并按量级给转化率基准档位。统计假设(α/β/基准档位)属
// 模型假设,非官方数值。
#include "verify.h"

#include <cmath>
#include <cstdint>
#include <string>

namespace steam_repro {

// 转化率实验模型:样本量、实验周数、显著性检验与基准档位。
class MockExperiment {
 public:
  // 两比例 z 检验样本量(每组):α=0.05 双尾 z=1.96,功效 80% z=0.84
  double sampleSizePerGroup(double p1, double p2) const {
    const double z = 1.96 + 0.84;
    const double d = p2 - p1;
    const double variance = p1 * (1 - p1) + p2 * (1 - p2);
    return z * z * variance / (d * d);
  }

  // 每组访问数 → 实验周数(向上取整;总样本 = 2 × 每组样本)
  int64_t weeksNeeded(double samplePerGroup, int64_t visitsPerWeek) const {
    if (visitsPerWeek <= 0) return -1;
    const double total = 2.0 * samplePerGroup;
    return static_cast<int64_t>(std::ceil(total / visitsPerWeek));
  }

  // 两比例 z 值:|z| ≥ 1.96 视为显著(α=0.05)
  double zScore(int64_t n1, int64_t x1, int64_t n2, int64_t x2) const {
    const double p1 = static_cast<double>(x1) / n1;
    const double p2 = static_cast<double>(x2) / n2;
    const double p = static_cast<double>(x1 + x2) / (n1 + n2);
    const double se = std::sqrt(p * (1 - p) * (1.0 / n1 + 1.0 / n2));
    if (se <= 0) return 0;
    return (p2 - p1) / se;
  }

  // 显著:|z| ≥ 1.96
  bool significant(double z) const { return z >= 1.96 || z <= -1.96; }

  // 基准档位(模型假设):<1% 低、1-3% 中、3-5% 良、≥5% 强
  std::string benchmarkClass(int ratePercent) const {
    if (ratePercent < 1) return "低";
    if (ratePercent < 3) return "中";
    if (ratePercent < 5) return "良";
    return "强";
  }
};

}  // namespace steam_repro

int main() {
  using namespace steam_repro;
  MockExperiment e;

  // 1. 3%→3.5%(+0.5pp)每组约需 1.97 万访问
  const double n = e.sampleSizePerGroup(0.03, 0.035);
  CHECK(n > 19500 && n < 20000);

  // 2. 周流量 5000:需要约 8 周
  CHECK(e.weeksNeeded(n, 5000) == 8);

  // 3. 周流量 10000:需要约 4 周
  CHECK(e.weeksNeeded(n, 10000) == 4);

  // 4. 更小的 MDE(+0.1pp)需要更大的样本量
  CHECK(e.sampleSizePerGroup(0.03, 0.031) > n);

  // 5. 大样本显著:20000 vs 20000,3.2% vs 3.8%
  CHECK(e.significant(e.zScore(20000, 640, 20000, 760)));

  // 6. 小样本不显著:2000 vs 2000,同样的转化差
  CHECK(!e.significant(e.zScore(2000, 64, 2000, 76)));

  // 7. 零差异 z = 0
  CHECK(e.zScore(20000, 640, 20000, 640) == 0);

  // 8. 基准档位:2% 为中档
  CHECK(e.benchmarkClass(2) == "中");

  // 9. 基准档位:4% 为良档
  CHECK(e.benchmarkClass(4) == "良");

  // 10. 基准档位:6% 为强档,0% 为低档
  CHECK(e.benchmarkClass(6) == "强");
  CHECK(e.benchmarkClass(0) == "低");

  return lab::report("05-3 转化率实验与基准");
}

本机实测(Apple clang 16,clang++ -std=c++20 -Wall):编译通过(零警告),断言 11/11 通过。

小结

  • 实验要回答「差异是真是假」:样本量不够时同样的转化差也无法下结论。
  • 样本量随目标差异缩小暴涨:优先改提升大的变量,别测微小的提升。
  • 基准档位(<1% 低、1–3% 中、3–5% 良、≥5% 强)用于定位自己,档位边界为模型假设。
  • 统计口径为经典检验,真实转化率以 partner 后台为准;验证结果回填 5.2。

阅读导航:上一节:5.2 素材与文案的量化决策 · 下一节:6.1 渠道 ROI 模型 。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图