5.3 转化率实验与基准
5.2 给每个素材变量估了转化提升,但那个提升是真还是幻觉?商店页改动要验证,验证的最小工具是 A/B 实验:对照组与实验组各拿一部分访问,比较转化率差异是否显著。 本节解决实验设计的三件事——要多少样本、要测几周、差异算不算显著——并把转化率放进基准档位定位自己。
本章与站内既有内容的分工
steam-store-data-experimentation-2025讲商店页实验的操作(一次一个变量、7–14 天观察、UTM 记录);本节不写实验流程,写「样本量、显著性、基准档位」的统计口径。- 卷一 8.3 数据驱动决策(机制位)讲指标口径与决策流;本节给「改动是否有效」提供可执行的检验。
- 5.1 提供漏斗基数、5.2 提供提升假设;本节验证假设,输出回 5.2 校准 ROI。
样本量与实验周数
要把转化率从 3.0% 检测出 0.5pp 的提升(3.5%),在 α=0.05(z=1.96)、功效 80%(z=0.84)下,每组约需 1.97 万访问:
n ≈ (1.96 + 0.84)² × (p1(1−p1) + p2(1−p2)) / (p2−p1)²
周流量不同,需要的周数不同:
| 周访问量 | 总样本(2×每组) | 实验周数 |
|---|---|---|
| 5,000 | 约 39,436 | 8 周 |
| 10,000 | 约 39,436 | 4 周 |
| 20,000 | 约 39,436 | 2 周 |
想测更小的差异(+0.1pp),样本量会暴涨到 46 万+——小差异要花大成本,这也是 5.2 优先挑提升大的变量改的原因。
显著性:差异是真是假
两比例 z 检验:z = (p2−p1) / sqrt(p̄(1−p̄)(1/n1+1/n2)),|z| ≥ 1.96 视为显著。同样 3.2% vs 3.8% 的差异:
| 样本量 | z 值 | 结论 |
|---|---|---|
| 每组 20,000 | ≈3.27 | 显著(可确认改动有效) |
| 每组 2,000 | ≈1.03 | 不显著(样本不够,不能说有效) |
同样的转化差,样本量不够时无法下结论——「看起来涨了」不等于「真的涨了」。
转化率基准档位
把当前购买转化率放进档位定位(模型假设,非官方数值):
| 档位 | 访问→购买转化率 | 含义 |
|---|---|---|
| 低 | <1% | 页面承接或曝光质量有问题 |
| 中 | 1%–3% | 常见区间,先做 5.2 高 ROI 变量 |
| 良 | 3%–5% | 页面承接健康,优化空间有限 |
| 强 | ≥5% | 品类稀缺或口碑驱动,保持即可 |
实验决策表
| 情形 | 决策 |
|---|---|
| 访问量 < 每周 5,000 | 单次实验周期会拖到 8 周+,合并小改动一次测 |
| 改动预期提升 < 0.3pp | 不值得单独实验,并入更大的改动批次 |
| 实验显著 | 采纳改动,把实测提升回填 5.2 的 ROI |
| 实验不显著 | 不改或回滚,别把「看起来涨」当结论 |
模型参数与数据口径
- α=0.05、功效 80%、基准档位边界:模型假设,统计惯例;转化率真实值以 partner 后台为准(登录后可见)。
- 样本量公式为经典两比例 z 检验,可在任意统计教材核对;lab 用正态近似实现。
- 无金额参与本节计算;采纳改动后收入折算回 1.1。
可运行产物:C++ 最小验证
下面的仿真把实验决策固化成可执行的计算:样本量、实验周数、z 检验显著性、零差异边界、基准档位。它与 src/steam-launch-05-3-conversion-benchmark-experiment.cpp 逐字节一致:
// file: src/steam-launch-05-3-conversion-benchmark-experiment.cpp
// tier: L1
// verify: clang++ -std=c++20 -Wall -I. src/steam-launch-05-3-conversion-benchmark-experiment.cpp -o bin/steam-launch-05-3-conversion-benchmark-experiment && ./bin/steam-launch-05-3-conversion-benchmark-experiment
//
// mock:复现转化率实验与基准——用两比例 z 检验计算把转化率从 p1
// 提升到 p2 所需样本量、给定周流量的实验周数,判断一次改动是否
// 显著;并按量级给转化率基准档位。统计假设(α/β/基准档位)属
// 模型假设,非官方数值。
#include "verify.h"
#include <cmath>
#include <cstdint>
#include <string>
namespace steam_repro {
// 转化率实验模型:样本量、实验周数、显著性检验与基准档位。
class MockExperiment {
public:
// 两比例 z 检验样本量(每组):α=0.05 双尾 z=1.96,功效 80% z=0.84
double sampleSizePerGroup(double p1, double p2) const {
const double z = 1.96 + 0.84;
const double d = p2 - p1;
const double variance = p1 * (1 - p1) + p2 * (1 - p2);
return z * z * variance / (d * d);
}
// 每组访问数 → 实验周数(向上取整;总样本 = 2 × 每组样本)
int64_t weeksNeeded(double samplePerGroup, int64_t visitsPerWeek) const {
if (visitsPerWeek <= 0) return -1;
const double total = 2.0 * samplePerGroup;
return static_cast<int64_t>(std::ceil(total / visitsPerWeek));
}
// 两比例 z 值:|z| ≥ 1.96 视为显著(α=0.05)
double zScore(int64_t n1, int64_t x1, int64_t n2, int64_t x2) const {
const double p1 = static_cast<double>(x1) / n1;
const double p2 = static_cast<double>(x2) / n2;
const double p = static_cast<double>(x1 + x2) / (n1 + n2);
const double se = std::sqrt(p * (1 - p) * (1.0 / n1 + 1.0 / n2));
if (se <= 0) return 0;
return (p2 - p1) / se;
}
// 显著:|z| ≥ 1.96
bool significant(double z) const { return z >= 1.96 || z <= -1.96; }
// 基准档位(模型假设):<1% 低、1-3% 中、3-5% 良、≥5% 强
std::string benchmarkClass(int ratePercent) const {
if (ratePercent < 1) return "低";
if (ratePercent < 3) return "中";
if (ratePercent < 5) return "良";
return "强";
}
};
} // namespace steam_repro
int main() {
using namespace steam_repro;
MockExperiment e;
// 1. 3%→3.5%(+0.5pp)每组约需 1.97 万访问
const double n = e.sampleSizePerGroup(0.03, 0.035);
CHECK(n > 19500 && n < 20000);
// 2. 周流量 5000:需要约 8 周
CHECK(e.weeksNeeded(n, 5000) == 8);
// 3. 周流量 10000:需要约 4 周
CHECK(e.weeksNeeded(n, 10000) == 4);
// 4. 更小的 MDE(+0.1pp)需要更大的样本量
CHECK(e.sampleSizePerGroup(0.03, 0.031) > n);
// 5. 大样本显著:20000 vs 20000,3.2% vs 3.8%
CHECK(e.significant(e.zScore(20000, 640, 20000, 760)));
// 6. 小样本不显著:2000 vs 2000,同样的转化差
CHECK(!e.significant(e.zScore(2000, 64, 2000, 76)));
// 7. 零差异 z = 0
CHECK(e.zScore(20000, 640, 20000, 640) == 0);
// 8. 基准档位:2% 为中档
CHECK(e.benchmarkClass(2) == "中");
// 9. 基准档位:4% 为良档
CHECK(e.benchmarkClass(4) == "良");
// 10. 基准档位:6% 为强档,0% 为低档
CHECK(e.benchmarkClass(6) == "强");
CHECK(e.benchmarkClass(0) == "低");
return lab::report("05-3 转化率实验与基准");
}
本机实测(Apple clang 16,clang++ -std=c++20 -Wall):编译通过(零警告),断言 11/11 通过。
小结
- 实验要回答「差异是真是假」:样本量不够时同样的转化差也无法下结论。
- 样本量随目标差异缩小暴涨:优先改提升大的变量,别测微小的提升。
- 基准档位(<1% 低、1–3% 中、3–5% 良、≥5% 强)用于定位自己,档位边界为模型假设。
- 统计口径为经典检验,真实转化率以 partner 后台为准;验证结果回填 5.2。
阅读导航:上一节:5.2 素材与文案的量化决策 · 下一节:6.1 渠道 ROI 模型 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。