实验与灰度：一个人能做的 A/B 与不能做的

小流量不是不能实验，是只能测大效应；承认这一点，实验才做得成。

一、按钮从蓝改成绿

陈默做一款给自由职业者用的报价单工具。落地页的主按钮原来是蓝色，他改成绿色，两周后注册转化从 24% 涨到 25.3%。他在复盘里写下「绿色按钮提升 1.3 个百分点」，把这条当成自己第一个跑通的实验。第三个月，他把按钮改回蓝色做对照，转化跌到 23%。他盯着这三个数字看了很久：24%、25.3%、23%，同一批渠道、同一个产品，只在颜色上打转。那次「提升」的 1.3 个百分点，还没有两周之间的自然波动大。

以下情境为教学假设，人物、引语和数字不代表经核实的真实案例。

小流量不是不能实验，是只能测大效应。 每月 4,800 次访问、1,150 个注册，分到两组就是各 575 个。这个量级能稳定检出的是五到十个百分点的差异，不是一两个百分点。承认这个上限，才知道哪些问题该用实验回答，哪些该换方法。

先定成功判据，再看数据。 「转化提升」不是判据，「两周内注册转化从 24% 提升到 29%，且退款率不升高」才是。判据要包含指标、幅度、时间窗与护栏，四样缺一，事后就总能找到一种解释让数据支持你。

偷看会放大假阳性。 实验跑到一半，看到绿色领先就宣布成功，是最常见的错误。每一次提前查看都多了一次「碰巧显著」的机会；原本 5% 的假阳性率，偷看五次会升到约 20%。

灰度在很多场景比 A/B 更划算。 灰度回答的是「这个改动会不会弄坏东西」，不是「这个改动能提升多少」。一个人的产品里，前者出现得更频繁，也更容易用护栏指标判断。

二、先算样本量，再决定测什么

样本量只需要三个数：基线转化率、你想检出的最小差异、每月能进入实验的样本数。用 80% 把握度、双侧 5% 显著性的近似公式，可以手算：n = 16 × p(1−p) / d²。

p 取 0.24，p(1−p) = 0.24 × 0.76 = 0.1824，所以分子固定为 16 × 0.1824 = 2.9184。d 是绝对差异，不是相对提升：从 24% 提到 26% 是 2 个百分点，d = 0.02。

「需要几个月」按每月 1,150 个可分配样本算，而且用的是两组总量：1,167 × 2 = 2,334，除以 1,150 得 2.0。表里的每组样本乘 2 才是你要准备的总量。

每月能进入实验的合格样本，按 1,150 计。 4,800 次访问里有回访、重复曝光和机器流量，不能直接当独立样本；1,150 与月注册同量级，是更保守的口径。宁可把时间算长，也不要在第 6 周发现样本被重复计数。

五个百分点是分界线。 2.0 个月的实验可以接受，10 个百分点的 0.5 个月更轻松；2 个百分点要 12.7 个月，等于跨了四个季度，期间渠道、季节、产品都会变，测出来也不能归因。

样本量算出来的是下限，不是目标。 还要为丢失事件、周末效应和分组不均衡留余量，通常加 10% 到 20%。2,334 × 1.15 ≈ 2,684，实际按 2.3 个月排期更稳。

一次只测一个变量。 按钮颜色和文案一起改，就算赢了也不知道是谁的功劳；输了更糟，两个都白改。一个人没有做多变量实验的样本量，也没有拆解交互效应的余力。

相对提升会骗人。 24% 到 25.3% 是 1.3 个百分点，相对看却是 5.4% 的提升。对外说相对值显得漂亮，排期必须用绝对值：样本量公式里的 d 是百分点，不是百分比。

先决定不测什么。 每月 1,150 个样本，一年最多跑五六轮。把实验名额留给定价页、激活第一步、付费墙这类影响大的位置；按钮圆角和阴影不值得占用一个季度。

三、四个替代方案

不是所有问题都值得开实验。下面四类场景，各有更便宜的做法：

前后对比要先划同期群。 改版前后的整体转化不可比，因为流量结构会变。按注册周分组，比较同一周注册的人在相同天数内的行为，才能把「改版」和「这批人本来就不一样」分开。

灰度看的是护栏，不是提升。 灰度的判据应该是崩溃率、错误率、支付失败率、关键动作完成率这些「不许变坏」的指标。10% 跑三天没出事，再放 50%；每档都给回滚留出时间，不要一天全量。

五人定性可以替代一部分小样本实验。 五个人说不出 1.3 个百分点，但能告诉你按钮文案有没有被误解、下一步该点哪里。凡是「用户懂不懂」的问题，定性比统计更快；凡是「提升了多少」的问题，才需要样本量。

定价不适合随机分组。 同一个产品对不同用户显示不同价格，一旦被发现，信任成本远高于实验收益；老用户也会被卷进公平性争议。定价要用分批公告与同期群观察，具体做法见低流量定价实验：样本不够时怎么测 。

灰度的每一档都要有回滚开关。 10% 出事能一键关掉，才叫灰度；只能改代码再发一次版，那叫分批上线。开关要在动手前做好，不要等出事时再想办法。

前后对比要固定观察窗。 改版前 4 周、改版后 4 周，按同一注册周口径比较；窗口一变，结论就跟着变。窗口长度写进记录，下一次改版沿用同一个，才有可比性。

四、复算：样本量与偷看的代价

p = 0.24
p(1−p) = 0.24 × 0.76 = 0.1824
n = 16 × 0.1824 ÷ d²
d = 0.05 → 2.9184 ÷ 0.0025 ≈ 1,167/组 → 2,334 → 2,334 ÷ 1,150 ≈ 2.0 个月
d = 0.02 → 2.9184 ÷ 0.0004 ≈ 7,297/组 → 14,594 → 14,594 ÷ 1,150 ≈ 12.7 个月
d = 0.10 → 2.9184 ÷ 0.01 ≈ 292/组 → 584 → 584 ÷ 1,150 ≈ 0.5 个月
偷看 5 次：假阳性从 5% 推到约 20%

单位是「组」，不是「总量」。 1,167 是每组需要的样本，两组就是 2,334。预算、排期、给用户的曝光量都按总量算；只记住「一千多」会导致实验跑一半就以为够了。

2.0 个月是乐观值。 它假设样本均匀进入、没有丢失、没有节假日。把 10% 到 20% 的余量加进去，2.3 个月更现实；如果中途改了一次埋点，样本还要重新累计。

2 个百分点的效果一年内测不出来，却依然值得做。 12.7 个月意味着显著性检验在这个产品上失效，但「按钮文案更清楚」「价格解释更具体」这类改动仍有明确的机制理由。做法是：用五人定性、工单关键词和会话回放确认方向，把它当作「未验证的方向性改动」上线，同时在看板上盯住护栏；不要对外宣称「提升了 2%」，也不要因为测不出就永远不做。

偷看 5 次把假阳性从 5% 推到约 20%。 每次查看都是一次独立的检验机会，五次里至少一次「碰巧显著」的概率约为 1 − 0.95⁵ = 22.6%。控制方法很土：开跑前定好样本量和结束日期，期间只看护栏，主指标到点再看。

不显著不等于没效果。 样本不足时，「没有检出差异」只说明这次实验没有足够的把握度，不能反过来说「差异不存在」。把「未检出」写成「无效果」，是低流量实验里最常见的自我欺骗。

实验要能停。 开跑前写下放弃条件：护栏指标劣化超过多少、连续几天、由谁来决定停。没有放弃条件的实验，出事时你会在「再等等看」和「赶紧回滚」之间犹豫，而这两者的成本都比提前写好规则高。

五、行动清单与复算验收

• 写下这个实验要影响哪个决定，以及决定错了的代价
• 用 n = 16 × p(1−p) / d² 算出每组样本，再乘 2 得总量
• 把总量除以每月可分配的 1,150，算出最短运行时间
• 开跑前写下主指标、护栏指标与成功判据
• 开跑前写下放弃条件：护栏劣化多少就停
• 运行期间只看护栏，不看主指标
• 到预定样本量后只看一次主指标，不提前宣布结论
• 结束后写三行记录：结论、是否上线、下次测什么

验收标准：每个实验在开跑前就写好了样本量、判据和放弃条件。 没有这三样，跑出来的只是一个故事。

使用边界与实操验收

本文只管能随机分组的实验。 个性化推荐、多变量组合、跨设备归因都不在这个公式的适用范围里。它们要么需要更大的样本，要么需要专门的实验设计，一个人的产品通常直接放弃。

样本量公式有前提。 它假设一个主指标、独立样本、两组等量、80% 把握度与双侧 5% 显著性。比率类指标、同一用户多次进入、极端长尾事件都要另算；不确定时，把算出来的数字当起点，不要当承诺。

灰度不等于实验。 灰度是风险控制手段，按比例放量、观察护栏、随时回滚；它通常不给统计功效，也不回答「哪个更好」。把灰度当实验，最容易犯的错是拿 10% 用户的前三天数据去比全量基线。

不是所有改动都值得实验。 可逆、低风险、成本低于一次实验排期的改动，直接上线看护栏更划算。值得实验的是三类：不可逆的、影响核心转化的、你和合作者判断不一致的。

验收看的是记录，不是结果。 一个按预定判据跑完、结论是「无效」的实验，比一个「看起来赢了」但没有判据的实验更有价值。前者让你知道此路不通，后者只给你一个无法复用的故事。记录只要三行，半年后还能复用：

假设：绿色按钮把注册转化从 24% 提到 29%
判据：2,334 个样本，主指标提升 ≥5 个百分点，退款率不升
结论：未达标，回滚；下次测文案而非颜色

关键参考与核验范围

核验日期：2026-10-26。以下链接用于核对样本量公式、提前查看的偏差与实验工具的能力边界，不构成对任何工具的推荐。

• Sample Size Calculator ：用于核对基线转化率、最小可检测差异与每组样本量的换算关系。
• How Not to Run an A/B Test ：用于核对「提前查看结果会放大假阳性」这一结论。
• Feature Experiment | Amplitude Docs ：用于核对基于功能开关做分流与灰度的基本概念。
• Statistical Significance Isn’t the Same as Practical Significance ：用于区分统计显著与「值得据此行动」。

引用口径。 公式与 80% 把握度的近似系数来自公开的样本量计算方法；文中的 24%、1,150、4,800 均取自本组统一基线，未引入外部基准。

核验范围。 本次核验只确认上述页面可访问、主题与本文引用点一致，未逐条比对不同工具的计算器实现，也未验证任何工具的价格与功能。

如何自行复核。 把 p = 0.24、d = 0.05 代入 n = 16 × 0.1824 ÷ 0.0025，应得 1,167；乘 2 除以 1,150，应得约 2.0 个月。再用任何一个公开计算器交叉验证，误差应在四舍五入范围内。

系列导航

• 上一篇：成本与采样：十五万条事件、四成诊断量与九十天保留
• 下一篇：度量验收：九项检查、四张表与一次决策复盘
• 回到目录：一个人的产品度量：事件字典、指标口径与决策看板
• 相关阅读：低流量定价实验：样本不够时怎么测 、决策记录：写清做什么，也写清不做什么