增长实验平台：A/B 测试、灰度发布与实验架构

实验的科学闭环：
1. 观察：发现一个增长机会/问题
   · 「新用户 7 日留存偏低」「推荐位点击少」
2. 假设：提出因果解释
   · 「给新用户更多热门内容 → 留存更高」
3. 预测：明确「如果假设成立，指标会怎样变化」
4. 实验：小流量验证（A/B）
5. 决策：显著提升 → 放量；无提升 → 放弃；不确定 → 加大样本

因果 vs 相关：
□ 相关：「用推荐功能的用户留存高」——可能是用户本身更活跃
□ 因果：「推荐功能 → 留存提升」——必须用随机对照实验
□ 混淆变量：年龄、活跃度、设备——随机分流是消除混淆的钥匙

假设质量评估：
□ 可证伪：假设必须「可能被数据否定」
□ 有方向：明确指标向上/向下的预期
□ 有边界：影响的用户群、影响面、影响时长
□ 低成本验证优先：先用小改动/短周期验证方向

反例自查：
□ 这个改动用户真的感知得到吗？
□ 指标变化可能来自其他并发改动吗？
□ 有没有可能「短期提升、长期伤害」？

A/B 基础流程：
目标指标选定 → 计算样本量 → 随机分流 → 跑实验
  → 收集数据 → 显著性检验 → 决策

关键概念：
□ 随机分流：用户随机进入 A（对照组）/B（实验组）
□ 样本量：实验前用「效应大小 + 显著性 + 功效」算出
  · 效应越小、越要精确 → 样本越大
□ 显著性（p 值）：结果由偶然导致的概率
  · p < 0.05 是常用阈值（但不该是唯一依据）
□ 功效（Power）：真实效应能被检测出的概率
  · 样本不足 → 假阴性（真实有效却判无效）

最小样本量直觉：
基线转化 5%，想检测 10% 相对提升（5%→5.5%）：
→ 每组约需 8 万+ 样本（双侧检验、0.05/0.8）
→ 微型博客场景：日活不足时，实验周期会很长

工程实现：
□ 分流算法：哈希分桶（user_id 或 idfa → 0-99 号桶）
□ 分桶稳定性：同一用户同一实验永远同组
□ 随机种子：分桶与实验无关，避免分桶偏置
□ 实验状态：实验组/对照组配比可配置（如 10/10/80 做灰度和多臂）

分层实验模型：
把全部流量按「层（Layer）」划分：
□ 网络层：所有实验都经过，用分桶算法保证「正交」
□ 同层互斥：一个用户在同一层只进一个实验
□ 跨层正交：同一用户可在不同层的多个实验里
  · 排序实验（推荐层）× 文案实验（UI 层）可以同时跑

正交实现：
□ 每个实验分配独立哈希盐（salt）：hash(user_id + salt) → 分桶
□ 只要盐不同，两个实验的分桶结果近似独立
□ 正交不是绝对独立，但工程上足够用

分层设计：
□ 互斥层：改动同一资源的实验放同一层
  · 两个推荐排序实验 → 同一层互斥
□ 正交层：改动不同资源的实验放不同层
  · 排序实验与 UI 文案 → 不同层可叠加

流量利用效率：
□ 单层串行：一次只跑一个实验 → 流量浪费
□ 多层正交：同一流量服务多个实验 → 效率倍增
□ 嵌套实验：父实验 + 子实验（如灰度 + 内部功能）

常见坑：
□ 层内样本污染：同层两个实验都修改了同一逻辑 → 互相干扰
□ 配比冲突：两个实验同时用了同组用户作对照组
□ 时间片偏差：同层实验按时间切换 → 引入时段偏置

灰度与实验的关系：
□ 实验：验证「该不该上」（因果，小流量）
□ 灰度：验证「上得稳不稳」（稳定性，逐步放量）
□ 流程：实验显著 → 灰度放量 → 观测 → 全量/回滚

灰度节奏：
10% → 25% → 50% → 100%（按观测结果决定）
□ 每档停留时间取决于：指标稳定性 + 故障风险
□ 放量条件：核心指标不劣化 + 无新错误率上升

灰度观测重点：
□ 错误率：接口错误、前端报错、崩溃率
□ 性能：延迟 P99、内存/CPU
□ 业务护栏：留存、活跃、收入不回撤
□ 反馈：用户投诉、客服工单

灰度工程能力：
□ 开关体系：功能开关（feature flag）按用户/按百分比
□ 动态配置：无需发版即可调节灰度比例
□ 快速回滚：开关一键关闭，秒级回滚
□ 灰度与实验打通：灰度本身可附带指标看板

灰度范围扩展：
□ 地域灰度：先小市场再大市场
□ 用户灰度：先内测用户再全量
□ 时段灰度：低峰期先放量

指标体系分层：
□ 北极星指标（North Star）：反映产品长期价值的核心
  · 微型博客示例：周活跃创作者数 / 有效互动量
□ 主指标（Primary）：本次实验要提升的指标
  · 如留存、互动率、搜索满意度
□ 护栏指标（Guardrail）：不能因实验而回撤的底线
  · 用户投诉率、卸载率、收入、性能

指标间的关系：
□ 提升主指标但砸护栏指标 → 实验不能上
□ 主指标没提升但护栏显著改善 → 可以考虑上
□ 主指标短期提升但长期指标未知 → 延长观测

指标设计质量：
□ 可定义：指标口径清晰（分母分子、统计口径）
□ 可采集：埋点完整、口径一致
□ 抗操纵：指标不易被「刷」或被局部优化
□ 具时效：能及时反映实验效果

指标运营：
□ 指标字典：全公司统一口径（避免各团队各算各的）
□ 指标看板：实验页内嵌主指标 + 护栏指标
□ 指标置信区间：不只汇报点估计，还看 CI

避免的指标陷阱：
□ 虚荣指标：只有漂亮数字，不反映价值（如曝光量）
□ 指标搬家：A 实验提升甲指标、砸了乙指标，却没对比
□ 单一指标决策：只看一个数字忽略了代价

SRM（Sample Ratio Mismatch）：
□ 现象：对照组/实验组的人数比与设定配比显著偏离
□ 后果：两组不具可比性 → 指标差异不可信 → 实验白跑
□ 检测：开实验后立即做分桶均衡性校验（卡方检验）
  · 配比 50/50，结果 45/55 → 很可能 SRM

SRM 常见原因：
□ 分桶不稳定：同一用户进组不一致（刷新/换设备跳组）
□ 异步分桶：前端缓存命中漏记、埋点丢数据
□ 用户重叠：同一用户多账号、多设备被计多次
□ 篡改/僵尸：攻击流量破坏随机性

防抖与一致性工程：
□ 稳定分桶：哈希键用「实验无关的稳定 ID」
□ 单次分桶：用户进入实验后记录组别，不重新随机
□ 埋点完整：所有被分流用户都要能统计到
□ 去重口径：按「用户」去重统计，明确设备 vs 用户

SRM 处理流程：
开实验 → 24h 内做 SRM 校验 → 触发 SRM 则排查修复 → 重开
→ 修复前的结果一律不采信

其他偏置来源：
□ 新奇效应：新功能短期吸引注意力 → 延长观测
□ 学习效应：用户需要时间适应改动 → 分期看趋势
□ 幸存者偏差：只看完成实验的用户 → 全量样本分析

实验平台架构：
┌──────────────────────────────────────────┐
│ 配置服务（Experiment Config Service）      │
│  · 实验定义 / 分层配置 / 灰度比例          │
│  · 配置下发：本地缓存 + 定时拉取           │
├──────────────────────────────────────────┤
│ 分流 SDK（客户端/服务端内嵌）              │
│  · 本地分桶：hash(user + salt) → 组别     │
│  · 零网络依赖：配置缓存本地，秒级分桶      │
├──────────────────────────────────────────┤
│ 数据管道（Event Pipeline）                 │
│  · 埋点采集 → 清洗 → 聚合 → 实验报表      │
│  · 近实时（分钟级）漏斗 + 离线全量         │
└──────────────────────────────────────────┘

关键要求：
□ 分流延迟：毫秒级，不能拖垮主流程
□ 分流一致性：读配置与分桶结果稳定
□ 数据延迟：报表分钟级可见（决策要快）

配置一致性设计：
□ 配置版本号：客户端上报版本，服务端按版本分组分析
□ 兜底策略：配置拉取失败 → 用本地最近一次配置
□ 强一致场景：金融/计费实验配置要更谨慎

数据管道要点：
□ 埋点字段：experiment_id、group、user_id 必带
□ 事件去重：幂等键防重
□ 聚合维度：按日/小时 + 按用户/按设备
□ 报表服务：置信区间、显著性检验、SRM 校验

长期效应问题：
□ 新颖效应：新功能短期吸引 → 长期回落
□ 习惯效应：短期不适应 → 长期更有价值
□ 侵蚀效应：短期提升来自「透支未来」（如过度打扰）
□ 网络效应：单用户实验低估/高估了「他人影响」

长期评估手段：
□ 延长实验周期：从 7 天拉到 30/90 天看趋势
□ 生命周期价值（LTV）跟踪：实验用户的长期留存/收入
□ 回看研究：历史实验全量后的长期指标复盘

叠加实验问题：
□ 多个实验都赢了，叠加后可能互相冲突
  · 推荐实验 + 变现实验：都抢曝光位
□ 增量价值递减：第 N 个优化带来的边际收益递减
□ 叠加验证：重要组合上「组合实验」验证 1+1 是否等于 2

决策与预算：
□ 长期指标纳入实验评估：主指标看短期，决策看长期
□ 实验组合管理：把「赢的实验」组合起来验证整体效果
□ 效果归因：多个实验同时提升，谁贡献多少（MDA 等归因）

观测长尾的工程：
□ 用户 ID 持久化：跨实验、跨月跟踪
□ 长期指标表：用户维度的留存/收入/活跃生命周期
□ 实验历史库：历史实验配置、结果、上线记录可回查

假阳性与多重比较：
□ 做 20 个实验，每个 5% 假阳性率 → 期望约 1 个假阳性
□ 不断做直到显著（p-hacking）→ 虚假结论
□ 应对：
  · 预设主指标，不事后挑「显著的那个」
  · 显著性阈值 + 功效预算结合
  · 关键实验做「重复验证」（换配比/换人群复跑）

实验流程治理：
□ 实验评审：重要实验上线前评审（假设、指标、风险）
□ 实验纪律：不预设结论、不中途改指标、不删样本
□ 结果归档：每个实验的结论沉淀为知识库

组织流程：
□ 实验负责人：一个实验一个 owner，对结论负责
□ 实验看板：全公司可看「正在跑什么、结论是什么」
□ 上线闸门：重要改动必须有「实验证据」才能上线
□ 结论传播：赢的实验要写「为什么赢」，比「赢了」更重要

反模式：
□ 实验崇拜：什么都要实验，忽视成本与速度
□ 甩锅实验：用「再做一轮实验」拖延决策
□ 结论私藏：团队 A 踩过的坑团队 B 再踩