模型评测与灰度发布
本文解决模型、提示、推理引擎三类变更缺乏统一发布流程的问题：建立离线评测（golden set、LLM-as-Judge、回归门禁）与在线评测（A/B、shadow、canary）闭环，给出 shadow 到 1%、5%、25%、50%、100% 的六阶段灰度流程，明确每阶段流量比例、观测时长、门禁指标与回滚阈值，并给出可运行的 Python 门禁判定脚本、canary YAML 与自动回滚条件。
tag
Ab-Testing
共 6 篇文章。
因果推断与 A/B 实验：从潜在结果到双重差分
把相关关系升级为因果关系：潜在结果框架与 ATE/ATT 的定义、DAG 与混杂因子识别、倾向得分匹配与逆概率加权的实现、双重差分与合成控制的适用条件，以及 A/B 实验的设计要点（样本量、随机化、多重比较）与结果分析方法。
功能开关与发布工程
深入功能开关与发布工程：Release、Ops、Experiment 三类开关的职责划分，灰度发布与 A/B 实验的组合用法，开关生命周期与清理策略，失败默认值与开关可观测性，以及开关平台的架构设计。
增长实验平台：A/B 测试、灰度发布与实验架构
系统覆盖微型博客平台的增长实验体系：实验的科学方法（假设、指标与因果）、A/B 测试基础（分流与显著性）、分层实验框架（流量正交切分）、灰度发布（从实验到全量）、指标体系（北极星与护栏指标）、样本一致性（SRM 与防抖）、实验平台架构（分流网关与数据管道）、长期效应（长尾与叠加实验）以及实验治理（假阳性与组织流程），帮助团队用数据驱动的节奏做产品决策。
配置管理与特性开关：构建灵活可控的运行时配置系统
深入讲解现代应用的配置管理最佳实践，涵盖环境变量、配置文件、配置中心的设计，详解特性开关（Feature Flags）的实现模式、灰度发布策略与A/B测试集成。
第 12 章：Middleware 中间件（路由守卫与请求拦截）
深入理解 Next.js Middleware 的工作原理与高级用法——从路由守卫、国际化、A/B 测试，到请求重写、日志监控，以及 Edge Runtime 的限制与最佳实践。