《AI Agent 开发入门》16.3 对比实验
demo_ab.py 复用同一个评测模块，比较 max_steps 和人工设置的两版脚本。期望与评分规则保持相同，结果变化来自固定脚本行为。真实 A/B 应固定测试集和评分口径，随机分配配置、覆盖多次运行、记录模型版本与不确定性。一次一个变量有助归因，但不能代替随机化和统计检验。
tag
A/B 测试
共 7 篇文章。
设计一个 A/B 测试与实验平台
本文系统设计一个 A/B 测试与实验平台：需求澄清与量级估算、分流与哈希分桶算法、实验配置下发与一致性哈希、指标采集与显著性检验、互斥层与流量管理、防 AA 异常与 SRM 检测、多重比较与序贯检验陷阱，并给出分桶伪代码、指标 SQL 与统计权衡。
因果推断与实验评估：从潜在结果到双重稳健估计
预测模型回答会发生什么，因果推断回答改变什么会导致什么，本文系统讲解潜在结果框架与 ATE/ATT 的定义、混淆变量与碰撞点的识别、有向无环图 DAG 的建模与后门准则、随机对照试验与 A/B 测试的统计基础、倾向得分匹配与逆概率加权、双重稳健估计与双机器学习、工具变量与断点回归、双重差分与合成控制、因果森林与异质处理效应估计，以及因果方法在推荐系统与风控反欺诈中的落地与生产踩坑清单。
MLOps 流水线：模型训练、评估与发布的 CI/CD 实践
把 CI/CD 思想引入机器学习交付：训练/评估/注册/发布全链路流水线（Kubeflow/Airflow/MLflow）、模型与数据集版本化、CI 里的数据漂移测试、金丝雀与 A/B 发布、GPU 编排与模型监控回滚。
模型评估与基准：从分类指标到 LLM-as-Judge
模型评估是机器学习工程中最容易被低估的环节，指标选错会让整个迭代方向出错。本文系统讲解评估体系：分类指标（准确率/精确率/召回/F1/AUC-ROC）、回归与概率校准（Brier/ECE）、生成式评估（BLEU/ROUGE/人工/LLM-as-Judge）、评测集构建（Golden set/对抗样本）、离线与在线评估（A/B 测试/影子部署）、模型卡与基准报告，以及持续评估流程中的常见陷阱。
MLOps 模型监控与可观测性：从指标采集到告警自治
模型上线后并非一劳永逸——数据分布漂移、概念漂移、模型退化会悄然侵蚀预测质量。本文系统讲解 MLOps 中的模型监控与可观测性体系：从指标采集架构、漂移检测算法、LLM 专项评估，到告警自治与自动回滚策略，帮助团队实现从被动救火到主动防御的运维升级。
Vercel Edge Config 完全指南：毫秒级配置下发与 A/B 测试驱动
深入 Vercel Edge Config 全局键值存储：与 Edge Functions / Middleware 的低延迟集成、A/B 测试与功能开关实现、多环境管理、版本控制与回滚策略，提供 TypeScript 端到端实现与性能基准。