实验开跑前要招多少用户?用 MDE、统计功效与 CUPED 规划样本量
从可检测效应、假阳性率和漏检率推导在线实验样本量,用手算与纯 Python 正态近似估算两臂人数,并说明 CUPED、Holm 与序贯实验如何改变规划。
上一篇用 Holm 逐步检验控制多个指标带来的家族误报。即使把指标家族写清楚,实验设计还有一个更早的问题:如果真实效果值得上线,计划样本能否让我们看出来?测试到一半“看起来快显著了”就停,既可能误报,也无法修复原本就太小的样本量。
本篇只讲两臂均值差的先验样本规划:从业务上最小值得检测的效果推导每臂人数,再用可运行的 Python 正态近似检查功效。下一篇将沿实验可信度继续,讨论多阶段决策怎样与预先确定的样本计划相容。
01 从“想看到显著”改成“值得多小的效果也要看见”#
设随机化单位为用户。控制组和实验组各有 个独立用户,结果指标的总体标准差为 ,真实均值差为 。我们先约定:
- :第一类错误概率(Type I error,假阳性率),真实效果为零却拒绝零假设的概率。双侧 对应各尾 0.025。
- :第二类错误概率(Type II error,漏检率),效果达到规划目标仍未拒绝零假设的概率。统计功效(statistical power)是 。
- 最小可检测效应(minimum detectable effect, MDE):实验设计希望以目标功效检出的最小绝对差 。它来自业务决策,不应事后改成刚好显著的值。
对独立、等样本量两臂的均值差,差值标准误约为 。若希望 的标准化信号越过双侧检验阈值 ,并以概率 达成目标,则常用正态近似为
这里 是每臂人数,总样本约为 ; 是标准正态分布第 分位数。若结果在单位上标准化, 为标准化效应量,公式变为 。公式揭示三个规划规律:MDE 减半,所需人数约变成四倍;标准差翻倍,人数也约变成四倍;降低 或提高功效都会增加样本需求。
flowchart LR
B[业务定义最小值得检测的差 δ] --> P[确定双侧 α 与目标功效 1-β]
H[历史或盲态数据估计标准差 σ] --> N[正态近似计算每臂 n]
P --> N
B --> N
N --> C[加上流失与不可用样本预算]
C --> F[预注册指标、窗口、停止规则]
F --> R[达到计划后按方案分析]mermaid设计输入最好在揭盲前确定。 可以来自相同口径的历史数据或不查看实验臂差异的盲态合并方差;不能反复看实验效果,再挑一个让计划提前结束的方差或 MDE。若有多项共同主要指标,还要说明主检验如何分配错误率;简单保守方案可把每项阈值设为 ,再用该阈值规划。Holm 的逐步门槛依赖排序,不能在开跑前假设每一项都能享受同一个 阈值。
02 手算:检测 2 分差异,每臂约需 393 人#
假设历史上用户级指标标准差约为 分;产品团队认为小于 分不值得改变上线决策。使用双侧 、目标功效 ,常用分位数近似为 、。代入得到
因此至少需要 393 名可分析用户每臂,总计 786 名;若预计 10% 用户没有可用结果,按 向上取整,规划每臂进入实验 437 人。这个膨胀只补偿预期缺失,不能修复两臂缺失率不同导致的偏差。小样本、重尾指标或簇随机化时,正态近似也可能不可靠,需按真实随机化单位模拟或采用与设计匹配的推断方法。
| 设计输入 | 数值 | 含义 |
|---|---|---|
| 0.05 | 双侧显著性水平 | |
| 功效 | 0.80 | 检出目标效果的概率 |
| 10 | 用户结果标准差 | |
| MDE | 2 | 最小值得检测的绝对差 |
| 规划结果 | 393/臂 | 可分析用户人数,不是总人数 |
03 纯 Python 计算器:输入设计,输出每臂样本和计划功效#
下面不依赖统计库:math.erf 实现标准正态累积分布函数,二分查找反函数分位数;输出样本量向上取整,并在目标效果处计算近似功效。这样能看到近似计算的每一层,而不是只调用黑盒 fit。输入的 、功效是概率,sigma 与 mde 必须使用相同单位;函数只适用于独立、均分、两臂、近似正态的连续指标。
from math import erf, ceil, sqrt
def normal_cdf(z: float) -> float:
"""Standard normal CDF Φ(z)."""
return 0.5 * (1.0 + erf(z / sqrt(2.0)))
def normal_ppf(probability: float) -> float:
"""Invert Φ by bisection; sufficient for planning examples."""
if not 0.0 < probability < 1.0:
raise ValueError("probability must be strictly between 0 and 1")
lo, hi = -9.0, 9.0
for _ in range(100):
mid = (lo + hi) / 2.0
if normal_cdf(mid) < probability:
lo = mid
else:
hi = mid
return (lo + hi) / 2.0
def plan_two_arm_mean(mde: float, sigma: float,
alpha: float = 0.05,
target_power: float = 0.80) -> dict[str, float | int]:
if mde <= 0 or sigma <= 0:
raise ValueError("mde and sigma must be positive")
if not 0 < alpha < 1 or not 0 < target_power < 1:
raise ValueError("alpha and target_power must be probabilities")
z_critical = normal_ppf(1.0 - alpha / 2.0)
z_power = normal_ppf(target_power)
n_per_arm = ceil(2.0 * (z_critical + z_power) ** 2 * sigma ** 2 / mde ** 2)
noncentrality = mde / sigma * sqrt(n_per_arm / 2.0)
achieved_power = (1.0 - normal_cdf(z_critical - noncentrality)
+ normal_cdf(-z_critical - noncentrality))
return {"n_per_arm": n_per_arm,
"total_analyzable": 2 * n_per_arm,
"z_critical": z_critical,
"approx_power_at_mde": achieved_power}
print(plan_two_arm_mean(mde=2, sigma=10))
# n_per_arm: 393, total_analyzable: 786, approx_power_at_mde: about 0.80python这里观测值若来自 名用户,outcome 和 arm 都是长度 的一维向量;每臂方差由用户级结果计算。请求数不是样本量:同一个用户发出 50 次请求,不能当成 50 个独立随机单位。若按地区或学校成簇随机化,簇内相关会降低有效样本量,需要纳入组内相关和簇大小;上面的 API 不接收原始样本,也不会估计效果或置信区间,它只在设计阶段计算人数。
04 CUPED 能省多少人?先改方差,再重算计划#
上一篇 CUPED 使用实验前协变量解释稳定的用户差异。若协变量与实验结果相关系数为 ,在理想线性条件下,调整后方差比例约为 。固定 MDE、显著性水平和功效时,所需人数大致按同一比例缩小:若 ,方差比例为 ,每臂 393 人的粗略计划可降到约 252 人,而非降到 64%。样本量与方差成正比、与 MDE 平方成反比,不要把相关系数直接当成样本折扣。
这个估计依赖处理前协变量、稳定指标定义和可复现的相关结构。上线前应在历史窗口或盲态试验数据验证相关性与缺失率;若 CUPED 斜率由本次分组结果估计、指标大量零膨胀或分析单位改变,简单 可能过于乐观。样本计划、调整方法和标准误要一起写入方案,不能在看到处理效应后才决定是否启用 CUPED。
重要的实验库 API 也应服从这个设计边界:本篇使用 Python 标准库的 math.erf,没有引入易变的机器学习 API。生产环境若改用统计包做功效分析,先按安装版本核对官方文档中的双侧/单侧定义、每组/总样本参数及连续查看支持;不要把一个“power”函数名当作分析假设已经匹配。
05 常见误读:显著性、功效和序贯停止不是同一个旋钮#
- 不等于“没有效果”:低功效设计即便存在业务重要效果也常漏检。报告点估计及其区间,并对照预先定义的 MDE。
- 事后观察到的效果不是 MDE:若用试验结果反推“我们本来就想检测这个差”,功效计算会变成结果包装。MDE 应由成本、收益、风险和决策阈值确定。
- 达到计划样本后可以分析,不代表任何时刻都能停:反复查看普通固定样本 p 值并在首次显著时停止,会改变总体假阳性概率。序贯似然比、alpha-spending 等方案能处理计划中的中途查看,但必须预先指定边界、信息时间与决策规则;固定样本公式本身不授权随时停。
- Holm 与样本量要联动:若 个共同主要指标采用 Bonferroni 作为保守规划,临界值应使用 ,每臂人数会上升。事后只挑最显著指标,不能称为已规划功效。
排查计划落空时,依次核对实验实际进入率、随机化单位、指标缺失、方差口径和主要指标校正;用模拟复现实际停留时间与功效。功效是“若效果等于规划值,按设计重复做实验时的拒绝比例”,不是当前这次实验有效的概率,也不意味着 80% 的单个显著结果为真。
键盘可展开:核对一次 10% 流失预算
每臂需要 393 名可分析用户,预计 10% 没有可用结果,则招募目标约为 393 ÷ 0.9 = 436.7,向上取整为 437 人/臂,总计 874 人。原来的目标样本仍是 786 名可分析用户。
原生 details/summary 可用键盘聚焦和 Enter/Space 展开,在窄屏下按正文自然换行,并继承站点深浅主题文字和背景色,不依赖鼠标或额外脚本。
思考练习#
- 若其他条件不变,把 MDE 从 2 分降到 1 分,每臂人数约变成几倍?为什么?
- 三个共同主要指标以 Bonferroni 控制总体 ,公式中的双侧临界概率该如何调整?
- 某实验第 5 天普通 p 值刚好低于 0.05,但预注册需要每臂 393 人且仅完成一半。为什么不能直接宣布成功?
延伸阅读#
- Deng, Xu, Kohavi & Walker, Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data (WSDM 2013) ↗
- Kohavi, Deng & Vermeer, A/B Testing Intuition Busters: Common Misunderstandings in Online Controlled Experiments (KDD 2022) ↗
- Lakens, Sample Size Justification (Collabra: Psychology 2022) ↗
- Johari, Pekelis & Walsh, Always Valid Inference: Continuous Monitoring of A/B Tests (Operations Research 2022) ↗