观文听傑

返回

蓝色与琥珀色两组的观测分布相互重叠,沿样本累积逐渐显出均值差异蓝色与琥珀色两组的观测分布相互重叠,沿样本累积逐渐显出均值差异

上一篇用 Holm 逐步检验控制多个指标带来的家族误报。即使把指标家族写清楚,实验设计还有一个更早的问题:如果真实效果值得上线,计划样本能否让我们看出来?测试到一半“看起来快显著了”就停,既可能误报,也无法修复原本就太小的样本量。

本篇只讲两臂均值差的先验样本规划:从业务上最小值得检测的效果推导每臂人数,再用可运行的 Python 正态近似检查功效。下一篇将沿实验可信度继续,讨论多阶段决策怎样与预先确定的样本计划相容。

01 从“想看到显著”改成“值得多小的效果也要看见”#

设随机化单位为用户。控制组和实验组各有 nn 个独立用户,结果指标的总体标准差为 σ\sigma,真实均值差为 δ\delta。我们先约定:

  • α\alpha:第一类错误概率(Type I error,假阳性率),真实效果为零却拒绝零假设的概率。双侧 α=0.05\alpha=0.05 对应各尾 0.025。
  • β\beta:第二类错误概率(Type II error,漏检率),效果达到规划目标仍未拒绝零假设的概率。统计功效(statistical power)是 1−β1-\beta。
  • 最小可检测效应(minimum detectable effect, MDE):实验设计希望以目标功效检出的最小绝对差 ∣δ∣|\delta|。它来自业务决策,不应事后改成刚好显著的值。

对独立、等样本量两臂的均值差,差值标准误约为 σ2/n\sigma\sqrt{2/n}。若希望 δ\delta 的标准化信号越过双侧检验阈值 z1−α/2z_{1-\alpha/2},并以概率 1−β1-\beta 达成目标,则常用正态近似为

n≈2(z1−α/2+z1−β)2σ2δ2n\approx\frac{2\left(z_{1-\alpha/2}+z_{1-\beta}\right)^2\sigma^2}{\delta^2}

这里 nn 是每臂人数,总样本约为 2n2n;zqz_q 是标准正态分布第 qq 分位数。若结果在单位上标准化,d=δ/σd=\delta/\sigma 为标准化效应量,公式变为 n≈2(z1−α/2+z1−β)2/d2n\approx2(z_{1-\alpha/2}+z_{1-\beta})^2/d^2。公式揭示三个规划规律:MDE 减半,所需人数约变成四倍;标准差翻倍,人数也约变成四倍;降低 α\alpha 或提高功效都会增加样本需求。

flowchart LR
  B[业务定义最小值得检测的差 δ] --> P[确定双侧 α 与目标功效 1-β]
  H[历史或盲态数据估计标准差 σ] --> N[正态近似计算每臂 n]
  P --> N
  B --> N
  N --> C[加上流失与不可用样本预算]
  C --> F[预注册指标、窗口、停止规则]
  F --> R[达到计划后按方案分析]
mermaid

设计输入最好在揭盲前确定。σ\sigma 可以来自相同口径的历史数据或不查看实验臂差异的盲态合并方差;不能反复看实验效果,再挑一个让计划提前结束的方差或 MDE。若有多项共同主要指标,还要说明主检验如何分配错误率;简单保守方案可把每项阈值设为 α/m\alpha/m,再用该阈值规划。Holm 的逐步门槛依赖排序,不能在开跑前假设每一项都能享受同一个 0.050.05 阈值。

02 手算:检测 2 分差异,每臂约需 393 人#

假设历史上用户级指标标准差约为 σ=10\sigma=10 分;产品团队认为小于 δ=2\delta=2 分不值得改变上线决策。使用双侧 α=0.05\alpha=0.05、目标功效 0.80.8,常用分位数近似为 z0.975=1.96z_{0.975}=1.96、z0.8=0.84z_{0.8}=0.84。代入得到

n≈2(1.960+0.842)2⋅10222≈392.6,向上取整为393。n\approx\frac{2(1.960+0.842)^2\cdot10^2}{2^2}\approx392.6,向上取整为 393。

因此至少需要 393 名可分析用户每臂,总计 786 名;若预计 10% 用户没有可用结果,按 393/(1−0.10)≈436.7393/(1-0.10)\approx436.7 向上取整,规划每臂进入实验 437 人。这个膨胀只补偿预期缺失,不能修复两臂缺失率不同导致的偏差。小样本、重尾指标或簇随机化时,正态近似也可能不可靠,需按真实随机化单位模拟或采用与设计匹配的推断方法。

设计输入数值含义
α\alpha0.05双侧显著性水平
功效 1−β1-\beta0.80检出目标效果的概率
σ\sigma10用户结果标准差
MDE δ\delta2最小值得检测的绝对差
规划结果393/臂可分析用户人数,不是总人数

03 纯 Python 计算器:输入设计,输出每臂样本和计划功效#

下面不依赖统计库:math.erf 实现标准正态累积分布函数,二分查找反函数分位数;输出样本量向上取整,并在目标效果处计算近似功效。这样能看到近似计算的每一层,而不是只调用黑盒 fit。输入的 α\alpha、功效是概率,sigma 与 mde 必须使用相同单位;函数只适用于独立、均分、两臂、近似正态的连续指标。

这里观测值若来自 NN 名用户,outcome 和 arm 都是长度 [N][N] 的一维向量;每臂方差由用户级结果计算。请求数不是样本量:同一个用户发出 50 次请求,不能当成 50 个独立随机单位。若按地区或学校成簇随机化,簇内相关会降低有效样本量,需要纳入组内相关和簇大小;上面的 API 不接收原始样本,也不会估计效果或置信区间,它只在设计阶段计算人数。

04 CUPED 能省多少人?先改方差,再重算计划#

上一篇 CUPED 使用实验前协变量解释稳定的用户差异。若协变量与实验结果相关系数为 ρ\rho,在理想线性条件下,调整后方差比例约为 1−ρ21-\rho^2。固定 MDE、显著性水平和功效时,所需人数大致按同一比例缩小:若 ρ=0.6\rho=0.6,方差比例为 1−0.36=0.641-0.36=0.64,每臂 393 人的粗略计划可降到约 252 人,而非降到 64%。样本量与方差成正比、与 MDE 平方成反比,不要把相关系数直接当成样本折扣。

这个估计依赖处理前协变量、稳定指标定义和可复现的相关结构。上线前应在历史窗口或盲态试验数据验证相关性与缺失率;若 CUPED 斜率由本次分组结果估计、指标大量零膨胀或分析单位改变,简单 1−ρ21-\rho^2 可能过于乐观。样本计划、调整方法和标准误要一起写入方案,不能在看到处理效应后才决定是否启用 CUPED。

重要的实验库 API 也应服从这个设计边界:本篇使用 Python 标准库的 math.erf,没有引入易变的机器学习 API。生产环境若改用统计包做功效分析,先按安装版本核对官方文档中的双侧/单侧定义、每组/总样本参数及连续查看支持;不要把一个“power”函数名当作分析假设已经匹配。

05 常见误读:显著性、功效和序贯停止不是同一个旋钮#

  • p>0.05p>0.05 不等于“没有效果”:低功效设计即便存在业务重要效果也常漏检。报告点估计及其区间,并对照预先定义的 MDE。
  • 事后观察到的效果不是 MDE:若用试验结果反推“我们本来就想检测这个差”,功效计算会变成结果包装。MDE 应由成本、收益、风险和决策阈值确定。
  • 达到计划样本后可以分析,不代表任何时刻都能停:反复查看普通固定样本 p 值并在首次显著时停止,会改变总体假阳性概率。序贯似然比、alpha-spending 等方案能处理计划中的中途查看,但必须预先指定边界、信息时间与决策规则;固定样本公式本身不授权随时停。
  • Holm 与样本量要联动:若 mm 个共同主要指标采用 Bonferroni 作为保守规划,临界值应使用 α/m\alpha/m,每臂人数会上升。事后只挑最显著指标,不能称为已规划功效。

排查计划落空时,依次核对实验实际进入率、随机化单位、指标缺失、方差口径和主要指标校正;用模拟复现实际停留时间与功效。功效是“若效果等于规划值,按设计重复做实验时的拒绝比例”,不是当前这次实验有效的概率,也不意味着 80% 的单个显著结果为真。

键盘可展开:核对一次 10% 流失预算

每臂需要 393 名可分析用户,预计 10% 没有可用结果,则招募目标约为 393 ÷ 0.9 = 436.7,向上取整为 437 人/臂,总计 874 人。原来的目标样本仍是 786 名可分析用户。

原生 details/summary 可用键盘聚焦和 Enter/Space 展开,在窄屏下按正文自然换行,并继承站点深浅主题文字和背景色,不依赖鼠标或额外脚本。

思考练习#

  1. 若其他条件不变,把 MDE 从 2 分降到 1 分,每臂人数约变成几倍?为什么?
  2. 三个共同主要指标以 Bonferroni 控制总体 α=0.05\alpha=0.05,公式中的双侧临界概率该如何调整?
  3. 某实验第 5 天普通 p 值刚好低于 0.05,但预注册需要每臂 393 人且仅完成一半。为什么不能直接宣布成功?

延伸阅读#

实验开跑前要招多少用户?用 MDE、统计功效与 CUPED 规划样本量
https://zwjcode.cn/blog/experiment-power-planning
作者 傑
发布于 2026年10月7日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。