几十个指标总有一个显著,怎样控制实验误报?Holm 多重检验
从预注册检验家族、手算逐步门槛到可复核的 Holm 实现,说明如何控制在线实验中多指标与多切片带来的假阳性。
上一篇讨论预注册分层:先写下“新用户、老用户”等少数关键分组,再估计组内效果,避免看到结果后挑故事。但即使每个检验单独都按 5% 显著性水平工作,若同时查看 20 个独立的零效果指标,至少误报一个的概率约为 。本篇聚焦一个问题:怎样在一组预先定义的检验中控制至少一次假阳性的概率?下一篇将继续讨论实验决策中的长期监控与发布门槛。
01 先定义“一家”检验,再选择校正#
检验家族(family of hypotheses)是一次决策中需要共同控制误报风险的一组假设。它应由决策结构决定,而不是看完 p 值再圈选:例如,所有共同决定“是否扩量”的主要业务指标可以是一家;预注册的三项安全护栏可以是另一家。若团队会从十个指标里选任意一个显著结果对外宣称成功,这十项就属于同一家。
显著性水平 是在所有原假设都成立时,整组检验至少错误拒绝一个原假设的概率上限。单项检验的 0.05 不自动等于整组的 0.05。家族错误率(family-wise error rate,FWER)写为
Holm 逐步下降法(Holm step-down procedure)对任意检验间依赖都能控制 FWER,通常比简单 Bonferroni 校正(Bonferroni correction)更有检验力。它不能补救错误的随机化、坏的指标口径或反复窥视时间序列;它只处理这一组有效 p 值之间的多重性。
flowchart LR
P[实验前定义主要指标与检验家族] --> E[对每项假设生成有效 p 值]
E --> S[从小到大排序 p 值]
S --> H[与 alpha 除以剩余假设数比较]
H -->|通过| N[拒绝当前原假设,继续]
H -->|未通过| T[停止:本项及之后均不拒绝]
N --> H
T --> R[报告原始与校正后结果及家族定义]mermaid02 手算:四项里第三项挡住后续#
假设四项预注册的主要指标检验得到 p 值 ,整家采用 。先升序排列:。第 小的 p 值要与 比较,其中 :
| 排序位置 | 原始 p 值 | Holm 门槛 | 决定 |
|---|---|---|---|
| 1 | 0.004 | 0.05 / 4 = 0.0125 | 拒绝,继续 |
| 2 | 0.013 | 0.05 / 3 = 0.0167 | 拒绝,继续 |
| 3 | 0.030 | 0.05 / 2 = 0.0250 | 不拒绝,停止 |
| 4 | 0.048 | 0.05 / 1 = 0.0500 | 已停止,不拒绝 |
所以本家只拒绝前两项。注意第三项不是因为 才不显著,而是因为它要通过更严格的 门槛。排序之后再逐项比较;一旦某项失败,后面即使低于 0.05 也不能“跳过失败继续捞显著”。
交互检查:自己走一遍停止规则#
下面的原生 details/summary 可用键盘聚焦并通过 Enter/空格展开,窄屏下表格可横向滚动,颜色继承站点的浅色与深色主题。
展开计算:p = [0.002, 0.018, 0.024, 0.041],alpha = 0.05
排序不变。门槛依次是 0.0125、0.0167、0.0250、0.0500。第一项通过;第二项 0.018 高于 0.0167,因此立即停止。按 Holm 检验,只有第一项被拒绝。不能因为第三项 0.024 小于 0.05 就越过第二项。
03 校正 p 值:更容易汇报的等价形式#
也可以给每个假设计算 Holm 校正 p 值(Holm-adjusted p-value),再统一与 比较。将原始值升序记为 ,未截断的候选调整值为 。为保证排序后的校正 p 值不下降,取从当前位置到末尾候选值的最大值,并截在 1:
用上一节数据,升序候选值依次是 、、、;执行累计最大值后,校正 p 值为 。这与逐步规则同结论:只有 0.016 和 0.039 不超过 0.05。注意公式使用的是“从最小到当前”的累计最大值;写成累计最小值会破坏单调性并错误放宽结果。
04 可运行 Python:返回原顺序的校正 p 值#
下面函数输入 个有效 p 值组成的向量 ,输出相同长度、回到输入顺序的校正 p 值及拒绝标记;索引排序只是内部计算。它只依赖 Python 标准库,不拟合模型,也不假定每个实验指标相互独立。
from math import isfinite
from typing import Sequence
def holm_adjust(p_values: Sequence[float], alpha: float = 0.05):
if not 0 < alpha < 1:
raise ValueError("alpha must be between 0 and 1")
p = [float(value) for value in p_values]
if not p or any(not isfinite(value) or not 0 <= value <= 1 for value in p):
raise ValueError("p_values must be a non-empty sequence in [0, 1]")
m = len(p)
order = sorted(range(m), key=p.__getitem__)
adjusted = [0.0] * m
running_max = 0.0
for rank, original_index in enumerate(order):
candidate = (m - rank) * p[original_index]
running_max = max(running_max, candidate)
adjusted[original_index] = min(1.0, running_max)
reject = [value <= alpha for value in adjusted]
return adjusted, reject
p = [0.013, 0.048, 0.004, 0.030]
adjusted, reject = holm_adjust(p)
print([round(x, 3) for x in adjusted]) # [0.039, 0.060, 0.016, 0.060]
print(reject) # [True, False, True, False]pythonPython 的 sorted 稳定处理并列值;并列 p 值比较相同门槛,因此不改变拒绝集合。生产中还要保留从假设 ID 到返回位置的映射,不能只输出匿名数组。代码会拒绝 NaN 和空集合:把缺失 p 值当作 0 会制造显著结果,当作 1 也会静默改变家族大小,缺失应先按预注册的数据规则处理。
family = preregistered_confirmatory_tests(experiment_revision)
p_values = run_valid_test_for_each(family)
adjusted, decisions = holm_adjust(p_values, alpha=family.alpha)
write_report(test_id, raw_p, adjusted_p, decision, sample_size, metric_version)text关键输入是“所有会驱动同一个决策的检验”,不只是统计函数的 p_values。每条记录还应带假设 ID、实验版本、样本窗口、检验方向、原始估计、标准误、样本量和指标定义版本。若从 30 个指标中先挑 4 个再传进函数,算法无法知道被挑选造成的偏差。
05 工程落地:确认有效性、完整性与边界#
- 分析前锁定家族。 在实验配置中登记确认性指标、检验方向、显著性水平、停止规则和切片。事后新增切片应标成探索性结果并安排独立验证。
- 先检查 SRM 与数据质量。 前文的 SRM、事件完整性和随机化单位审计是前置条件。校正不会把无效 p 值变有效。
- 把估计量与校正结果一起报告。 展示每项指标的效果大小、置信区间、原始 p、调整 p、样本量及家族定义;“校正后不显著”不等于“没有有意义的效果”。
- 固定实验版本并复算。 记录指标 SQL / 代码摘要和分析数据快照;改变过滤口径就要形成新版本与新结果,不可覆写旧报告。
| 目标 | 常见方法 | 它控制什么 | 代价或边界 |
|---|---|---|---|
| 确认性发布决策 | Holm | 至少一个错误拒绝的概率(FWER) | 家族越大越保守;需要定义家族 |
| 大量发现型筛查 | Benjamini–Hochberg 方法(Benjamini–Hochberg procedure) | 错误发现率(false discovery rate,FDR)的期望 | 允许一定比例假发现;依赖结构和设计需核对 |
| 简单保守基线 | Bonferroni 校正 | FWER | 门槛统一为 ,常比 Holm 更保守 |
| 随时间反复查看 | 序贯检验或显著性预算分配(alpha spending) | 多次查看导致的时间维度误报 | 不能由横截面 Holm 自动解决 |
常见错误包括把同一用户多个请求当独立样本、把实验臂内相关观测当独立检验、只校正显著的指标、遗漏失败指标、把探索性切片写成确认结论,以及对相互重叠的时间窗口反复应用 Holm。先复核随机化单位和聚类标准误,再检查每项 p 值的生成假设;若同一实验持续每天查看,预先采用适配序贯监控的错误率控制,而非每天重新跑一次固定时点 Holm。
Holm 的有效性要求输入 p 值在各自原假设成立时有效(超均匀)。如果模型标准误错、指标在看过数据后定义,或者停止规则改变了抽样分布,调整后的结果仍然不可信。校正也不代表业务重要性:极大样本可能让微小且无意义的效果显著,应把最小有意义效果、护栏与容量约束纳入单独的决策规则。
思考练习#
- 你有 12 个预注册指标,其中 3 个共同决定发布,另外 9 个仅用于排障。怎样划分检验家族?如果发布决策可以依据任意一个指标,该如何改?
- 原始 p 值排序为 0.006、0.014、0.027、0.049,家族大小 4,。Holm 会拒绝多少项?请同时算调整后的 p 值。
- 同一组实验数据每天查看一次、连续看两周。为何一次运行 Holm 不能覆盖这种时间维度上的选择?
延伸阅读#
- Holm, A Simple Sequentially Rejective Multiple Test Procedure (1979) ↗
- Benjamini & Hochberg, Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing (1995) ↗
- Westfall & Young, Resampling-Based Multiple Testing: Examples and Methods for P-Value Adjustment (1993) ↗
- Kohavi et al., Online Controlled Experiments at Large Scale (2013) ↗