观文听傑

返回

多个指标和人群切片产生的检验结果按顺序通过逐渐变化的门槛,只有满足证据阈值的信号抵达结果端多个指标和人群切片产生的检验结果按顺序通过逐渐变化的门槛,只有满足证据阈值的信号抵达结果端

上一篇讨论预注册分层:先写下“新用户、老用户”等少数关键分组,再估计组内效果,避免看到结果后挑故事。但即使每个检验单独都按 5% 显著性水平工作,若同时查看 20 个独立的零效果指标,至少误报一个的概率约为 1−(1−0.05)20=64.2%1-(1-0.05)^{20}=64.2\%。本篇聚焦一个问题:怎样在一组预先定义的检验中控制至少一次假阳性的概率?下一篇将继续讨论实验决策中的长期监控与发布门槛。

01 先定义“一家”检验,再选择校正#

检验家族(family of hypotheses)是一次决策中需要共同控制误报风险的一组假设。它应由决策结构决定,而不是看完 p 值再圈选:例如,所有共同决定“是否扩量”的主要业务指标可以是一家;预注册的三项安全护栏可以是另一家。若团队会从十个指标里选任意一个显著结果对外宣称成功,这十项就属于同一家。

显著性水平 α\alpha 是在所有原假设都成立时,整组检验至少错误拒绝一个原假设的概率上限。单项检验的 0.05 不自动等于整组的 0.05。家族错误率(family-wise error rate,FWER)写为

FWER=P(至少拒绝一个真实的原假设).\mathrm{FWER}=P(\text{至少拒绝一个真实的原假设}).

Holm 逐步下降法(Holm step-down procedure)对任意检验间依赖都能控制 FWER,通常比简单 Bonferroni 校正(Bonferroni correction)更有检验力。它不能补救错误的随机化、坏的指标口径或反复窥视时间序列;它只处理这一组有效 p 值之间的多重性。

flowchart LR
  P[实验前定义主要指标与检验家族] --> E[对每项假设生成有效 p 值]
  E --> S[从小到大排序 p 值]
  S --> H[与 alpha 除以剩余假设数比较]
  H -->|通过| N[拒绝当前原假设,继续]
  H -->|未通过| T[停止:本项及之后均不拒绝]
  N --> H
  T --> R[报告原始与校正后结果及家族定义]
mermaid

02 手算:四项里第三项挡住后续#

假设四项预注册的主要指标检验得到 p 值 [0.013,0.048,0.004,0.030][0.013,0.048,0.004,0.030],整家采用 α=0.05\alpha=0.05。先升序排列:0.004,0.013,0.030,0.0480.004,0.013,0.030,0.048。第 ii 小的 p 值要与 α/(m−i+1)\alpha/(m-i+1) 比较,其中 m=4m=4:

排序位置原始 p 值Holm 门槛决定
10.0040.05 / 4 = 0.0125拒绝,继续
20.0130.05 / 3 = 0.0167拒绝,继续
30.0300.05 / 2 = 0.0250不拒绝,停止
40.0480.05 / 1 = 0.0500已停止,不拒绝

所以本家只拒绝前两项。注意第三项不是因为 0.030>0.050.030>0.05 才不显著,而是因为它要通过更严格的 0.0250.025 门槛。排序之后再逐项比较;一旦某项失败,后面即使低于 0.05 也不能“跳过失败继续捞显著”。

交互检查:自己走一遍停止规则#

下面的原生 details/summary 可用键盘聚焦并通过 Enter/空格展开,窄屏下表格可横向滚动,颜色继承站点的浅色与深色主题。

展开计算:p = [0.002, 0.018, 0.024, 0.041],alpha = 0.05

排序不变。门槛依次是 0.0125、0.0167、0.0250、0.0500。第一项通过;第二项 0.018 高于 0.0167,因此立即停止。按 Holm 检验,只有第一项被拒绝。不能因为第三项 0.024 小于 0.05 就越过第二项。

03 校正 p 值:更容易汇报的等价形式#

也可以给每个假设计算 Holm 校正 p 值(Holm-adjusted p-value),再统一与 α\alpha 比较。将原始值升序记为 p(1),…,p(m)p_{(1)},\ldots,p_{(m)},未截断的候选调整值为 (m−i+1)p(i)(m-i+1)p_{(i)}。为保证排序后的校正 p 值不下降,取从当前位置到末尾候选值的最大值,并截在 1:

p(i)Holm=min⁡(1,max⁡j≤i{(m−j+1)p(j)}).p^{Holm}_{(i)}=\min\left(1,\max_{j\le i}\{(m-j+1)p_{(j)}\}\right).

用上一节数据,升序候选值依次是 4(0.004)=0.0164(0.004)=0.016、3(0.013)=0.0393(0.013)=0.039、2(0.030)=0.0602(0.030)=0.060、1(0.048)=0.0481(0.048)=0.048;执行累计最大值后,校正 p 值为 [0.016,0.039,0.060,0.060][0.016,0.039,0.060,0.060]。这与逐步规则同结论:只有 0.016 和 0.039 不超过 0.05。注意公式使用的是“从最小到当前”的累计最大值;写成累计最小值会破坏单调性并错误放宽结果。

04 可运行 Python:返回原顺序的校正 p 值#

下面函数输入 mm 个有效 p 值组成的向量 p∈[0,1]mp\in[0,1]^m,输出相同长度、回到输入顺序的校正 p 值及拒绝标记;索引排序只是内部计算。它只依赖 Python 标准库,不拟合模型,也不假定每个实验指标相互独立。

Python 的 sorted 稳定处理并列值;并列 p 值比较相同门槛,因此不改变拒绝集合。生产中还要保留从假设 ID 到返回位置的映射,不能只输出匿名数组。代码会拒绝 NaN 和空集合:把缺失 p 值当作 0 会制造显著结果,当作 1 也会静默改变家族大小,缺失应先按预注册的数据规则处理。

family = preregistered_confirmatory_tests(experiment_revision)
p_values = run_valid_test_for_each(family)
adjusted, decisions = holm_adjust(p_values, alpha=family.alpha)
write_report(test_id, raw_p, adjusted_p, decision, sample_size, metric_version)
text

关键输入是“所有会驱动同一个决策的检验”,不只是统计函数的 p_values。每条记录还应带假设 ID、实验版本、样本窗口、检验方向、原始估计、标准误、样本量和指标定义版本。若从 30 个指标中先挑 4 个再传进函数,算法无法知道被挑选造成的偏差。

05 工程落地:确认有效性、完整性与边界#

  1. 分析前锁定家族。 在实验配置中登记确认性指标、检验方向、显著性水平、停止规则和切片。事后新增切片应标成探索性结果并安排独立验证。
  2. 先检查 SRM 与数据质量。 前文的 SRM、事件完整性和随机化单位审计是前置条件。校正不会把无效 p 值变有效。
  3. 把估计量与校正结果一起报告。 展示每项指标的效果大小、置信区间、原始 p、调整 p、样本量及家族定义;“校正后不显著”不等于“没有有意义的效果”。
  4. 固定实验版本并复算。 记录指标 SQL / 代码摘要和分析数据快照;改变过滤口径就要形成新版本与新结果,不可覆写旧报告。
目标常见方法它控制什么代价或边界
确认性发布决策Holm至少一个错误拒绝的概率(FWER)家族越大越保守;需要定义家族
大量发现型筛查Benjamini–Hochberg 方法(Benjamini–Hochberg procedure)错误发现率(false discovery rate,FDR)的期望允许一定比例假发现;依赖结构和设计需核对
简单保守基线Bonferroni 校正FWER门槛统一为 α/m\alpha/m,常比 Holm 更保守
随时间反复查看序贯检验或显著性预算分配(alpha spending)多次查看导致的时间维度误报不能由横截面 Holm 自动解决

常见错误包括把同一用户多个请求当独立样本、把实验臂内相关观测当独立检验、只校正显著的指标、遗漏失败指标、把探索性切片写成确认结论,以及对相互重叠的时间窗口反复应用 Holm。先复核随机化单位和聚类标准误,再检查每项 p 值的生成假设;若同一实验持续每天查看,预先采用适配序贯监控的错误率控制,而非每天重新跑一次固定时点 Holm。

Holm 的有效性要求输入 p 值在各自原假设成立时有效(超均匀)。如果模型标准误错、指标在看过数据后定义,或者停止规则改变了抽样分布,调整后的结果仍然不可信。校正也不代表业务重要性:极大样本可能让微小且无意义的效果显著,应把最小有意义效果、护栏与容量约束纳入单独的决策规则。

思考练习#

  1. 你有 12 个预注册指标,其中 3 个共同决定发布,另外 9 个仅用于排障。怎样划分检验家族?如果发布决策可以依据任意一个指标,该如何改?
  2. 原始 p 值排序为 0.006、0.014、0.027、0.049,家族大小 4,α=0.05\alpha=0.05。Holm 会拒绝多少项?请同时算调整后的 p 值。
  3. 同一组实验数据每天查看一次、连续看两周。为何一次运行 Holm 不能覆盖这种时间维度上的选择?

延伸阅读#

几十个指标总有一个显著,怎样控制实验误报?Holm 多重检验
https://zwjcode.cn/blog/experiment-multiple-testing-holm
作者 傑
发布于 2026年10月6日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。