实验分流看似随机,为什么进组人数会失衡?用 SRM 定位故障
从实验分配到分析样本逐层计算 Sample Ratio Mismatch,手算卡方检验并用最小 Python 实现定位丢失、重复与筛选偏差。
上一篇把分析单位稳定分到实验臂,并区分 assignment(理论分配)与 exposure(实际暴露)。但分桶代码即使完全正确,仪表盘里的两组人数仍可能从 50:50 变成 56:44:一组请求更容易超时、事件日志漏写,或分析查询把一组用户筛掉。此时比较转化率之前,先要确认进入分析的样本仍符合随机化设计。
本篇只讲 Sample Ratio Mismatch(样本比例失配,SRM):用一个分配比例检验发现实验数据链路的异常,再沿“分配—执行—记录—分析”定位第一处人数变化。下一篇再讨论通过处理前指标降低实验结果的随机波动。
01 先问“哪一层的人数不对”#
设实验臂 的预设比例为 ,经过某一数据阶段后观测到 个分析单位,总数 。如果随机分配与后续收集都正常,期望人数为 。SRM 检验问的是:在零假设 (观测样本服从计划比例)下,当前人数差距是否大到很难由随机波动解释。
flowchart LR
C[配置比例与实验单位] --> A[assignment 计数]
A --> X[执行与资格过滤]
X --> E[exposure 计数]
E --> L[日志去重与 Join]
L --> Q[分析筛选后的计数]
A -.逐层比较计划比例.-> S{SRM 检验}
E -.逐层比较计划比例.-> S
L -.逐层比较计划比例.-> S
Q -.逐层比较计划比例.-> S
S -->|异常| D[冻结因果结论,定位第一处偏离]
S -->|通过| M[继续质量与效果分析]mermaid检验应分别按 assignment、实际 exposure、落库事件和最终分析表计算。只对最终一张表做 SRM,能提示“结果不可信”,却不能指出偏差发生在哪层。单位也必须一致:若按用户随机化,计数的是去重用户,而不是请求行;一个活跃用户发出 100 次请求不能膨胀成 100 个独立随机单位。
02 用 1,000 个单位手算卡方统计量#
计划是 50:50,最终表里 control 有 560 人、treatment 有 440 人。总数 ,期望人数分别是 。Pearson 卡方统计量为
两个实验臂只有一个自由度。若只把它当作健康检查, 对应的双侧尾概率约为 ;这强烈提示样本链路违反预设比例。它并不证明一定是哈希错误,也不说明哪一组“更好”。SRM 是温度计:可能的病因包括身份键碰撞、不同臂触发不同重定向、曝光日志丢失、重复 Join、按处理后行为筛人,或配置比例与分析口径不一致。
| 阶段 | Control | Treatment | 计划比例 | 应查的问题 |
|---|---|---|---|---|
| 分配服务 | 501 | 499 | 50:50 | 身份键、盐、实验版本 |
| 请求执行 | 490 | 495 | 50:50 | 超时、资格、版本错误 |
| 曝光事件 | 480 | 470 | 50:50 | 写日志时机、采样、丢失 |
| 分析宽表 | 560 | 440 | 50:50 | Join 重复、筛选条件、缺失偏差 |
表中的计数只是示例,真实诊断应在同一时间窗、同一实验单位上逐层去重。若计划不是均分,期望值直接使用 ;有 个臂时自由度为 。当期望人数太少时,卡方近似可能不准,应合并有理论依据的观察窗口或使用适合稀疏计数的精确检验,不能为了“通过”而随意合并实验臂。
03 最小 Python:大样本近似与小样本精确检查#
输入 counts 是按配置顺序排列的各臂人数,形状 [K];planned 是同长度的比例向量,和为 1。输出包括统计量、自由度以及“若为两臂 50:50”时可直接计算的近似 p 值。其余多臂 p 值可把统计量和自由度交给组织已审核的统计实现;不要用两臂公式冒充多臂检验。
from math import erfc, sqrt
from typing import Sequence
def srm_two_arm_50_50(counts: Sequence[int]) -> dict[str, float | int]:
if len(counts) != 2 or any(n < 0 for n in counts):
raise ValueError("counts must be two non-negative integers")
total = sum(counts)
if total == 0:
raise ValueError("there must be at least one unit")
expected = total / 2
chi2 = sum((observed - expected) ** 2 / expected for observed in counts)
# Chi-square(df=1) upper-tail probability.
p_value = erfc(sqrt(chi2 / 2))
return {"n": total, "chi2": chi2, "df": 1, "p_value": p_value}
print(srm_two_arm_50_50([560, 440]))
# {'n': 1000, 'chi2': 14.4, 'df': 1, 'p_value': about 0.00015}python如果样本只有 4 人,观察到 4:0 并非一定代表故障:在 50:50 的精确二项模型下,两侧尾概率是 。下面的函数用组合数枚举两侧至少同样极端的结果,适合小样本的 50:50 演示;它不能直接处理任意比例、多臂、分层抽样或多次持续查看。
from math import comb
def exact_binomial_50_50(treatment: int, control: int) -> float:
n = treatment + control
if n <= 0 or min(treatment, control) < 0:
raise ValueError("counts must be non-negative and total must be positive")
tail = min(treatment, control)
return min(1.0, 2 * sum(comb(n, k) for k in range(tail + 1)) / (2 ** n))
print(exact_binomial_50_50(4, 0)) # 0.125python执行伪代码应把统计门当成数据质量门,而不是效果检验:
for stage in [assignment, exposure, logged, analyzed]:
units = deduplicate(stage, key=the_preregistered_randomization_unit)
counts = count_by_variant(units)
expected = sum(counts) * configured_proportions
result = srm_test(counts, expected)
record(stage, counts, expected, result, config_revision)
if result.flags_mismatch:
stop_effect_readout_and_trace_first_divergent_stage()text04 重要 API、读数和修复顺序#
纯 Python 示例只用 math.erfc、math.sqrt、math.comb 与标准类型;不依赖训练框架,因为这里处理的是计数检验,不是拟合模型。生产系统若使用统计库,应固定版本、选择多项比例检验的 API,并对照库的官方说明验证自由度与尾概率定义。对于请求级指标可在张量框架里统计 [N] 的臂标签,但先按实验单位聚合,不能把张量化误当成独立性成立。
调试时先固定 experiment_id、配置 revision、时间窗、随机化单位和预设比例,再对每一阶段生成一行 [K] 计数。找出第一个显著偏离的阶段,然后按该阶段检查:
- 分配阶段失衡:核对实际 salt/流量配置、匿名 ID 到登录 ID 的映射、实验是否重叠,以及同一单位是否跨臂。
- 曝光阶段才失衡:对比两臂超时、资格拒绝、页面跳转与缓存命中。不要在用户是否看到变体之后再过滤“低活跃”用户。
- 日志阶段才失衡:检查事件采样率、重试幂等键、客户端离线队列和批量上传失败。
- 分析表才失衡:检查 Join 是否把某一臂重复扩行,条件筛选是否依赖处理后结果,以及空值是否差异性删除。
常见误诊是看到 就宣布“随机化无误”。不显著只是当前数据未显示足够强的比例偏离;小流量检测力很低,错误可能藏在某个地区、平台或时间片。因此除了总体 SRM,还要对预注册的关键维度看分布与计数,但避免无约束地切成几千个小格再挑最红的一个。若同时监控大量切片,应采用预先定义的诊断策略并谨慎处理多重检验。
05 失败边界与近邻概念#
SRM 检测的是“观测人数比例与随机化计划不一致”,不是随机化质量的完整证明。两组人数恰好相等仍可能有身份污染、处理间干扰、协变量失衡、指标埋点错误或 outcome-dependent missingness(结果相关缺失);应配合 A/A 检查、协变量平衡、事件完整性和曝光审计。反过来,业务有意按 70:30 分流时,70:30 本身不是 SRM,拿 50:50 当零假设才是配置错误。
SRM 也不同于 sample size mismatch(样本量尚未达到计划值):两组按 50:50 同比例偏少可能只是实验时间短;SRM 关心组间比例是否违背计划。SRM 更不等同于结果显著性,不能把某个臂人数多解释为效果更好。发生严重 SRM 时应暂停结果解读,修复链路后重跑或重新定义有效窗口;不能事后按结果挑样本“修平”比例。
思考练习#
- 分配日志为 50:50,曝光日志为 50:50,但分析表变成 60:40。你会优先抽查哪类 Join 与过滤条件?
- 实验计划为 control:treatment = 80:20,实际计数是 7,980:2,020。零假设期望计数与自由度分别是多少?
- 为什么“整体通过 SRM”仍不能证明登录前后的身份合并没有让同一人跨臂?