观文听傑

返回

随机分流后琥珀色实验组异常变重,放大镜检查人数失衡随机分流后琥珀色实验组异常变重,放大镜检查人数失衡

上一篇把分析单位稳定分到实验臂,并区分 assignment(理论分配)与 exposure(实际暴露)。但分桶代码即使完全正确,仪表盘里的两组人数仍可能从 50:50 变成 56:44:一组请求更容易超时、事件日志漏写,或分析查询把一组用户筛掉。此时比较转化率之前,先要确认进入分析的样本仍符合随机化设计。

本篇只讲 Sample Ratio Mismatch(样本比例失配,SRM):用一个分配比例检验发现实验数据链路的异常,再沿“分配—执行—记录—分析”定位第一处人数变化。下一篇再讨论通过处理前指标降低实验结果的随机波动。

01 先问“哪一层的人数不对”#

设实验臂 jj 的预设比例为 pjp_j,经过某一数据阶段后观测到 OjO_j 个分析单位,总数 N=∑jOjN=\sum_j O_j。如果随机分配与后续收集都正常,期望人数为 Ej=NpjE_j=Np_j。SRM 检验问的是:在零假设 H0H_0(观测样本服从计划比例)下,当前人数差距是否大到很难由随机波动解释。

flowchart LR
  C[配置比例与实验单位] --> A[assignment 计数]
  A --> X[执行与资格过滤]
  X --> E[exposure 计数]
  E --> L[日志去重与 Join]
  L --> Q[分析筛选后的计数]
  A -.逐层比较计划比例.-> S{SRM 检验}
  E -.逐层比较计划比例.-> S
  L -.逐层比较计划比例.-> S
  Q -.逐层比较计划比例.-> S
  S -->|异常| D[冻结因果结论,定位第一处偏离]
  S -->|通过| M[继续质量与效果分析]
mermaid

检验应分别按 assignment、实际 exposure、落库事件和最终分析表计算。只对最终一张表做 SRM,能提示“结果不可信”,却不能指出偏差发生在哪层。单位也必须一致:若按用户随机化,计数的是去重用户,而不是请求行;一个活跃用户发出 100 次请求不能膨胀成 100 个独立随机单位。

02 用 1,000 个单位手算卡方统计量#

计划是 50:50,最终表里 control 有 560 人、treatment 有 440 人。总数 N=1000N=1000,期望人数分别是 EC=ET=500E_C=E_T=500。Pearson 卡方统计量为

χ2=∑j=1K(Oj−Ej)2Ej=602500+(−60)2500=14.4.\chi^2=\sum_{j=1}^{K}\frac{(O_j-E_j)^2}{E_j}=\frac{60^2}{500}+\frac{(-60)^2}{500}=14.4.

两个实验臂只有一个自由度。若只把它当作健康检查,χ2=14.4\chi^2=14.4 对应的双侧尾概率约为 1.5×10−41.5\times10^{-4};这强烈提示样本链路违反预设比例。它并不证明一定是哈希错误,也不说明哪一组“更好”。SRM 是温度计:可能的病因包括身份键碰撞、不同臂触发不同重定向、曝光日志丢失、重复 Join、按处理后行为筛人,或配置比例与分析口径不一致。

阶段ControlTreatment计划比例应查的问题
分配服务50149950:50身份键、盐、实验版本
请求执行49049550:50超时、资格、版本错误
曝光事件48047050:50写日志时机、采样、丢失
分析宽表56044050:50Join 重复、筛选条件、缺失偏差

表中的计数只是示例,真实诊断应在同一时间窗、同一实验单位上逐层去重。若计划不是均分,期望值直接使用 NpjNp_j;有 KK 个臂时自由度为 K−1K-1。当期望人数太少时,卡方近似可能不准,应合并有理论依据的观察窗口或使用适合稀疏计数的精确检验,不能为了“通过”而随意合并实验臂。

03 最小 Python:大样本近似与小样本精确检查#

输入 counts 是按配置顺序排列的各臂人数,形状 [K];planned 是同长度的比例向量,和为 1。输出包括统计量、自由度以及“若为两臂 50:50”时可直接计算的近似 p 值。其余多臂 p 值可把统计量和自由度交给组织已审核的统计实现;不要用两臂公式冒充多臂检验。

如果样本只有 4 人,观察到 4:0 并非一定代表故障:在 50:50 的精确二项模型下,两侧尾概率是 2/24=0.1252/2^4=0.125。下面的函数用组合数枚举两侧至少同样极端的结果,适合小样本的 50:50 演示;它不能直接处理任意比例、多臂、分层抽样或多次持续查看。

from math import comb

def exact_binomial_50_50(treatment: int, control: int) -> float:
    n = treatment + control
    if n <= 0 or min(treatment, control) < 0:
        raise ValueError("counts must be non-negative and total must be positive")
    tail = min(treatment, control)
    return min(1.0, 2 * sum(comb(n, k) for k in range(tail + 1)) / (2 ** n))

print(exact_binomial_50_50(4, 0))  # 0.125
python

执行伪代码应把统计门当成数据质量门,而不是效果检验:

for stage in [assignment, exposure, logged, analyzed]:
    units = deduplicate(stage, key=the_preregistered_randomization_unit)
    counts = count_by_variant(units)
    expected = sum(counts) * configured_proportions
    result = srm_test(counts, expected)
    record(stage, counts, expected, result, config_revision)
    if result.flags_mismatch:
        stop_effect_readout_and_trace_first_divergent_stage()
text

04 重要 API、读数和修复顺序#

纯 Python 示例只用 math.erfc、math.sqrt、math.comb 与标准类型;不依赖训练框架,因为这里处理的是计数检验,不是拟合模型。生产系统若使用统计库,应固定版本、选择多项比例检验的 API,并对照库的官方说明验证自由度与尾概率定义。对于请求级指标可在张量框架里统计 [N] 的臂标签,但先按实验单位聚合,不能把张量化误当成独立性成立。

调试时先固定 experiment_id、配置 revision、时间窗、随机化单位和预设比例,再对每一阶段生成一行 [K] 计数。找出第一个显著偏离的阶段,然后按该阶段检查:

  1. 分配阶段失衡:核对实际 salt/流量配置、匿名 ID 到登录 ID 的映射、实验是否重叠,以及同一单位是否跨臂。
  2. 曝光阶段才失衡:对比两臂超时、资格拒绝、页面跳转与缓存命中。不要在用户是否看到变体之后再过滤“低活跃”用户。
  3. 日志阶段才失衡:检查事件采样率、重试幂等键、客户端离线队列和批量上传失败。
  4. 分析表才失衡:检查 Join 是否把某一臂重复扩行,条件筛选是否依赖处理后结果,以及空值是否差异性删除。

常见误诊是看到 p>0.05p>0.05 就宣布“随机化无误”。不显著只是当前数据未显示足够强的比例偏离;小流量检测力很低,错误可能藏在某个地区、平台或时间片。因此除了总体 SRM,还要对预注册的关键维度看分布与计数,但避免无约束地切成几千个小格再挑最红的一个。若同时监控大量切片,应采用预先定义的诊断策略并谨慎处理多重检验。

05 失败边界与近邻概念#

SRM 检测的是“观测人数比例与随机化计划不一致”,不是随机化质量的完整证明。两组人数恰好相等仍可能有身份污染、处理间干扰、协变量失衡、指标埋点错误或 outcome-dependent missingness(结果相关缺失);应配合 A/A 检查、协变量平衡、事件完整性和曝光审计。反过来,业务有意按 70:30 分流时,70:30 本身不是 SRM,拿 50:50 当零假设才是配置错误。

SRM 也不同于 sample size mismatch(样本量尚未达到计划值):两组按 50:50 同比例偏少可能只是实验时间短;SRM 关心组间比例是否违背计划。SRM 更不等同于结果显著性,不能把某个臂人数多解释为效果更好。发生严重 SRM 时应暂停结果解读,修复链路后重跑或重新定义有效窗口;不能事后按结果挑样本“修平”比例。

思考练习#

  1. 分配日志为 50:50,曝光日志为 50:50,但分析表变成 60:40。你会优先抽查哪类 Join 与过滤条件?
  2. 实验计划为 control:treatment = 80:20,实际计数是 7,980:2,020。零假设期望计数与自由度分别是多少?
  3. 为什么“整体通过 SRM”仍不能证明登录前后的身份合并没有让同一人跨臂?

延伸阅读#

实验分流看似随机,为什么进组人数会失衡?用 SRM 定位故障
https://zwjcode.cn/blog/experiment-srm-diagnosis
作者 傑
发布于 2026年10月5日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。