A/B 实验为何会被“串组”污染?确定性分桶与用户粘性
把实验身份、哈希分桶和暴露日志连成一条可重放的数据链,避免同一用户跨组、跨设备或重试时破坏因果比较。
上一篇已经规定:成熟标签到齐前,只能按预先承诺的序贯规则决定停止、保持或扩量。但那条规则隐含了一个前提:对照组和实验组真的是两群可比较的用户。若同一用户上午进 A、下午因重试进 B,或一台设备的多人共享同一个 bucket(桶),估计的差异就混入了干预本身以外的变化。
本篇只解决这个前提:如何用 deterministic assignment(确定性分配)和 sticky bucketing(粘性分桶)让同一个分析单位稳定落入一个实验臂,并记录可重放的 exposure(实际暴露)。下一篇将把这些暴露事件与指标窗口连接起来,讨论指标定义为何常常改变结论。
01 随机数每次重掷,为什么反而不随机?#
设用户 在实验 的变体为 ,目标是比较 与 的平均结果。服务端若每个请求独立执行 random() < 0.5,同一个 的多次请求会分别接受两种处理;此时观察到的 不再能干净归给一个 。推荐排序、价格、缓存命中等有状态系统尤其容易被这种 cross-over(交叉处理)污染。
更稳妥的做法是取稳定身份与实验 salt(盐)组成键,计算均匀的 bucket:
其中 是稳定哈希, 是实验流量(例如 表示 50%)。10,000 个桶使 1% 流量可精确表示为 100 个桶; 必须是与实验单位一致的、不会因为一次请求而改变的 ID。对用户级结果用 user_id,对店铺级策略用 merchant_id,不要因为 cookie 更容易取得就悄悄换单位。
flowchart LR
Q[request] --> I[resolve analysis unit: user_id]
I --> K[experiment_id + salt + unit_id]
K --> H[stable hash]
H --> B[bucket: 0..9999]
B --> A{allocation rule}
A -->|0..4999| C[control manifest]
A -->|5000..9999| T[treatment manifest]
C --> E[write immutable exposure]
T --> E
E --> J[future metric and mature-label join]mermaid这里数据流的关键不是哈希本身,而是从 unit_id 到 manifest 的每一步都可审计:同一个请求重放时应得到同一 bucket 和同一分配版本。若实验先按地区层级随机、再在层内分桶,地区和层级 revision 也必须进入 exposure。
02 极小手算:50% 不是“每四人必有两人”#
为了手算,假设 已输出四位 bucket。实验阈值 :
user_id | hash bucket | 变体 | 第二次请求 |
|---|---|---|---|
u17 | 1842 | control | 仍为 control |
u42 | 7360 | treatment | 仍为 treatment |
u88 | 4999 | control | 仍为 control |
u91 | 5000 | treatment | 仍为 treatment |
边界是半开区间:0 ≤ bucket < 5000 属于 control,5000 ≤ bucket < 10000 属于 treatment。小样本不保证恰好 50:50;哈希保证的是在足够多、身份不偏置的单位上近似均匀。不要把“这 4 人是 2:2”当作哈希质量检验,也不要在看到短期失衡后重新撒盐——那会让一部分用户换组。
03 最小实现:输出“分配”与“暴露”是两回事#
下面的函数不依赖运行时随机数,输入是标量字符串 experiment_id、unit_id、salt 和整数 treatment_bps(basis points,万分比流量);输出是一个包含 bucket 与变体的字典。生产系统应该使用受版本控制的配置服务和密钥管理;示例中的 salt 仅用于解释确定性。
from hashlib import blake2b
BUCKETS = 10_000
def assign(experiment_id: str, unit_id: str, salt: str,
treatment_bps: int) -> dict[str, object]:
if not experiment_id or not unit_id:
raise ValueError("experiment_id and unit_id are required")
if not 0 <= treatment_bps <= BUCKETS:
raise ValueError("treatment_bps must be in [0, 10000]")
key = f"{experiment_id}|{salt}|{unit_id}".encode("utf-8")
value = int.from_bytes(blake2b(key, digest_size=8).digest(), "big")
bucket = value % BUCKETS
variant = "treatment" if bucket < treatment_bps else "control"
return {"bucket": bucket, "variant": variant,
"allocation_version": "v1"}
first = assign("ranker-2026q4", "u42", "salt-v1", 5000)
retry = assign("ranker-2026q4", "u42", "salt-v1", 5000)
assert first == retry
print(first) # {'bucket': ..., 'variant': 'control' or 'treatment', ...}pythondigest_size=8 产生 64 位整数,随后取模至 [0, 9999];它不是加密授权机制,不能把可猜的用户 ID 当作安全边界。服务端应在真正执行了对应 manifest 后才写 exposure,例如:
{"event":"exposure","request_id":"r9","unit_id":"u42",
"experiment_id":"ranker-2026q4","allocation_version":"v1",
"bucket":7360,"variant":"treatment","manifest_id":"sha256:ab12",
"served_at":"2026-10-04T18:02:05+08:00"}jsonassignment(理论分配)回答“本应进哪组”;exposure 回答“是否真的看到了哪一种处理”。超时、资格不符、缓存返回旧内容都会使两者不同。分析意向处理效应时通常以 assignment 分组;分析实际暴露效应时要明确选择偏差,不能把没成功展示的请求直接悄悄删掉。
04 工程检查:身份、流量与日志必须一起变更#
| 风险 | 表象 | 先检查什么 | 修复方式 |
|---|---|---|---|
| ID 在登录前后切换 | 同一人跨组 | anonymous_id 与 user_id 的 join 率 | 预先规定 merge 规则,记录 identity revision |
| 调整 10% 到 20% 时重撒 salt | 大量用户换组 | 两个版本的 bucket 交叉表 | 固定 salt,仅扩大 treatment bucket 区间 |
| 多端使用不同 ID | 处理在设备间泄漏 | 用户级与设备级指标差异 | 让分桶单位匹配干预传播范围 |
| 先记录后执行 | “暴露”多于真正服务 | manifest 返回码与曝光事件的关联 | 在服务成功后的原子路径写事件 |
| 机器人集中在小桶 | 表面流量均衡、有效样本失衡 | bucket × 流量来源、关键切片 | 在随机化前排除 bot,保留排除日志 |
调试的最快路径是挑一个 unit_id:用离线函数重算 bucket,比较配置服务返回的 allocation_version,再查询该次请求真正服务的 manifest 和 exposure。若三者不一致,不应先相信仪表盘上的 uplift(提升);先冻结扩量,保全配置与事件样本。对 cookie 清除频繁的场景,要把“未登录新访客”视为独立单位,并在结论中承认由此带来的干扰。
分桶也有局限:哈希不能解决 network effect(网络效应),例如 treatment 用户发出的邀请会影响 control 用户;也不能保证少数高价值客户均衡。前者可考虑按群组 cluster randomization(簇随机化),后者可按预处理协变量分层后在层内独立分桶。两者都会改变有效样本量与标准误,不能直接沿用用户独立的置信区间。
思考练习#
- 排序实验按
user_id分桶,但同一家庭共用设备且会互相分享商品链接。这里的干扰违反了哪一项因果假设? - 从 10% 扩到 30% 时,如何选择 treatment bucket 范围,才能让原 10% 用户全部保持在 treatment?
- 若
unit_id缺失只能随机分配请求,哪些指标仍可解释,哪些长期行为指标不再适合做因果结论?