观文听傑

返回

匿名用户请求经哈希门被稳定送往蓝色或金色实验路径匿名用户请求经哈希门被稳定送往蓝色或金色实验路径

上一篇已经规定:成熟标签到齐前,只能按预先承诺的序贯规则决定停止、保持或扩量。但那条规则隐含了一个前提:对照组和实验组真的是两群可比较的用户。若同一用户上午进 A、下午因重试进 B,或一台设备的多人共享同一个 bucket(桶),估计的差异就混入了干预本身以外的变化。

本篇只解决这个前提:如何用 deterministic assignment(确定性分配)和 sticky bucketing(粘性分桶)让同一个分析单位稳定落入一个实验臂,并记录可重放的 exposure(实际暴露)。下一篇将把这些暴露事件与指标窗口连接起来,讨论指标定义为何常常改变结论。

01 随机数每次重掷,为什么反而不随机?#

设用户 uu 在实验 ee 的变体为 zu∈{0,1}z_u\in\{0,1\},目标是比较 Y(1)Y(1) 与 Y(0)Y(0) 的平均结果。服务端若每个请求独立执行 random() < 0.5,同一个 uu 的多次请求会分别接受两种处理;此时观察到的 YY 不再能干净归给一个 zuz_u。推荐排序、价格、缓存命中等有状态系统尤其容易被这种 cross-over(交叉处理)污染。

更稳妥的做法是取稳定身份与实验 salt(盐)组成键,计算均匀的 bucket:

bu=H(e∣∣salt∣∣u) mod 10 000,zu=1[bu<r],b_u=H(e\mathbin{||}salt\mathbin{||}u)\bmod 10\,000,\qquad z_u=\mathbb{1}[b_u<r],

其中 HH 是稳定哈希,rr 是实验流量(例如 r=5000r=5000 表示 50%)。10,000 个桶使 1% 流量可精确表示为 100 个桶;uu 必须是与实验单位一致的、不会因为一次请求而改变的 ID。对用户级结果用 user_id,对店铺级策略用 merchant_id,不要因为 cookie 更容易取得就悄悄换单位。

flowchart LR
  Q[request] --> I[resolve analysis unit: user_id]
  I --> K[experiment_id + salt + unit_id]
  K --> H[stable hash]
  H --> B[bucket: 0..9999]
  B --> A{allocation rule}
  A -->|0..4999| C[control manifest]
  A -->|5000..9999| T[treatment manifest]
  C --> E[write immutable exposure]
  T --> E
  E --> J[future metric and mature-label join]
mermaid

这里数据流的关键不是哈希本身,而是从 unit_id 到 manifest 的每一步都可审计:同一个请求重放时应得到同一 bucket 和同一分配版本。若实验先按地区层级随机、再在层内分桶,地区和层级 revision 也必须进入 exposure。

02 极小手算:50% 不是“每四人必有两人”#

为了手算,假设 HH 已输出四位 bucket。实验阈值 r=5000r=5000:

user_idhash bucket变体第二次请求
u171842control仍为 control
u427360treatment仍为 treatment
u884999control仍为 control
u915000treatment仍为 treatment

边界是半开区间:0 ≤ bucket < 5000 属于 control,5000 ≤ bucket < 10000 属于 treatment。小样本不保证恰好 50:50;哈希保证的是在足够多、身份不偏置的单位上近似均匀。不要把“这 4 人是 2:2”当作哈希质量检验,也不要在看到短期失衡后重新撒盐——那会让一部分用户换组。

03 最小实现:输出“分配”与“暴露”是两回事#

下面的函数不依赖运行时随机数,输入是标量字符串 experiment_id、unit_id、salt 和整数 treatment_bps(basis points,万分比流量);输出是一个包含 bucket 与变体的字典。生产系统应该使用受版本控制的配置服务和密钥管理;示例中的 salt 仅用于解释确定性。

digest_size=8 产生 64 位整数,随后取模至 [0, 9999];它不是加密授权机制,不能把可猜的用户 ID 当作安全边界。服务端应在真正执行了对应 manifest 后才写 exposure,例如:

{"event":"exposure","request_id":"r9","unit_id":"u42",
 "experiment_id":"ranker-2026q4","allocation_version":"v1",
 "bucket":7360,"variant":"treatment","manifest_id":"sha256:ab12",
 "served_at":"2026-10-04T18:02:05+08:00"}
json

assignment(理论分配)回答“本应进哪组”;exposure 回答“是否真的看到了哪一种处理”。超时、资格不符、缓存返回旧内容都会使两者不同。分析意向处理效应时通常以 assignment 分组;分析实际暴露效应时要明确选择偏差,不能把没成功展示的请求直接悄悄删掉。

04 工程检查:身份、流量与日志必须一起变更#

风险表象先检查什么修复方式
ID 在登录前后切换同一人跨组anonymous_id 与 user_id 的 join 率预先规定 merge 规则,记录 identity revision
调整 10% 到 20% 时重撒 salt大量用户换组两个版本的 bucket 交叉表固定 salt,仅扩大 treatment bucket 区间
多端使用不同 ID处理在设备间泄漏用户级与设备级指标差异让分桶单位匹配干预传播范围
先记录后执行“暴露”多于真正服务manifest 返回码与曝光事件的关联在服务成功后的原子路径写事件
机器人集中在小桶表面流量均衡、有效样本失衡bucket × 流量来源、关键切片在随机化前排除 bot,保留排除日志

调试的最快路径是挑一个 unit_id:用离线函数重算 bucket,比较配置服务返回的 allocation_version,再查询该次请求真正服务的 manifest 和 exposure。若三者不一致,不应先相信仪表盘上的 uplift(提升);先冻结扩量,保全配置与事件样本。对 cookie 清除频繁的场景,要把“未登录新访客”视为独立单位,并在结论中承认由此带来的干扰。

分桶也有局限:哈希不能解决 network effect(网络效应),例如 treatment 用户发出的邀请会影响 control 用户;也不能保证少数高价值客户均衡。前者可考虑按群组 cluster randomization(簇随机化),后者可按预处理协变量分层后在层内独立分桶。两者都会改变有效样本量与标准误,不能直接沿用用户独立的置信区间。

思考练习#

  1. 排序实验按 user_id 分桶,但同一家庭共用设备且会互相分享商品链接。这里的干扰违反了哪一项因果假设?
  2. 从 10% 扩到 30% 时,如何选择 treatment bucket 范围,才能让原 10% 用户全部保持在 treatment?
  3. 若 unit_id 缺失只能随机分配请求,哪些指标仍可解释,哪些长期行为指标不再适合做因果结论?

延伸阅读#

A/B 实验为何会被“串组”污染?确定性分桶与用户粘性
https://zwjcode.cn/blog/experiment-assignment-sticky-bucketing
作者 傑
发布于 2026年10月4日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。