观文听傑

返回

三组彼此独立的人群各由一个分配信号进入,组内成员共享相同处理三组彼此独立的人群各由一个分配信号进入,组内成员共享相同处理

上一篇用最小可检测效应、显著性水平和目标功效规划了每臂用户数,也提醒:若学校或地区被整体随机化,用户并非独立样本。现在看这个提醒背后的设计选择。某些干预会让同店员工共用流程、让家庭成员互相分享,或让一轮问答中的多次请求共享上下文。逐用户随机化会让处理组影响对照组;但简单把每个人都当独立样本,又会低估不确定性。

本篇只讲一个核心:当干预在群体内传播时,把整个群体作为随机化单位,并在规划样本时计入组内相关。下一篇将继续回答:簇数很少时,怎样计算效果与不确定性,避免把数千名用户误当成数千次独立随机化。

01 先定义随机化单位,再数用户#

随机化单位(randomization unit)是被分配处理版本的最小独立对象。分析单位(analysis unit)是结果被记录的对象;它可以和随机化单位不同。若 40 家门店各有顾客,门店层面随机化、顾客层面测量,则随机化单位是门店,分析记录是顾客。每家店的全部顾客都进入同一臂。

这与按用户粘性分桶不同:粘性分桶解决同一用户跨请求换组;簇随机化解决多个用户之间会互相影响。随机化需要沿着可能发生干扰的边界上移到家庭、班级、门店、医生或地理区域。分得越大,干扰通常越少,但可用簇数也越少,成本和统计不确定性会上升。

flowchart LR
  A[干预会影响哪些人] --> B[定义簇边界与随机化单位]
  B --> C[在簇之间随机分配处理臂]
  C --> D[簇内用户接受同一版本]
  D --> E[按用户记录结果并保留 cluster_id]
  E --> F[按簇内相关设计功效与分析]
mermaid

一个现实反例:只改了 5% 用户,为什么对照组也变了?#

想象门店试用新的排班推荐器。若同一门店里一半主管看到建议、另一半看不到,主管会互相商量;未处理员工也可能采用建议。对照组不再代表“完全未受影响”的状态,处理差异被稀释。把门店作为随机化单位,可让同店成员共享版本,并将版本按门店记录。

簇随机化并不自动消除所有干扰。若一家门店的顾客跨店购物、教师互相交流,或推荐内容在社交网络传播,簇与簇之间仍可能互相影响。先用流程图或真实流量图定义干扰边界;必要时扩大簇、隔离部分样本,或把结论限定为当前分配政策下的效果。

02 组内相关为何让样本量“缩水”?#

簇内相关系数(intracluster correlation coefficient, ICC,常写作 ρ\rho)描述同簇两名成员的结果相似程度。设每个簇有 mm 名用户,每名用户结果的方差为 σ2\sigma^2;同簇不同用户的协方差为 ρσ2\rho\sigma^2。一个簇的结果总和方差为

Var⁡ ⁣(∑i=1mYi)=mσ2+m(m−1)ρσ2.\operatorname{Var}\!\left(\sum_{i=1}^{m}Y_i\right)=m\sigma^2+m(m-1)\rho\sigma^2.

若这些用户彼此独立,总和方差只是 mσ2m\sigma^2。所以同样 mm 人作为一簇,相对于独立抽样的方差膨胀因子为

DE=1+(m−1)ρ,DE=1+(m-1)\rho,

称为设计效应(design effect)。总用户数为 NN 时,粗略有效样本量(effective sample size)是 Neff≈N/DEN_{eff}\approx N/DE。这不是说数据真的变少,而是说相似成员提供的独立信息重复了。

每簇人数 mmICC ρ\rho设计效应 DEDE1000 人的粗略有效样本量
2001.001000
200.021.38725
200.082.52397
200.204.80208

特别要留意簇大小的代价:即使 ρ\rho 很小,mm 增大也会累积相关性。多招一批同店顾客,往往不如多招几家门店有用。

03 手算:计划的 786 名独立用户,簇随机化后要多少?#

上一篇的例子需要 393 名可分析用户/臂,即总计 786 人。现在假设平均每簇 m=20m=20 人,历史数据估得 ρ=0.08\rho=0.08。设计效应为

DE=1+(20−1)×0.08=2.52.DE=1+(20-1)\times0.08=2.52.

按这个简化近似,簇设计的用户数预算约为 786×2.52=1980.72786\times2.52=1980.72,即至少 1981 名可分析用户。逐臂计算为 393×2.52=990.36393\times2.52=990.36,因此每臂需向上取整为 991 人。若簇大小固定为 20,向上取整需要每臂 ⌈991/20⌉=50\lceil991/20\rceil=50 个簇,实际每臂 1000 名用户,共 100 个簇。原先每臂 393 人若仍只招 20 个簇左右,其信息量明显不足。

注意两个数量不能混为一谈:N/DEN/DE 近似描述信息量,实际招募计划还要按完整簇向上取整、补偿簇退出,并保证每臂有足够多的独立簇。多加簇通常优于扩大已有簇。设计效应只处理平衡等簇的均值指标近似;簇大小不等、二元比例、基线调整或配对设计都可能改变公式。

04 不依赖统计黑盒:纯 Python 设计预算器#

输入是独立随机化假设下的每臂基准人数 base_per_arm、平均簇大小 mean_cluster_size 和预先估计的 ICC icc。输出为设计效应、膨胀后的每臂用户预算、每臂整簇数及实际总用户数。下面假设两臂簇大小固定且相等,没有簇级流失;它是预算器,不估计处理效果,也不替代正式功效模拟。

逐臂向上取整后,代码为了每臂都能容纳整数个 20 人簇,结果是 2000 人。required_people_per_arm 和实际整簇招募数因此不同。这个差距来自取整,不应把整簇数再四舍五入向下。

生产数据中的 ICC 应来自同一指标、相似单位和相似时间窗,最好用历史盲态数据估计并做敏感性分析;不能用本次 treatment 差异反推一个更小的 ICC。ICC 的估计本身有不确定性,特别是簇很少时。高低 ICC、多种簇大小和退出率都应进入模拟情景,而不是只报一个漂亮的点估计。

05 工程落地:簇 ID、分配日志和分析计划要成套#

要记录的字段作用最常见遗漏
experiment_id, allocation_version重放该轮分配配置热更新后只保留最新版本
cluster_id, unit_id, arm连接随机化簇与用户结果分析表只留下用户 ID
assignment_time, exposure_time区分分配和实际接触处理把曝光过滤当作随机化样本
outcome_window, metric_version固定结果观察口径treatment 与 control 用不同成熟窗口
cluster_exit_reason追踪整簇缺失与流失只统计仍营业的门店

先按预定义规则生成簇,再在簇层面随机化;保留每簇分配及所有成员关系;最后按意向处理原则(intention-to-treat, ITT)保留原始被分配簇,不因成员未实际使用功能而偷偷换臂。若业务问题只关心实际使用者效果,需要另行定义因果估计目标与识别假设。

训练/评估管道的 split 也需要按簇划分:同一门店或家庭的记录不能散落到训练集和测试集,否则模型可能记住簇特征,测试指标会虚高。若模型特征含 cluster_id,还要判断它是真正线上可用的信号还是代理变量。随机化设计与模型数据切分共享同一个边界,但各自回答的问题不同。

键盘可展开:复核设计效应与整簇取整

20 人一簇且 ICC 为 0.08 时,DE = 1 + 19 × 0.08 = 2.52。每臂 393 名独立样本约膨胀至 991 人,再向上取整为 50 个 20 人簇,即每臂 1000 人。键盘聚焦摘要后按 Enter 或 Space 可展开这一步。

本篇计算只使用 Python 标准库的 math.ceil,因为它是透明的设计效应近似,不需要可更新的机器学习 API。它返回“簇预算”,不是效应量、置信区间或 p 值。正式分析必须按簇级数据计算不确定性;簇数少时不能照搬用户级正态近似。

06 常见失败与调试顺序#

  1. 簇边界太小:处理影响跨簇传播。查看真实社交、组织或服务关系,而不是只看数据库主键。
  2. 簇数不足:总用户很多,但只覆盖几家门店。按臂列出簇数,先问能否增加独立簇,再考虑增加簇内用户。
  3. 只乘设计效应:设计效应不能弥补簇级自由度太小、处理/对照簇失衡或严重簇流失。把实际分配机制带入模拟。
  4. 簇大小不均仍用平均数公式:极大簇可能主导用户加权效果,简单 1+(m−1)ρ1+(m-1)\rho 不再精确;在设计阶段模拟真实簇大小,报告 cluster-weighted 与 individual-weighted 估计目标。
  5. 结果表丢了 cluster_id:恢复分配日志与成员关系后再分析。若无法恢复,用户级独立性无法验证,应把推断标为受限,而不是默认独立。
  6. 簇间仍有干扰:做地理隔离、缓冲区或网络暴露检查;无法避免时,将估计对象改成明确的政策效应或采用能建模暴露映射的设计。

07 与相近设计的边界#

方法在哪一层操作主要解决什么需要额外注意
用户级随机化用户/账号个体独立且干预不互相影响重复请求按用户聚合
分层随机化先按基线分组,再层内分配小样本中平衡已知协变量分析时保留层级权重
簇随机化家庭/门店/学校/区域减少簇内干扰、便于整组部署ICC、簇数与小样本推断
Switchback门店/区域 × 时间段同一实体不同时间切换版本时间趋势、洗脱期和序列相关

上一篇的 CUPED 是分析阶段用处理前协变量降方差;分层随机化是在设计阶段平衡协变量;簇随机化则同时改变分配单位和相关结构。它们可以组合,但需在方案中同时写清估计对象、随机化方案和标准误。

思考练习#

  1. 每簇 12 人、ICC 为 0.05,设计效应是多少?若原本每臂需 500 人,近似要预算多少人/臂?
  2. 同一家医院的患者分在两臂,医生会把新流程也用于对照患者。哪条随机化边界更合理?仍可能残留什么簇间干扰?
  3. 预计能招很多顾客,却只能招 8 家门店。与其把每店样本翻倍,你会优先争取什么?为何设计效应没有完整回答这个问题?

延伸阅读#

同一门店的用户互相影响,怎样做簇随机化?ICC 与设计效应
https://zwjcode.cn/blog/cluster-randomization-design-effect
作者 傑
发布于 2026年10月8日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。