同一门店的用户互相影响,怎样做簇随机化?ICC 与设计效应
从家庭、门店和学校里的用户互相影响出发,推导簇随机化的组内相关与设计效应,用手算和纯 Python 重算实验人数。
上一篇用最小可检测效应、显著性水平和目标功效规划了每臂用户数,也提醒:若学校或地区被整体随机化,用户并非独立样本。现在看这个提醒背后的设计选择。某些干预会让同店员工共用流程、让家庭成员互相分享,或让一轮问答中的多次请求共享上下文。逐用户随机化会让处理组影响对照组;但简单把每个人都当独立样本,又会低估不确定性。
本篇只讲一个核心:当干预在群体内传播时,把整个群体作为随机化单位,并在规划样本时计入组内相关。下一篇将继续回答:簇数很少时,怎样计算效果与不确定性,避免把数千名用户误当成数千次独立随机化。
01 先定义随机化单位,再数用户#
随机化单位(randomization unit)是被分配处理版本的最小独立对象。分析单位(analysis unit)是结果被记录的对象;它可以和随机化单位不同。若 40 家门店各有顾客,门店层面随机化、顾客层面测量,则随机化单位是门店,分析记录是顾客。每家店的全部顾客都进入同一臂。
这与按用户粘性分桶不同:粘性分桶解决同一用户跨请求换组;簇随机化解决多个用户之间会互相影响。随机化需要沿着可能发生干扰的边界上移到家庭、班级、门店、医生或地理区域。分得越大,干扰通常越少,但可用簇数也越少,成本和统计不确定性会上升。
flowchart LR
A[干预会影响哪些人] --> B[定义簇边界与随机化单位]
B --> C[在簇之间随机分配处理臂]
C --> D[簇内用户接受同一版本]
D --> E[按用户记录结果并保留 cluster_id]
E --> F[按簇内相关设计功效与分析]mermaid一个现实反例:只改了 5% 用户,为什么对照组也变了?#
想象门店试用新的排班推荐器。若同一门店里一半主管看到建议、另一半看不到,主管会互相商量;未处理员工也可能采用建议。对照组不再代表“完全未受影响”的状态,处理差异被稀释。把门店作为随机化单位,可让同店成员共享版本,并将版本按门店记录。
簇随机化并不自动消除所有干扰。若一家门店的顾客跨店购物、教师互相交流,或推荐内容在社交网络传播,簇与簇之间仍可能互相影响。先用流程图或真实流量图定义干扰边界;必要时扩大簇、隔离部分样本,或把结论限定为当前分配政策下的效果。
02 组内相关为何让样本量“缩水”?#
簇内相关系数(intracluster correlation coefficient, ICC,常写作 )描述同簇两名成员的结果相似程度。设每个簇有 名用户,每名用户结果的方差为 ;同簇不同用户的协方差为 。一个簇的结果总和方差为
若这些用户彼此独立,总和方差只是 。所以同样 人作为一簇,相对于独立抽样的方差膨胀因子为
称为设计效应(design effect)。总用户数为 时,粗略有效样本量(effective sample size)是 。这不是说数据真的变少,而是说相似成员提供的独立信息重复了。
| 每簇人数 | ICC | 设计效应 | 1000 人的粗略有效样本量 |
|---|---|---|---|
| 20 | 0 | 1.00 | 1000 |
| 20 | 0.02 | 1.38 | 725 |
| 20 | 0.08 | 2.52 | 397 |
| 20 | 0.20 | 4.80 | 208 |
特别要留意簇大小的代价:即使 很小, 增大也会累积相关性。多招一批同店顾客,往往不如多招几家门店有用。
03 手算:计划的 786 名独立用户,簇随机化后要多少?#
上一篇的例子需要 393 名可分析用户/臂,即总计 786 人。现在假设平均每簇 人,历史数据估得 。设计效应为
按这个简化近似,簇设计的用户数预算约为 ,即至少 1981 名可分析用户。逐臂计算为 ,因此每臂需向上取整为 991 人。若簇大小固定为 20,向上取整需要每臂 个簇,实际每臂 1000 名用户,共 100 个簇。原先每臂 393 人若仍只招 20 个簇左右,其信息量明显不足。
注意两个数量不能混为一谈: 近似描述信息量,实际招募计划还要按完整簇向上取整、补偿簇退出,并保证每臂有足够多的独立簇。多加簇通常优于扩大已有簇。设计效应只处理平衡等簇的均值指标近似;簇大小不等、二元比例、基线调整或配对设计都可能改变公式。
04 不依赖统计黑盒:纯 Python 设计预算器#
输入是独立随机化假设下的每臂基准人数 base_per_arm、平均簇大小 mean_cluster_size 和预先估计的 ICC icc。输出为设计效应、膨胀后的每臂用户预算、每臂整簇数及实际总用户数。下面假设两臂簇大小固定且相等,没有簇级流失;它是预算器,不估计处理效果,也不替代正式功效模拟。
from math import ceil
def cluster_sample_budget(
base_per_arm: int,
mean_cluster_size: int,
icc: float,
) -> dict[str, float | int]:
if base_per_arm <= 0 or mean_cluster_size <= 0:
raise ValueError("sample sizes must be positive")
if not 0.0 <= icc <= 1.0:
raise ValueError("icc must be between 0 and 1")
design_effect = 1.0 + (mean_cluster_size - 1) * icc
required_people_per_arm = ceil(base_per_arm * design_effect)
clusters_per_arm = ceil(required_people_per_arm / mean_cluster_size)
recruited_people_per_arm = clusters_per_arm * mean_cluster_size
return {
"design_effect": design_effect,
"required_people_per_arm": required_people_per_arm,
"clusters_per_arm": clusters_per_arm,
"recruited_people_total": 2 * recruited_people_per_arm,
}
print(cluster_sample_budget(393, 20, 0.08))
# design_effect=2.52, required_people_per_arm=991,
# clusters_per_arm=50, recruited_people_total=2000python逐臂向上取整后,代码为了每臂都能容纳整数个 20 人簇,结果是 2000 人。required_people_per_arm 和实际整簇招募数因此不同。这个差距来自取整,不应把整簇数再四舍五入向下。
生产数据中的 ICC 应来自同一指标、相似单位和相似时间窗,最好用历史盲态数据估计并做敏感性分析;不能用本次 treatment 差异反推一个更小的 ICC。ICC 的估计本身有不确定性,特别是簇很少时。高低 ICC、多种簇大小和退出率都应进入模拟情景,而不是只报一个漂亮的点估计。
05 工程落地:簇 ID、分配日志和分析计划要成套#
| 要记录的字段 | 作用 | 最常见遗漏 |
|---|---|---|
experiment_id, allocation_version | 重放该轮分配配置 | 热更新后只保留最新版本 |
cluster_id, unit_id, arm | 连接随机化簇与用户结果 | 分析表只留下用户 ID |
assignment_time, exposure_time | 区分分配和实际接触处理 | 把曝光过滤当作随机化样本 |
outcome_window, metric_version | 固定结果观察口径 | treatment 与 control 用不同成熟窗口 |
cluster_exit_reason | 追踪整簇缺失与流失 | 只统计仍营业的门店 |
先按预定义规则生成簇,再在簇层面随机化;保留每簇分配及所有成员关系;最后按意向处理原则(intention-to-treat, ITT)保留原始被分配簇,不因成员未实际使用功能而偷偷换臂。若业务问题只关心实际使用者效果,需要另行定义因果估计目标与识别假设。
训练/评估管道的 split 也需要按簇划分:同一门店或家庭的记录不能散落到训练集和测试集,否则模型可能记住簇特征,测试指标会虚高。若模型特征含 cluster_id,还要判断它是真正线上可用的信号还是代理变量。随机化设计与模型数据切分共享同一个边界,但各自回答的问题不同。
键盘可展开:复核设计效应与整簇取整
20 人一簇且 ICC 为 0.08 时,DE = 1 + 19 × 0.08 = 2.52。每臂 393 名独立样本约膨胀至 991 人,再向上取整为 50 个 20 人簇,即每臂 1000 人。键盘聚焦摘要后按 Enter 或 Space 可展开这一步。
本篇计算只使用 Python 标准库的 math.ceil,因为它是透明的设计效应近似,不需要可更新的机器学习 API。它返回“簇预算”,不是效应量、置信区间或 p 值。正式分析必须按簇级数据计算不确定性;簇数少时不能照搬用户级正态近似。
06 常见失败与调试顺序#
- 簇边界太小:处理影响跨簇传播。查看真实社交、组织或服务关系,而不是只看数据库主键。
- 簇数不足:总用户很多,但只覆盖几家门店。按臂列出簇数,先问能否增加独立簇,再考虑增加簇内用户。
- 只乘设计效应:设计效应不能弥补簇级自由度太小、处理/对照簇失衡或严重簇流失。把实际分配机制带入模拟。
- 簇大小不均仍用平均数公式:极大簇可能主导用户加权效果,简单 不再精确;在设计阶段模拟真实簇大小,报告 cluster-weighted 与 individual-weighted 估计目标。
- 结果表丢了
cluster_id:恢复分配日志与成员关系后再分析。若无法恢复,用户级独立性无法验证,应把推断标为受限,而不是默认独立。 - 簇间仍有干扰:做地理隔离、缓冲区或网络暴露检查;无法避免时,将估计对象改成明确的政策效应或采用能建模暴露映射的设计。
07 与相近设计的边界#
| 方法 | 在哪一层操作 | 主要解决什么 | 需要额外注意 |
|---|---|---|---|
| 用户级随机化 | 用户/账号 | 个体独立且干预不互相影响 | 重复请求按用户聚合 |
| 分层随机化 | 先按基线分组,再层内分配 | 小样本中平衡已知协变量 | 分析时保留层级权重 |
| 簇随机化 | 家庭/门店/学校/区域 | 减少簇内干扰、便于整组部署 | ICC、簇数与小样本推断 |
| Switchback | 门店/区域 × 时间段 | 同一实体不同时间切换版本 | 时间趋势、洗脱期和序列相关 |
上一篇的 CUPED 是分析阶段用处理前协变量降方差;分层随机化是在设计阶段平衡协变量;簇随机化则同时改变分配单位和相关结构。它们可以组合,但需在方案中同时写清估计对象、随机化方案和标准误。
思考练习#
- 每簇 12 人、ICC 为 0.05,设计效应是多少?若原本每臂需 500 人,近似要预算多少人/臂?
- 同一家医院的患者分在两臂,医生会把新流程也用于对照患者。哪条随机化边界更合理?仍可能残留什么簇间干扰?
- 预计能招很多顾客,却只能招 8 家门店。与其把每店样本翻倍,你会优先争取什么?为何设计效应没有完整回答这个问题?
延伸阅读#
- Donner & Klar, Design and Analysis of Cluster Randomization Trials in Health Research (2000) ↗ — 簇随机试验的设计与分析专著。
- Eldridge, Ashby & Kerry, Sample size for cluster randomized trials: effect of coefficient of variation of cluster size and analysis method (2006) ↗ — 簇大小变异如何改变样本计划。
- Hayes & Moulton, Cluster Randomised Trials (2017, 2nd ed.) ↗ — 簇随机研究的完整设计与分析框架。
- Imai, King & Nall, The Essential Role of Pair Matching in Cluster-Randomized Experiments, with Application to the Mexican Universal Health Insurance Evaluation (2009) ↗ — 配对如何提高簇随机实验效率。