门店大小差很多,实验到底在平均谁?簇大小不等与加权估计目标
从同一组门店的用户平均与门店平均出发,拆解簇大小不等时的估计目标、聚合权重、推断与审计。
上一篇把相似门店配成对,再在每对里随机一家处理、一家对照;更早的簇随机化文章还提醒我们,簇大小不等时,简单的设计效应公式可能失准。现在把一个常被代码默认掉的问题摆到前面:一家有 10 位用户、另一家有 1000 位用户时,报告中的“平均效果”到底让每家门店等权,还是让每位顾客等权?
本篇只讲清这一个核心:权重不是格式选择,而是在定义谁的效果被平均。我们先用两个门店手算两种目标,再写出透明的聚合和审计代码;下一篇会继续讨论当用户之间仍互相影响时,处理分配之外还必须记录怎样的暴露。
01 同一批门店,两个都合理的平均数#
簇(cluster)是随机化单位;这里一簇就是一家门店。第 家店有 位用户,其中 位完成购买。门店转化率为 , 表示门店 的第 位顾客是否购买。
| 门店 | 分配 | 顾客数 | 购买数 | 转化率 |
|---|---|---|---|---|
| A | 处理 | 10 | 8 | 80% |
| B | 处理 | 100 | 40 | 40% |
| C | 对照 | 10 | 6 | 60% |
| D | 对照 | 100 | 30 | 30% |
平均门店(cluster-weighted)效果先在每家门店算率,再让四家店各占相同权重:
结果是 +15 个百分点。它回答“从这类门店中随机抽一家,平均门店的转化率变化多少?”
平均顾客(individual-weighted)效果先把各臂人数与购买数分别加总:
结果约为 +10.91 个百分点。它回答“从这些门店的顾客中随机抽一位,平均顾客的转化率变化多少?”A、C 两家小店在第一种算法里各占一半,在第二种算法里只各占十分之一;数值不同是目标不同,不是算术冲突。
这里的率是每位顾客一个二元结果。若业务结果是每家门店的总收入,或顾客会重复出现,必须先固定结果单位和观察窗口;不能因为数据库有一行就把它叫作一个独立人。
02 公式里的权重,实际改变了什么?#
令 表示簇分配, 是在全局政策 下顾客 的潜在结果, 是门店平均潜在结果。若目标是平均门店的政策效果,有限样本目标是
其中 是门店数。若目标是平均顾客的政策效果,则是
这些量用的是处理潜在结果和对照潜在结果:同一家店不能在现实中同时观测两者,所以实际估计依赖随机分配。不能把上表四个观察到的率当作每家店的完整反事实。随机化让分配臂的比较有因果含义;估计量如何加权,则确定这次实验要回答哪一个总体问题。
一项研究还可能关心“实验招募到的所有门店”的平均,或“未来目标顾客”的平均。若纳入门店并非目标总体的概率样本,随机化本身不会自动让结论外推到未参与门店。写报告时要把随机分配支持的内部因果比较和招募样本对外部人群的代表性分开。
flowchart LR
A[冻结目标总体与结果单位] --> B{每个对象权重代表谁}
B -->|每店同权| C[计算簇均值 再比较分配臂]
B -->|每位顾客同权| D[按顾客汇总分配臂结果]
C --> E[检查簇数与簇级不确定性]
D --> E
E --> F[报告估计对象 权重和招募范围]mermaid流程伪代码:
输入:每个随机化簇的 arm、用户数 n_j、事件数 s_j
验证:每簇只有一个 arm,且 0 <= s_j <= n_j
若目标是平均门店:先算 s_j / n_j,再按簇等权比较 arm
若目标是平均顾客:分别累加 s_j 与 n_j,再比较 arm 总率
输出:两种目标、每臂簇数、每臂用户数;按实际随机化方案做推断plaintext这段流程把“每个簇一行”的表作为输入;它不从用户行数推断独立样本数,也不在选择估计目标之后偷偷改变权重。
03 手算检查:一个大簇会把顾客平均拉向哪里?#
处理臂的总顾客数为 ,总购买数为 ,故顾客平均是 。门店平均却是 。差异来自 B 店人数是 A 店十倍,而转化率更低;人均目标因此更受 B 店影响。
对照臂同理:总人数 110、总购买数 36,顾客平均 ,门店平均 。前后两臂用同一种目标计算,得到上节的 10.91 与 15 个百分点。
**注意这个演示的边界:**四家店展示了同一张观察表在两种权重下会得出不同描述量。要把差异解释成可推广的因果效应,需要依照真实随机方案定义目标、估计量与不确定性;不能把小样本表格当成随机化检验的替代品。
04 透明的 Python 汇总:同时输出两种目标#
输入是每个随机化簇的 arm、用户数 n 和事件数 events;输出两种臂差、臂内率以及簇数。以下代码只做描述性聚合,不估计置信区间,也不把用户行当作独立随机化单位。
from collections import defaultdict
clusters = [
{"cluster": "A", "arm": "treatment", "n": 10, "events": 8},
{"cluster": "B", "arm": "treatment", "n": 100, "events": 40},
{"cluster": "C", "arm": "control", "n": 10, "events": 6},
{"cluster": "D", "arm": "control", "n": 100, "events": 30},
]
def summarize(clusters):
by_arm = defaultdict(list)
for row in clusters:
if row["n"] <= 0 or not 0 <= row["events"] <= row["n"]:
raise ValueError("each cluster needs 0 <= events <= n and n > 0")
by_arm[row["arm"]].append(row)
result = {}
for arm, rows in by_arm.items():
store_rate = sum(r["events"] / r["n"] for r in rows) / len(rows)
people_rate = sum(r["events"] for r in rows) / sum(r["n"] for r in rows)
result[arm] = {
"clusters": len(rows),
"people": sum(r["n"] for r in rows),
"store_rate": store_rate,
"people_rate": people_rate,
}
return {
"by_arm": result,
"effect_store_weighted": (
result["treatment"]["store_rate"] - result["control"]["store_rate"]
),
"effect_person_weighted": (
result["treatment"]["people_rate"] - result["control"]["people_rate"]
),
}
print(summarize(clusters))
# store-weighted effect = 0.15
# person-weighted effect = 0.1090909...pythondefaultdict(list) 只是按分配臂收集簇记录;store_rate 是先算簇率再等权平均,people_rate 是先累加人数与事件数。函数输入是一行一个簇,因此调用前若数据仍是一行一个用户,需先依据 cluster_id 聚合,并核对每簇分配唯一。输出中的 clusters 与 people 不能混称样本数。
在实际实验中,不要用这个均值函数假装两臂差有可靠标准误。若有足够多随机化簇,可以按簇级分配方案做设计型方差估计,或拟合含簇结构且适合簇数规模的模型;若簇很少,则沿用上一篇讲的受限随机化推断,并如实报告离散 p 值与假设。配对设计要保留 pair_id,在配对差上推断,而非把簇洗牌成完全随机。
05 谁在改变?簇大小不等与信息性簇大小#
若门店大小在分配前确定,大小不等首先造成估计目标差别:按店等权与按顾客等权平均的对象不同。若门店规模还与潜在结果相关,例如繁忙大店有不同的顾客结构,这种差别会更明显。研究者要预先选择要代表“平均门店”还是“平均顾客”,并报告两种估计作为预设敏感性分析,而不是看到数值后选择更有利的权重。
另一个问题是信息性簇大小(informative cluster size):簇人数与簇结果或处理效果相关。比如处理本身改变客流或停留时长,实验后的 n_j 已被处理影响;把处理后的实际人数直接当固定权重,比较的便可能是受处理影响的条件总体。此时简单按人数加权不再只是精度选择,它可能改变甚至混淆因果问题。
实务上的起点:用分配前冻结的簇规模描述分层和功效;把分配后人流、曝光数当结果或机制变量单独监控;主要估计量使用预先确定的分母和目标;对簇退出、零人流和缺失定义处置。若目标是每位实际到店顾客的效应,而处理可能影响谁会到店,应请实验设计者明确该后处理选择问题,不能靠重加权自动修复。
| 现象 | 可能含义 | 排查或处理 |
|---|---|---|
| 处理前簇大小不同 | 估计目标或精度差异 | 预注册目标权重;报告每臂簇数与大小分布 |
| 簇大小预测基线结果 | 大簇更可能主导顾客平均 | 仅用处理前规模做分层、协变量调整或敏感性分析 |
| 处理后用户数明显变化 | 分母可能是处理后变量 | 将流量变化单独作为结果,避免把它当固定权重 |
| 少数巨型簇占大多数用户 | 顾客加权估计方差可能由少数簇决定 | 报告逐簇贡献、留一簇敏感性和簇级区间 |
| 只有几个随机化簇 | 用户总量掩盖设计自由度 | 复核真实分配空间并采用小簇推断 |
06 工程数据契约:权重可以从日志重建#
每次实验至少保留 experiment_id、allocation_version、cluster_id、arm、pair_id(若配对)、assignment_time、冻结的簇规模、用户身份、结果窗口和指标版本。分析输入表应能重建“一簇一臂、一用户在窗口内只有一条主分析记录”。
- 从分配日志重建随机化簇,而不是从结果表推测簇。
- 比较每臂簇数、簇规模分位数和结果缺失率;只看总用户数会隐藏少数大簇。
- 用同一批簇并行计算门店权重与顾客权重,核对极端簇对估计值的贡献。
- 画每簇点图或逐簇删除(leave-one-cluster-out)敏感性图;若删掉一家店就翻转结论,报告应反映这一点。
- 将主估计目标、权重、方差估计和缺簇规则写入不可变分析配置,并保存代码与数据版本。
键盘可展开:逐家删除的敏感性怎样读
对每家门店轮流重算主估计量,比较删除前后的效应方向与幅度。它不是新的显著性检验,也不能用来选择“最合理”的结果;它显示结论是否由某一簇支撑。原生 details 可用 Tab 聚焦摘要、Enter 或 Space 展开。
常见错误是用 pandas.DataFrame.mean() 直接对用户行求平均,却没有验证每行是不是独立单位;或在配对实验里丢掉配对标识;又或在数据清洗中删掉空结果门店后,忘了这改变了簇集合。调试先打印按簇聚合后的前几行,再打印两臂簇数与总用户数,最后才看汇总效果。
07 与相近方法的边界#
| 方法/权重 | 每个对象的隐含权重 | 所回答的问题 | 核心边界 |
|---|---|---|---|
| 簇等权均值 | 每个随机化簇相同 | 平均门店/学校效果 | 大小很不一样时不等于平均顾客 |
| 个体结果直接汇总 | 每位用户相同 | 平均招募用户结果 | 推断仍需尊重簇随机化 |
| 分层随机化 | 设计阶段控制层内分配 | 让已知基线类别平衡 | 不自动决定主估计权重 |
| CUPED | 用处理前协变量降低方差 | 在既定估计目标下提升精度 | 不能修补错误的分析单位或处理后权重 |
| 配对簇随机化 | 以配对作为分配区组 | 用配对差抵消共同变化 | 推断自由度来自配对数 |
随机化、加权和标准误是三件相连但不同的事:随机化决定什么对比有因果解释;权重决定总体平均谁;方差方法决定对不确定性作何假设。三者需要一致,却不能互相替代。
思考练习#
- 两家处理门店分别是 5/10 与 50/100 次购买,两家对照门店是 4/10 与 20/100。计算门店等权和顾客等权的差;它们分别代表谁?
- 新功能可能增加到店人数。为什么把实验后的门店客流当作固定权重,可能改变因果问题?可以把哪一项另行定义为结果?
- 若 12 对门店先配对再随机,主分析决定按顾客加权。你还需要在日志和推断代码里保留什么结构?
延伸阅读#
- Eldridge, Ashby & Kerry, Sample size for cluster randomized trials: effect of coefficient of variation of cluster size and analysis method (2006) ↗ — 簇大小变异与功效规划。
- Kerry & Bland, The intracluster correlation coefficient in cluster randomisation (1998) ↗ — 簇随机试验中组内相关的解释。
- Imai, King & Nall, The Essential Role of Pair Matching in Cluster-Randomized Experiments (2009) ↗ — 配对簇设计的估计与随机化。
- Hayes & Moulton, Cluster Randomised Trials (2017, 2nd ed.) ↗ — 簇随机研究的完整设计和分析框架。
上一篇讨论了在分配前配对门店;本文说明规模差异会让“平均效果”有不同含义。下一篇转向另一个假设:即使随机化单位选对了,处理也可能沿着用户关系传播,我们怎样量化每个人实际处在何种处理暴露下?