门店只有 12 家,怎样先配成 6 对再随机?配对簇实验的效应估计
把基线相近的门店配成对,在每对内随机处理与对照;推导配对差、自由度和设计一致的精确检验。
上一篇说明,门店随机实验只有 8 家店时,顾客再多也不会增加独立簇数;簇级自由度和实际分配空间决定推断分辨率。如果 12 家门店的历史客流与转化差异很大,直接随机 6 对 6 可能让偶然的不平衡吞掉处理信号。
本篇只讲一种设计:先用处理前信息把相似门店配成 6 对,再在每对里随机一店处理、一店对照。重点是配对如何改变估计量、手算不确定性和随机化空间;配对变量必须在看处理结果前确定。下一篇库存继续在线实验路线;这里把“随机化单位是簇”从少簇分析推回实验如何安排分配。
01 先匹配,再在对内抛硬币#
匹配(matching)依据处理前协变量,为相似簇组成一对。可用干预前平均指标、规模或地理位置计算距离;也可按预先规则在同一区域配对。随后每对独立抛一次公平硬币,决定哪家处理、哪家对照。若共有 P 对,合法分配空间只有 2^P 种,而非从 2P 家里任意挑 P 家处理的 C(2P,P) 种。
匹配只使用处理前信息。若用本次处理后的指标“挑最相似的对”,处理分配和结果已经共同决定配对,随机化分析失去原来的概率结构。配对也不保证所有变量平衡;它用设计阶段的自由度换取对关键基线差异的控制。
flowchart LR
A[冻结处理前协变量与指标窗口] --> B[计算门店相似度]
B --> C[固定配对并保存 pair_id]
C --> D[每对内随机一店处理一店对照]
D --> E[记录配对处理结果 Y_T]
D --> F[记录配对对照结果 Y_C]
E --> G[计算配对差 D_p]
F --> G
G --> H[按配对差分析或枚举 2^P 分配]mermaid每对贡献一个差值 D_p=Y_p,T−Y_p,C。平均配对效果是:
若关心平均门店效果且配对等权,这个估计量简单透明。若门店规模差别大、目标是平均顾客效果,直接取配对差均值会改变目标;要在设计与分析前定义人数权重及其不确定性。
02 手算 4 对差值:共同波动怎样抵消?#
假设 4 对相似门店的“处理减对照”转化变化(百分点)为 [2,3,1,4],平均差为 2.5。差值样本方差是:
标准误 SE=s_D/√P=√(5/12)≈0.645,配对 t 统计量约为 2.5/0.645=3.87,自由度 P−1=3。要用自由度 3 的 t 分布,不能因为每店几千顾客就改用几万自由度。
| 配对 p | 基线相似度(示意) | 处理结果 | 对照结果 | D_p |
|---|---|---|---|---|
| 1 | 客流接近 | 12 | 10 | 2 |
| 2 | 同一区域、同营业时段 | 15 | 12 | 3 |
| 3 | 前期转化都偏低 | 9 | 8 | 1 |
| 4 | 前期转化都偏高 | 18 | 14 | 4 |
配对差比较同一对内两店,许多共同地理或季节背景会相消。但只有 4 对时,离群差值影响很大,正态近似也很难检查。精确随机化检验给出另一种参照:固定观察到的结果,在每对内翻转处理/对照标签,比较所有允许符号组合产生的平均差。
from itertools import product
def paired_randomization_p(pair_differences):
"""每对一处理一对照;双侧 sharp-null 随机化检验。"""
if not pair_differences:
raise ValueError("at least one matched pair is required")
observed = sum(pair_differences) / len(pair_differences)
extreme = 0
total = 0
for signs in product((-1.0, 1.0), repeat=len(pair_differences)):
permuted = sum(
sign * difference
for sign, difference in zip(signs, pair_differences)
) / len(pair_differences)
total += 1
if abs(permuted) >= abs(observed) - 1e-12:
extreme += 1
return {
"effect": observed,
"extreme_assignments": extreme,
"valid_assignments": total,
"p_value": extreme / total,
}
print(paired_randomization_p([2.0, 3.0, 1.0, 4.0]))
# effect=2.5, extreme_assignments=2, valid_assignments=16, p_value=0.125python输入是 P 个处理减对照差值;输出平均差、极端分配数、合法分配数与双侧 p 值。itertools.product 枚举 2^P 个符号翻转,对应每对独立抛硬币。4 对共有 16 种,只有整体同方向的两个最极端分配达到绝对均值差 2.5,所以 p=0.125。它与配对 t 检验不矛盾:两者依据不同,精确检验针对“每个门店都没有处理效应”的尖锐零假设,配对 t 使用差值近似分布。
03 配对为何可能省样本,也可能帮倒忙?#
若匹配变量能预测结局,配对差的方差会下降,可能以更少用户达到同等精度;但随机化自由度来自 P 个独立配对。配得更多不会凭空增加配对数。若 6 对里有一对因门店停业而缺失,剩余门店不再是原定完整配对,不能随意搬去凑新对。
| 做法 | 设计空间 | 分析对象 | 主要边界 |
|---|---|---|---|
| 完全随机簇分配 | C(2P,P) | 两臂簇差或簇级模型 | 基线不平衡可能较大 |
| 配对簇随机化 | 2^P | P 个差值及配对区组 | 自由度受配对数限制 |
| 分层簇随机化 | 各层内合法分配 | 层内估计并按目标加权 | 稀疏层会损失自由度 |
| 个体匹配后个体随机 | 个体/组内分配 | 个体层配对差 | 不解决整簇交叉污染 |
可执行的匹配流程是:只用冻结日之前数据;选择少数能预测主要结局、且不会被处理改变的协变量;检查配对距离和配对前后的标准化差异;锁定 pair_id 与权重;最后在 pair 内分配并保存随机种子、算法版本。若最后一对差异远大于其他对,应在设计阶段使用分层或受限随机化,而不是假装它也相似。
04 工程记录和常见错误#
分配日志至少保存 experiment_id、pair_id、cluster_id、arm、assignment_time、匹配数据截止时间、距离指标版本和随机种子。分析表保留 pair_id;若合并后丢失这列,配对结构也丢失。普通用户级检验会把匹配带来的协方差扔掉,还会误把用户当成独立随机单位。
调试顺序:
- 用预先冻结的处理前窗口重建匹配;不能把处理后变量加入匹配。
- 对每个 pair_id 检查恰有两个簇、各臂一个。
- 保存配对与分配版本;缺失按预设方案报告,不事后换搭档。
- 报告 P 个配对差和 P−1 的简单配对 t 自由度;复杂模型还会调整参数。
- 画配对差点图;若差值偏态,同时给出依分配方案的随机化敏感性分析。
- 不把精确 p 值当平均效应置信区间;区间还需假设反演或模型推断。
本篇仅用 Python 标准库枚举分配空间,不依赖统计 API。生产分析若使用 R、Python 包或内部平台,核实其配对、自由度和随机化语义;函数名有 paired 并不能证明实现匹配了真实设计。
键盘可展开:复算四对门店的随机化空间
四对各有 2 种合法分配,所以共有 2⁴=16 种。只有所有配对差都保持同一方向的两个分配达到观察到的均值差,双侧 p=2/16=0.125。Tab 聚焦摘要后按 Enter 或 Space 可展开。
与相近方法的边界#
配对不是 CUPED:CUPED 在分析阶段用处理前协变量调整结果;配对在分配前改变簇之间可以互换的方式。配对也不是观察性研究里的事后倾向评分匹配:每对仍通过随机抛硬币分臂,处理概率已知。匹配变量预测力弱时配对不一定提升效率;稀疏分层反而可能降低自由度。
上一页讲如何从少量簇中计算可信的不确定性;本页讲怎样在分配前减少偶然差异,但 6 对仍不是 600 个独立单位。实验方案应写清目标效果、匹配字段、配对算法、随机化空间、主分析与缺簇处理,以便上线后重放同一决策。
思考练习#
- 8 对门店一共有哪些对内随机分配?3 对差值 [1,2,3] 会枚举多少种符号组合?
- 两家店基线差异远大于其他对。能否看到结果后拆开重配?设计时可以怎样处理?
- 每对内只随机一店接受处理,为什么不能将全部门店任意挑一半重新分组?
延伸阅读#
- Imai, King & Nall, The Essential Role of Pair Matching in Cluster-Randomized Experiments (2009) ↗ — 配对簇设计的设计型估计和方法边界。
- Raab & Butcher, Balance in Cluster Randomized Trials (2001) ↗ — 地理簇随机化中的配对与平衡。
- Hayes & Moulton, Cluster Randomised Trials (2017, 2nd ed.) ↗ — 簇随机试验设计与分析。
- Kahan et al., Increased risk of type I errors in cluster randomised trials with small or medium numbers of clusters (2016) ↗ — 少量簇数下的推断风险。