观文听傑

返回

相似门店两两相连,每对中一个分到处理、一个分到对照相似门店两两相连,每对中一个分到处理、一个分到对照

上一篇说明,门店随机实验只有 8 家店时,顾客再多也不会增加独立簇数;簇级自由度和实际分配空间决定推断分辨率。如果 12 家门店的历史客流与转化差异很大,直接随机 6 对 6 可能让偶然的不平衡吞掉处理信号。

本篇只讲一种设计:先用处理前信息把相似门店配成 6 对,再在每对里随机一店处理、一店对照。重点是配对如何改变估计量、手算不确定性和随机化空间;配对变量必须在看处理结果前确定。下一篇库存继续在线实验路线;这里把“随机化单位是簇”从少簇分析推回实验如何安排分配。

01 先匹配,再在对内抛硬币#

匹配(matching)依据处理前协变量,为相似簇组成一对。可用干预前平均指标、规模或地理位置计算距离;也可按预先规则在同一区域配对。随后每对独立抛一次公平硬币,决定哪家处理、哪家对照。若共有 P 对,合法分配空间只有 2^P 种,而非从 2P 家里任意挑 P 家处理的 C(2P,P) 种。

匹配只使用处理前信息。若用本次处理后的指标“挑最相似的对”,处理分配和结果已经共同决定配对,随机化分析失去原来的概率结构。配对也不保证所有变量平衡;它用设计阶段的自由度换取对关键基线差异的控制。

flowchart LR
  A[冻结处理前协变量与指标窗口] --> B[计算门店相似度]
  B --> C[固定配对并保存 pair_id]
  C --> D[每对内随机一店处理一店对照]
  D --> E[记录配对处理结果 Y_T]
  D --> F[记录配对对照结果 Y_C]
  E --> G[计算配对差 D_p]
  F --> G
  G --> H[按配对差分析或枚举 2^P 分配]
mermaid

每对贡献一个差值 D_p=Y_p,T−Y_p,C。平均配对效果是:

τ^pair=Dˉ=1P∑p=1PDp.\hat\tau_{pair}=\bar D=\frac{1}{P}\sum_{p=1}^{P}D_p.

若关心平均门店效果且配对等权,这个估计量简单透明。若门店规模差别大、目标是平均顾客效果,直接取配对差均值会改变目标;要在设计与分析前定义人数权重及其不确定性。

02 手算 4 对差值:共同波动怎样抵消?#

假设 4 对相似门店的“处理减对照”转化变化(百分点)为 [2,3,1,4],平均差为 2.5。差值样本方差是:

sD2=(2−2.5)2+(3−2.5)2+(1−2.5)2+(4−2.5)24−1=53≈1.667.s_D^2=\frac{(2-2.5)^2+(3-2.5)^2+(1-2.5)^2+(4-2.5)^2}{4-1} =\frac{5}{3}\approx1.667.

标准误 SE=s_D/√P=√(5/12)≈0.645,配对 t 统计量约为 2.5/0.645=3.87,自由度 P−1=3。要用自由度 3 的 t 分布,不能因为每店几千顾客就改用几万自由度。

配对 p基线相似度(示意)处理结果对照结果D_p
1客流接近12102
2同一区域、同营业时段15123
3前期转化都偏低981
4前期转化都偏高18144

配对差比较同一对内两店,许多共同地理或季节背景会相消。但只有 4 对时,离群差值影响很大,正态近似也很难检查。精确随机化检验给出另一种参照:固定观察到的结果,在每对内翻转处理/对照标签,比较所有允许符号组合产生的平均差。

输入是 P 个处理减对照差值;输出平均差、极端分配数、合法分配数与双侧 p 值。itertools.product 枚举 2^P 个符号翻转,对应每对独立抛硬币。4 对共有 16 种,只有整体同方向的两个最极端分配达到绝对均值差 2.5,所以 p=0.125。它与配对 t 检验不矛盾:两者依据不同,精确检验针对“每个门店都没有处理效应”的尖锐零假设,配对 t 使用差值近似分布。

03 配对为何可能省样本,也可能帮倒忙?#

若匹配变量能预测结局,配对差的方差会下降,可能以更少用户达到同等精度;但随机化自由度来自 P 个独立配对。配得更多不会凭空增加配对数。若 6 对里有一对因门店停业而缺失,剩余门店不再是原定完整配对,不能随意搬去凑新对。

做法设计空间分析对象主要边界
完全随机簇分配C(2P,P)两臂簇差或簇级模型基线不平衡可能较大
配对簇随机化2^PP 个差值及配对区组自由度受配对数限制
分层簇随机化各层内合法分配层内估计并按目标加权稀疏层会损失自由度
个体匹配后个体随机个体/组内分配个体层配对差不解决整簇交叉污染

可执行的匹配流程是:只用冻结日之前数据;选择少数能预测主要结局、且不会被处理改变的协变量;检查配对距离和配对前后的标准化差异;锁定 pair_id 与权重;最后在 pair 内分配并保存随机种子、算法版本。若最后一对差异远大于其他对,应在设计阶段使用分层或受限随机化,而不是假装它也相似。

04 工程记录和常见错误#

分配日志至少保存 experiment_id、pair_id、cluster_id、arm、assignment_time、匹配数据截止时间、距离指标版本和随机种子。分析表保留 pair_id;若合并后丢失这列,配对结构也丢失。普通用户级检验会把匹配带来的协方差扔掉,还会误把用户当成独立随机单位。

调试顺序:

  1. 用预先冻结的处理前窗口重建匹配;不能把处理后变量加入匹配。
  2. 对每个 pair_id 检查恰有两个簇、各臂一个。
  3. 保存配对与分配版本;缺失按预设方案报告,不事后换搭档。
  4. 报告 P 个配对差和 P−1 的简单配对 t 自由度;复杂模型还会调整参数。
  5. 画配对差点图;若差值偏态,同时给出依分配方案的随机化敏感性分析。
  6. 不把精确 p 值当平均效应置信区间;区间还需假设反演或模型推断。

本篇仅用 Python 标准库枚举分配空间,不依赖统计 API。生产分析若使用 R、Python 包或内部平台,核实其配对、自由度和随机化语义;函数名有 paired 并不能证明实现匹配了真实设计。

键盘可展开:复算四对门店的随机化空间

四对各有 2 种合法分配,所以共有 2⁴=16 种。只有所有配对差都保持同一方向的两个分配达到观察到的均值差,双侧 p=2/16=0.125。Tab 聚焦摘要后按 Enter 或 Space 可展开。

与相近方法的边界#

配对不是 CUPED:CUPED 在分析阶段用处理前协变量调整结果;配对在分配前改变簇之间可以互换的方式。配对也不是观察性研究里的事后倾向评分匹配:每对仍通过随机抛硬币分臂,处理概率已知。匹配变量预测力弱时配对不一定提升效率;稀疏分层反而可能降低自由度。

上一页讲如何从少量簇中计算可信的不确定性;本页讲怎样在分配前减少偶然差异,但 6 对仍不是 600 个独立单位。实验方案应写清目标效果、匹配字段、配对算法、随机化空间、主分析与缺簇处理,以便上线后重放同一决策。

思考练习#

  1. 8 对门店一共有哪些对内随机分配?3 对差值 [1,2,3] 会枚举多少种符号组合?
  2. 两家店基线差异远大于其他对。能否看到结果后拆开重配?设计时可以怎样处理?
  3. 每对内只随机一店接受处理,为什么不能将全部门店任意挑一半重新分组?

延伸阅读#

门店只有 12 家,怎样先配成 6 对再随机?配对簇实验的效应估计
https://zwjcode.cn/blog/matched-pair-cluster-randomization
作者 傑
发布于 2026年10月9日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。