怎样区分自己的处理与邻居溢出?两阶段饱和度随机化
先随机社群的处理比例,再随机社群内个人;用手算概率拆开直接效果与溢出效果。
上一篇讲了如何依据处理前关系图构造实验簇,并提醒簇边界仍会泄漏传播。本篇把下一步落实为随机化方案:先把社群随机到不同的处理饱和度,再在每个社群内随机个人。这样,同样处于处理或控制的人可以有不同的邻居处理密度,才有机会把自身效果和溢出效果分开。
01 为什么单层 A/B 把两个效果揉在一起?#
在没有干扰的个体实验中,常把用户 的结果写作 ,只由自己的处理分配 决定。若好友处理也能影响他,结果至少要写成 ; 表示邻居处理暴露,例如三位好友中被分配处理的人数。
**随机饱和度设计(randomized saturation design)**用两层随机化制造更多、已知的暴露机会:
flowchart LR
A[预处理定义的社群与关系图] --> B[阶段一:随机社群饱和度 p_c]
B --> C[阶段二:群内独立分配个人 Z_i ~ Bernoulli p_c]
C --> D[记录本人分配与邻居暴露 G_i]
D --> E[按随机化概率估计直接效果]
D --> F[比较不同 p 下控制用户估计溢出]
E --> G[预注册权重与簇级不确定性]
F --> Gmermaid第一阶段抽到的是社群的处理概率 ,不是保证每个社群恰好有比例 的用户接受处理。第二阶段按此概率独立分配个人,实际处理比例会有二项波动。若业务要求每个社群精确固定 人处理,条件概率与可识别对比都要按固定名额重新计算,不能复用 Bernoulli 公式。
02 变量、暴露和目标效果#
设社群 有 位用户,第一阶段从预设集合 中随机选择 。第二阶段对群内每个 独立抽取 。
用 表示用户 的邻居中接受处理的人数; 是实验前冻结的邻居集合。结果写成 ,其中 是自己的分配, 是邻居处理人数。若用户度数差别很大,可用邻居比例或分箱暴露,但必须事前选定口径。
- 固定饱和度下的直接效果(direct effect):在同一个社群处理概率 下,比较 与 。要让个人分配独立于邻居状态,使同一 下两种自身分配都可能发生。
- 控制用户的溢出效果(spillover effect):比较本人都处于 时,低/高饱和度社群中不同邻居暴露对应的结果。
- 政策或总体效果(policy/total effect):比较社群全体按 与 分配后,包含本人处理和邻居溢出的总体结果变化。
估计“ 政策优于 ”与估计“固定邻居处理人数后,本人的处理是否有效”不是同一个问题;实验前要选定主目标和总体权重。
03 手算:四人社群里的暴露概率#
考虑完全连接的 4 人社群,每个人有 3 位邻居。某社群被分到 ,4 人独立做公平分配。对焦点用户,“本人为控制,恰有 1 位邻居处理”的概率是:
“本人为处理,恰有 1 位邻居处理”的概率同样是 。对称性来自本人分配与邻居分配独立,所以该设计支持固定 的直接比较。
若社群只允许恰好两人处理,任何处理者都有 1 位处理邻居,任何控制者都有 2 位处理邻居。 与 不可能同时出现;固定 的直接效果在该固定配额设计中没有支持。两臂观察结果的差不能称为纯直接效果。
再看均值。设一个教学用结果模型 ,即本人处理贡献 2,三位邻居中每一位处理贡献 。在 社群,平均本人处理比例为 .25、平均处理邻居数为 .75,期望结果是 。在 社群,期望是 。政策差 3 中,本人处理比例变化贡献 1,邻居暴露变化贡献 2。系数是教学设定,不是数据估计或真实效果。
04 用标准库枚举概率:输入设计,输出每种暴露#
程序枚举四人社群在给定 下的所有 种分配,按 Bernoulli 规则赋权,再汇总焦点用户的“本人分配、处理邻居数”。它计算设计支持而不读取结果,适合在实验前检查正值性。
from itertools import product
from collections import defaultdict
from math import comb
def exposure_probabilities(p, n=4, focal=0):
if not 0.0 < p < 1.0:
raise ValueError("require 0 < p < 1")
probabilities = defaultdict(float)
for z in product((0, 1), repeat=n):
treated = sum(z)
assignment_prob = p**treated * (1 - p)**(n - treated)
peer_count = sum(z[j] for j in range(n) if j != focal)
probabilities[(z[focal], peer_count)] += assignment_prob
return dict(sorted(probabilities.items()))
at_half = exposure_probabilities(0.5)
print(at_half[(0, 1)], at_half[(1, 1)])
# 0.1875 0.1875
p, n, g = 0.5, 4, 1
analytic = (1 - p) * comb(n - 1, g) * p**g * (1 - p)**(n - 1 - g)
print(analytic)
# 0.1875python输入 、社群大小 与焦点编号 ;输出各暴露状态的联合分配概率。product 枚举 0/1 向量,treated 给整条向量的 Bernoulli 概率,peer_count 只统计预定义邻居。完全连接使非焦点成员都是邻居;真实网络要传入邻接表,并明确是否把自己排除在暴露之外。
这段程序只展示群内第二阶段。第一阶段每种饱和度有概率 ;联合暴露概率需乘上第一阶段概率,并按实际分层、配额和有限簇随机规则计算。若每种饱和度只有一个社群,社群政策和社群自身差异无法可靠区分;每个第一阶段条件都需要足够社群重复。
05 从暴露概率到估计,不把曝光人群当随机样本#
若用户 进入目标暴露状态 的概率为 ,一个设计型总体均值估计为:
是状态指示量, 是目标用户数。两个状态均值之差可估直接或溢出对比,前提是概率为正、暴露映射有意义,并对依赖结构使用合适的方差方法。Hájek 归一化权重可降低有限样本不稳定性,但估计量和推断方式应预先写入分析计划。
直接筛选“实际点击过处理推荐的人”通常不保留随机可比性:点击取决于活跃度、兴趣与好友行为。主分析先按随机分配计算意向处理效果;使用/曝光效果是另一个因果问题,需要额外设计与假设。
| 设计阶段 | 记录内容 | 为什么必要 |
|---|---|---|
| 社群随机化 | experiment_id、community_id、saturation_arm、阶段一概率、版本 | 重建社群层随机概率 |
| 个人分配 | unit_id、分配臂、随机化时间、分配日志 | 区分 assignment 与采用 |
| 暴露构造 | 图版本、邻居定义、窗口、G_i、规则版本 | 复算直接/溢出状态 |
| 结果定义 | 指标版本、观察窗口、缺失与退出状态 | 防止改变分母和成熟时间 |
| 分析推断 | 目标 estimand、权重、簇数、方差算法 | 防止把个体数当独立样本数 |
06 常见错误与失败边界#
- 把第一阶段概率当成准确人数比例:Bernoulli 会有组内波动;固定配额要重新推导暴露概率。
- 每个饱和度只给一个社群:饱和度与社群身份混在一起;需要足够多可随机比较的社群。
- 把邻居人数与比例混用:度数不同的人会被分到不同刻度;预先固定暴露分箱并做敏感性分析。
- 暴露状态没有正概率:高/低饱和度仍可能不支持某个精确邻居计数;合并状态须依据业务机制且在看结果前决定。
- 簇间仍有许多关系边:部分干扰假设不成立;做图边界诊断并限定估计目标。
- 用处理后关系图定义主暴露:处理会改变关系;主分析使用预处理图,处理后变化另作机制结果。
- 把个体数量当自由度:处理概率在社群层随机化,社群数才是阶段一对比的重要独立单位。
- 只报加权均值,不看极端权重:报告每状态概率、实际人数、最大权重和簇覆盖率。
若稀有状态概率极低,Horvitz–Thompson 权重会很大、方差不稳。设计可减少饱和度种类、扩大各条件社群数或调整暴露分箱;不能在结果出来后删掉不显著状态。若传播跨多个社区或依赖时间路径,简单 可能不足以摘要现实,应设计更贴合机制的映射或收窄结论。
键盘可展开:为什么控制用户更多不等于溢出效应更小?
人数由两阶段随机概率与缺失共同决定,原始均值没有自动按目标人群加权。估计溢出效应要固定本人的分配、定义邻居暴露、计算设计概率,并在社群依赖下推断。Tab 聚焦摘要后按 Enter 或 Space 展开;窄屏上可点按。
与相近方法的边界#
| 方法 | 第一阶段 | 第二阶段 | 主要目标 |
|---|---|---|---|
| 个体 A/B | 无社群饱和度随机 | 个体随机 | 干扰弱时的总体分配效应 |
| 整簇随机化 | 社群分到全处理或全控制 | 无或整簇执行 | 整体政策效果,强调簇间隔离 |
| 两阶段饱和度 | 社群随机到多个 | 群内个人随机 | 不同密度下的直接与溢出效果 |
| 固定配额分流 | 可有或无社群随机 | 固定恰好 人处理 | 控制人数,但暴露支持需重算 |
| Switchback | 实体/时间块随机政策 | 时间内执行 | 跨用户或跨时段传播的替代方案 |
分层随机不是自动解决干扰的快捷方式;它改变的是分配与暴露支持。两阶段随机化也不自动保证低偏差:第一阶段簇数、关系图完整度、暴露映射和方差估计都要匹配设计。
思考练习#
- 5 人完全连接社群在 下,焦点用户自己控制且恰有 2 位处理邻居的概率是多少?写出二项系数和本人分配概率。
- 两个社群分别使用 与 ,但每种概率各只有一家门店。即使各有 10,000 名用户,为什么政策效果仍可能无法与门店差异分开?
- 若平台强制每个社群恰好一半用户处理,哪一项 Bernoulli 公式失效?如何按合法分配重新枚举暴露支持?
延伸阅读#
- Hudgens & Halloran, Toward Causal Inference With Interference (2008) ↗ — 部分干扰下直接、间接、总体与总效应的定义。
- Basse & Feller, Analyzing Two-Stage Experiments in the Presence of Interference (2018) ↗ — 两阶段设计下干扰效应与推断。
- Imai, Jiang & Malani, Causal Inference With Interference and Noncompliance in Two-Stage Randomized Experiments (2021) ↗ — 两阶段随机化、依从性与溢出效应。
- Aronow & Samii, Estimating Average Causal Effects Under General Interference (2017) ↗ — 暴露映射和设计型总体效应估计。
上一篇把强传播边尽量留在实验簇内;本篇说明如何在簇内制造多种处理密度与暴露状态。下一步可把功效规划扩展到簇数、阶段二概率与稀有暴露支持的联合设计。