试验有效,换一批用户还有效吗?因果效应的目标人群运输
从试验人群与上线人群的差异出发,推导目标人群平均处理效应的标准化和选择权重,用手算例与纯 Python 实现检查运输条件。
上一篇把 CATE 变成有预算和群体覆盖限制的分配规则。那些规则默认一个关键前提:训练效应的人群与真正要服务的人群足够相似。可产品试点常先覆盖活跃用户、城市门店或愿意参加实验的人;上线对象却可能更少活跃、地域更广,或设备更旧。即使试验内部随机化完全正确,试验平均效应也未必等于上线后的平均效应。
本篇只回答:**已知试验人群与目标人群在处理前特征上不同,怎样估计目标人群的平均处理效应?**我们用标准化和逆试验参与概率加权说明识别条件、估计量、诊断和可复核实现。
01 先区分随机分配与随机入选#
令 表示用户进入试验, 表示只属于目标人群; 是试验中的随机处理, 是结果, 是处理前变量。试验随机化保证在 内, 与潜在结果独立;它不保证 与潜在结果独立。换句话说,随机试验解决组间可比,不会自动让试验志愿者代表上线用户。
要把效应运到目标人群,需明确:
- **一致性:**试验中的处理版本与计划上线的处理版本含义相同。
- **条件效应可迁移:**给定已测量的效应修饰变量 ,试验与目标人群的潜在结果均值差相同:。
- **参与重叠:**目标人群中会出现的 区域,在试验里也有样本;否则试验不能告诉我们那个区域的效果。
- **变量在处理前:**不能用处理后活跃度、点击或留存来“修正”人群差异。
这些是领域假设,不会因为模型 AUC 高、权重平衡好就自动成立。未测量的效应修饰因子仍可能阻断运输。
flowchart LR
A[试验样本 S=1: X,T,Y] --> B[估计试验内效果 τ(x)]
C[目标样本 S=0: X] --> D[目标 X 分布]
B --> E[按目标分布标准化]
D --> E
E --> F[目标人群 ATE]
A --> G[参与概率与权重诊断]
C --> Gmermaid试验数据形状为 ;目标协变量为 ,通常没有目标样本的处理结果。目标效应是
02 两种等价视角:标准化与重加权#
**标准化(standardization)**先在试验里估计条件效应 ,再对每名目标用户预测并平均:
若试验已知随机分配概率,可先拟合处理组与对照组结果模型,算 。结果模型须能覆盖目标特征范围;标准化不需要把目标样本伪装成试验参与者。
**重加权(inverse odds of sampling weights)**则把试验行重新加权,使其效应修饰变量分布接近目标。设 ,且试验、目标样本按已知抽样比例混合,则目标对试验的密度比正比于
对随机试验中的每个处理组分别估计加权均值,得到
试验与目标样本的抽样比例会给所有权重乘上同一个常数,在组内归一化时抵消。若数据采用复杂抽样或不同抽样框,必须带入相应抽样权重,不能套用简单混合样本公式。
六行手算#
假设每行代表同样大小的人群小格, 只有“高活跃/低活跃”。试验招募高活跃用户较多,但上线目标以低活跃为主:
| 活跃度 | 试验人数 | 试验内处理均值 | 试验内对照均值 | 目标人数 |
|---|---|---|---|---|
| 高 | 80 | 12 | 8 | 20 |
| 低 | 20 | 6 | 4 | 80 |
试验 ATE 是 。目标 ATE 却是 。每个活跃层内部的效果没有变,差异只来自目标用户构成。
在合并样本中,高活跃试验参与率为 ,低活跃为 。参与赔率的倒数分别是 与 ;各自将试验层内归一化后,目标权重比例为 0.2 和 0.8,复得 2.4。权重变大是因为目标群体更常见,不表示低活跃用户的数据本身更多。
03 可运行的纯 Python 加权估计器#
以下函数接收每名试验参与者的二元处理、结果和目标/试验密度比;输出目标 ATE、两组加权均值及有效样本量。输入均为长度 的一维序列,行顺序必须一致。估计“如何得到密度比”的模型与估计效应分开,便于先用已知抽样概率手算核对。
from math import sqrt
def transported_ate(treatment, outcome, target_to_trial_ratio):
n = len(outcome)
if n == 0 or len(treatment) != n or len(target_to_trial_ratio) != n:
raise ValueError("三个输入必须是同长度非空序列")
if any(t not in (0, 1) for t in treatment):
raise ValueError("treatment 只能含 0/1")
if any(w < 0 for w in target_to_trial_ratio):
raise ValueError("密度比不能为负")
def arm_mean(arm):
rows = [(y, w) for t, y, w in zip(
treatment, outcome, target_to_trial_ratio
) if t == arm]
total_w = sum(w for _, w in rows)
if total_w == 0:
raise ValueError(f"处理组 {arm} 没有正权重样本")
estimate = sum(y * w for y, w in rows) / total_w
ess = total_w ** 2 / sum(w ** 2 for _, w in rows)
return estimate, ess
treated_mean, treated_ess = arm_mean(1)
control_mean, control_ess = arm_mean(0)
return {
"target_ate": treated_mean - control_mean,
"treated_mean": treated_mean,
"control_mean": control_mean,
"treated_ess": treated_ess,
"control_ess": control_ess,
}
# 每层展开为若干试验对象;层内处理比例均为 1/2。
# 目标/试验密度比:高活跃 20/80,低活跃 80/20。
t = [1, 0] * 40 + [1, 0] * 10
y = [12, 8] * 40 + [6, 4] * 10
ratio = [0.25] * 80 + [4.0] * 20
print(transported_ate(t, y, ratio))
# target_ate = 2.4;加权处理均值 7.2,对照均值 4.8python真实数据一般没有已知分层概率。可把试验和目标的处理前特征纵向合并,以 为标签拟合参与分类器;若训练分类器时样本比例与目标总体比例不同,预测赔率需按真实抽样比例修正。类别变量编码、缺失值处理和标准化必须仅在相应训练折拟合。目标样本需要覆盖这些处理前协变量,但不需要伪造目标结果。
04 诊断重点:平衡、有效样本量与外推#
| 诊断 | 怎么看 | 警报意味着什么 |
|---|---|---|
| 效应修饰变量选择 | 用领域知识列出会改变处理效果的处理前变量 | 只平衡一般预后因素未必足以运输效应 |
| 加权平衡 | 比较加权后试验组与目标组的均值、分位数和类别比例 | 残余差异可能来自参与模型错设 |
| 权重尾部 | 查看最大值、分位数及各处理组权重总和 | 少量试验对象可能决定整个目标效应 |
| 有效样本量 | ,按处理臂分别算 | 名义试验数大,实际信息可能很少 |
| 支持范围 | 检查目标样本是否落在试验特征的共同范围 | 无试验支持处只能外推或改变目标人群 |
把极端权重截断通常能降低方差,却会引入偏差;它也可能把估计目标改成“更像试验的人”。同时报告原始与截断敏感性,并明确目标人群变化。加权后协变量平衡只是可测量特征的检查,不能证明没有未测量效应修饰因素。
05 常见错误与调试顺序#
- **把随机试验内部有效性当成外部有效性。**先分别画出试验和目标的关键效应修饰变量分布。
- **只按处理组重加权但忽略目标构成。**参与模型的分类标签、合并样本抽样比例与目标定义须一致。
- **使用处理后变量预测是否入选。**这会把处理影响混入选择机制,破坏解释。
- **密度比爆炸仍报告精确小数。**先看权重分布、分臂 ESS 和共同支持;模型无法补回没有的目标/试验重叠。
- **把非显著当作可运输。**小样本下检验效应差异的功效很低;可迁移性依赖机制与变量选择依据。
- **置信区间只把权重当已知。**参与概率是估计出来的时,简单加权标准误会漏掉不确定性;应使用适合设计的影响函数或重抽样,并在重抽样中重拟参与模型。
调试时从最简单的分层标准化开始:复核每个 层的试验处理—对照效应,再按目标层比例加权。结果正确后再换连续变量模型,并比较标准化与密度比估计。如果二者差异大,先查变量支持、目标样本框、抽样权重和结果模型外推,而不是选更乐观的答案。
06 与相近方法的边界#
| 方法 | 改变的对象 | 不能解决什么 |
|---|---|---|
| AIPW / 双重稳健估计 | 试验或观察数据内的处理分配 | 不自动修复试验样本的选择偏差 |
| 倾向得分匹配 | 处理组与对照组的已测协变量可比性 | 不会让试验志愿者代表目标人群 |
| 目标人群标准化 | 把试验内条件效应按目标 分布平均 | 需要结果/效应模型可靠外推 |
| 参与赔率加权 | 让试验参与者模拟目标协变量分布 | 极端权重与未测效应修饰仍存在 |
| 元分析 | 汇总多个研究的证据 | 按精度加权不等于对指定上线人群运输 |
07 思考练习#
- 若试验中的两个人群效应分别为 、,上线比例从 20/80 变成 70/30,目标 ATE 如何变化?什么假设让这个加权有因果解释?
- 参与模型得到一个目标用户的试验参与概率为 0.01。该用户的目标/试验赔率是多少?如果试验里完全没有这一类用户,赔率计算是否足以识别其处理效应?
- 你要把一次城市试点迁移到全国。请列出三个处理前效应修饰因素、一个可能的未测因素,以及能获得的目标人群数据来源。
相关工作#
- Stuart et al., The use of propensity scores to assess the generalizability of results from randomized trials ↗:讨论用参与倾向评估随机试验结果的可推广性。
- Dahabreh et al., Study Designs for Extending Causal Inferences From a Randomized Trial to a Target Population ↗:梳理嵌套与非嵌套设计中的目标人群效应识别。
- Cole & Stuart, Generalizing Evidence From Randomized Clinical Trials to Target Populations ↗:以标准化等方法讨论随机试验证据外推。
- Kern et al., Evaluating the Generalizability of Trial Results: A Review and Discussion of New Approaches ↗:回顾试验结果推广的设计和估计方法。
08 下一篇预告#
目标人群的平均效应能帮助判断整体项目是否值得扩展,却还不足以比较“选择一部分人服务”的策略。下一篇会把目标人群运输与离线策略评估接起来:如何同时校正日志处理概率、目标人群构成,并对冻结的个体化规则估计价值。