观文听傑

返回

随机试验人群与上线目标人群通过效应修饰变量连接的示意图随机试验人群与上线目标人群通过效应修饰变量连接的示意图

上一篇把 CATE 变成有预算和群体覆盖限制的分配规则。那些规则默认一个关键前提:训练效应的人群与真正要服务的人群足够相似。可产品试点常先覆盖活跃用户、城市门店或愿意参加实验的人;上线对象却可能更少活跃、地域更广,或设备更旧。即使试验内部随机化完全正确,试验平均效应也未必等于上线后的平均效应。

本篇只回答:**已知试验人群与目标人群在处理前特征上不同,怎样估计目标人群的平均处理效应?**我们用标准化和逆试验参与概率加权说明识别条件、估计量、诊断和可复核实现。

01 先区分随机分配与随机入选#

令 Si=1S_i=1 表示用户进入试验,Si=0S_i=0 表示只属于目标人群;Ti∈{0,1}T_i\in\{0,1\} 是试验中的随机处理,YiY_i 是结果,Xi∈RpX_i\in\mathbb R^p 是处理前变量。试验随机化保证在 S=1S=1 内,TT 与潜在结果独立;它不保证 SS 与潜在结果独立。换句话说,随机试验解决组间可比,不会自动让试验志愿者代表上线用户。

要把效应运到目标人群,需明确:

  1. **一致性:**试验中的处理版本与计划上线的处理版本含义相同。
  2. **条件效应可迁移:**给定已测量的效应修饰变量 XX,试验与目标人群的潜在结果均值差相同:E[Y(1)−Y(0)∣X,S=1]=E[Y(1)−Y(0)∣X,S=0]E[Y(1)-Y(0)\mid X,S=1]=E[Y(1)-Y(0)\mid X,S=0]。
  3. **参与重叠:**目标人群中会出现的 XX 区域,在试验里也有样本;否则试验不能告诉我们那个区域的效果。
  4. **变量在处理前:**不能用处理后活跃度、点击或留存来“修正”人群差异。

这些是领域假设,不会因为模型 AUC 高、权重平衡好就自动成立。未测量的效应修饰因子仍可能阻断运输。

flowchart LR
  A[试验样本 S=1: X,T,Y] --> B[估计试验内效果 τ(x)]
  C[目标样本 S=0: X] --> D[目标 X 分布]
  B --> E[按目标分布标准化]
  D --> E
  E --> F[目标人群 ATE]
  A --> G[参与概率与权重诊断]
  C --> G
mermaid

试验数据形状为 Xs:[n,p],Ts:[n],Ys:[n]X_s:[n,p],T_s:[n],Y_s:[n];目标协变量为 Xt:[m,p]X_t:[m,p],通常没有目标样本的处理结果。目标效应是

τt=E[Y(1)−Y(0)∣S=0]=EX∣S=0[τ(X)].\tau_t=E[Y(1)-Y(0)\mid S=0] =E_{X\mid S=0}[\tau(X)].

02 两种等价视角:标准化与重加权#

**标准化(standardization)**先在试验里估计条件效应 τ^(x)\hat\tau(x),再对每名目标用户预测并平均:

τ^std=1m∑j:Sj=0τ^(Xj).\hat\tau_{std}=\frac1m\sum_{j:S_j=0}\hat\tau(X_j).

若试验已知随机分配概率,可先拟合处理组与对照组结果模型,算 m^1(x)−m^0(x)\hat m_1(x)-\hat m_0(x)。结果模型须能覆盖目标特征范围;标准化不需要把目标样本伪装成试验参与者。

**重加权(inverse odds of sampling weights)**则把试验行重新加权,使其效应修饰变量分布接近目标。设 es(x)=P(S=1∣X=x)e_s(x)=P(S=1\mid X=x),且试验、目标样本按已知抽样比例混合,则目标对试验的密度比正比于

w(x)=P(S=0∣X=x)P(S=1∣X=x)=1−es(x)es(x).w(x)=\frac{P(S=0\mid X=x)}{P(S=1\mid X=x)} =\frac{1-e_s(x)}{e_s(x)}.

对随机试验中的每个处理组分别估计加权均值,得到

τ^w=∑i:Si=1wiTiYi∑i:Si=1wiTi−∑i:Si=1wi(1−Ti)Yi∑i:Si=1wi(1−Ti).\hat\tau_w=\frac{\sum_{i:S_i=1}w_iT_iY_i}{\sum_{i:S_i=1}w_iT_i} -\frac{\sum_{i:S_i=1}w_i(1-T_i)Y_i}{\sum_{i:S_i=1}w_i(1-T_i)}.

试验与目标样本的抽样比例会给所有权重乘上同一个常数,在组内归一化时抵消。若数据采用复杂抽样或不同抽样框,必须带入相应抽样权重,不能套用简单混合样本公式。

六行手算#

假设每行代表同样大小的人群小格,XX 只有“高活跃/低活跃”。试验招募高活跃用户较多,但上线目标以低活跃为主:

活跃度试验人数试验内处理均值试验内对照均值目标人数
高8012820
低206480

试验 ATE 是 0.8×4+0.2×2=3.60.8\times4+0.2\times2=3.6。目标 ATE 却是 0.2×4+0.8×2=2.40.2\times4+0.8\times2=2.4。每个活跃层内部的效果没有变,差异只来自目标用户构成。

在合并样本中,高活跃试验参与率为 80/(80+20)=0.880/(80+20)=0.8,低活跃为 20/(20+80)=0.220/(20+80)=0.2。参与赔率的倒数分别是 0.250.25 与 44;各自将试验层内归一化后,目标权重比例为 0.2 和 0.8,复得 2.4。权重变大是因为目标群体更常见,不表示低活跃用户的数据本身更多。

03 可运行的纯 Python 加权估计器#

以下函数接收每名试验参与者的二元处理、结果和目标/试验密度比;输出目标 ATE、两组加权均值及有效样本量。输入均为长度 nn 的一维序列,行顺序必须一致。估计“如何得到密度比”的模型与估计效应分开,便于先用已知抽样概率手算核对。

真实数据一般没有已知分层概率。可把试验和目标的处理前特征纵向合并,以 SS 为标签拟合参与分类器;若训练分类器时样本比例与目标总体比例不同,预测赔率需按真实抽样比例修正。类别变量编码、缺失值处理和标准化必须仅在相应训练折拟合。目标样本需要覆盖这些处理前协变量,但不需要伪造目标结果。

04 诊断重点:平衡、有效样本量与外推#

诊断怎么看警报意味着什么
效应修饰变量选择用领域知识列出会改变处理效果的处理前变量只平衡一般预后因素未必足以运输效应
加权平衡比较加权后试验组与目标组的均值、分位数和类别比例残余差异可能来自参与模型错设
权重尾部查看最大值、分位数及各处理组权重总和少量试验对象可能决定整个目标效应
有效样本量ESS=(∑iwi)2/∑iwi2ESS=(\sum_iw_i)^2/\sum_iw_i^2,按处理臂分别算名义试验数大,实际信息可能很少
支持范围检查目标样本是否落在试验特征的共同范围无试验支持处只能外推或改变目标人群

把极端权重截断通常能降低方差,却会引入偏差;它也可能把估计目标改成“更像试验的人”。同时报告原始与截断敏感性,并明确目标人群变化。加权后协变量平衡只是可测量特征的检查,不能证明没有未测量效应修饰因素。

05 常见错误与调试顺序#

  • **把随机试验内部有效性当成外部有效性。**先分别画出试验和目标的关键效应修饰变量分布。
  • **只按处理组重加权但忽略目标构成。**参与模型的分类标签、合并样本抽样比例与目标定义须一致。
  • **使用处理后变量预测是否入选。**这会把处理影响混入选择机制,破坏解释。
  • **密度比爆炸仍报告精确小数。**先看权重分布、分臂 ESS 和共同支持;模型无法补回没有的目标/试验重叠。
  • **把非显著当作可运输。**小样本下检验效应差异的功效很低;可迁移性依赖机制与变量选择依据。
  • **置信区间只把权重当已知。**参与概率是估计出来的时,简单加权标准误会漏掉不确定性;应使用适合设计的影响函数或重抽样,并在重抽样中重拟参与模型。

调试时从最简单的分层标准化开始:复核每个 XX 层的试验处理—对照效应,再按目标层比例加权。结果正确后再换连续变量模型,并比较标准化与密度比估计。如果二者差异大,先查变量支持、目标样本框、抽样权重和结果模型外推,而不是选更乐观的答案。

06 与相近方法的边界#

方法改变的对象不能解决什么
AIPW / 双重稳健估计试验或观察数据内的处理分配不自动修复试验样本的选择偏差
倾向得分匹配处理组与对照组的已测协变量可比性不会让试验志愿者代表目标人群
目标人群标准化把试验内条件效应按目标 XX 分布平均需要结果/效应模型可靠外推
参与赔率加权让试验参与者模拟目标协变量分布极端权重与未测效应修饰仍存在
元分析汇总多个研究的证据按精度加权不等于对指定上线人群运输

07 思考练习#

  1. 若试验中的两个人群效应分别为 +4+4、+2+2,上线比例从 20/80 变成 70/30,目标 ATE 如何变化?什么假设让这个加权有因果解释?
  2. 参与模型得到一个目标用户的试验参与概率为 0.01。该用户的目标/试验赔率是多少?如果试验里完全没有这一类用户,赔率计算是否足以识别其处理效应?
  3. 你要把一次城市试点迁移到全国。请列出三个处理前效应修饰因素、一个可能的未测因素,以及能获得的目标人群数据来源。

相关工作#

  1. Stuart et al., The use of propensity scores to assess the generalizability of results from randomized trials ↗:讨论用参与倾向评估随机试验结果的可推广性。
  2. Dahabreh et al., Study Designs for Extending Causal Inferences From a Randomized Trial to a Target Population ↗:梳理嵌套与非嵌套设计中的目标人群效应识别。
  3. Cole & Stuart, Generalizing Evidence From Randomized Clinical Trials to Target Populations ↗:以标准化等方法讨论随机试验证据外推。
  4. Kern et al., Evaluating the Generalizability of Trial Results: A Review and Discussion of New Approaches ↗:回顾试验结果推广的设计和估计方法。

08 下一篇预告#

目标人群的平均效应能帮助判断整体项目是否值得扩展,却还不足以比较“选择一部分人服务”的策略。下一篇会把目标人群运输与离线策略评估接起来:如何同时校正日志处理概率、目标人群构成,并对冻结的个体化规则估计价值。

试验有效,换一批用户还有效吗?因果效应的目标人群运输
https://zwjcode.cn/blog/causal-effect-transport-target-population
作者 傑
发布于 2026年10月23日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。