观文听傑

返回

倾向加权路径与结果预测路径汇合为平均处理效应的示意图倾向加权路径与结果预测路径汇合为平均处理效应的示意图

上一篇用倾向得分(Propensity Score)把观测研究里的处理组和对照组重新加权:如果某类人本来很少接受处理,却实际进入了处理组,他们就获得更大的权重。这样能修正“谁接受处理”与已观测特征有关造成的偏差,但当估计的处理概率接近 0 或 1 时,权重会剧烈放大噪声。

本篇接着回答一个问题:**能否再用结果预测补一条信息通道,让估计不完全押在倾向模型上?**答案是增广逆概率加权(Augmented Inverse Probability Weighting,AIPW)。它把结果模型的预测作为底座,再用逆概率加权的预测残差做校正。下面聚焦 AIPW 的平均处理效应(Average Treatment Effect,ATE)、双重稳健性与交叉拟合实现。

01 两个模型各自解决什么问题?#

设每个独立单位有处理前特征 Xi∈RpX_i\in\mathbb{R}^p、处理指示 Ti∈{0,1}T_i\in\{0,1\} 和观测结果 Yi∈RY_i\in\mathbb{R}。共有 NN 行,因此 XX 的形状为 [N,p][N,p],T,YT,Y 的形状均为 [N][N]。潜在结果(Potential Outcomes)Yi(1),Yi(0)Y_i(1),Y_i(0) 分别表示同一单位接受与不接受处理时的结果;现实中只能观察到 Yi=TiYi(1)+(1−Ti)Yi(0)Y_i=T_iY_i(1)+(1-T_i)Y_i(0)。

  • 倾向得分 e(x)=P(T=1∣X=x)e(x)=P(T=1\mid X=x):给出具有特征 xx 的单位进入处理组的概率;
  • 结果回归 ma(x)=E[Y∣T=a,X=x]m_a(x)=E[Y\mid T=a,X=x]:预测特征为 xx 且处于处理状态 aa 时的平均结果,a∈{0,1}a\in\{0,1\}。

逆概率加权(Inverse Probability Weighting,IPW)依赖 e(x)e(x) 重建可比人群;结果回归(Outcome Regression)则分别预测 m1(x)m_1(x) 和 m0(x)m_0(x),再平均个体预测差。前者容易受极端权重影响,后者若函数形式错了就可能残留偏差。AIPW 把两种误差结构组合起来。

flowchart LR
  X[处理前特征 X: N×p] --> E[倾向模型 e(X): N]
  X --> M1[结果模型 m1(X): N]
  X --> M0[结果模型 m0(X): N]
  T[处理 T: N] --> R[只取已观测结果残差]
  Y[观测结果 Y: N] --> R
  E --> C[IPW 残差校正]
  M1 --> P[预测差 m1-m0]
  M0 --> P
  R --> C
  C --> S[逐行 AIPW 分数 ψ: N]
  P --> S
  S --> A[均值 ATE 与标准误]
mermaid

箭头里的 N×pN\times p 表示每行一个单位、每列一个处理前特征。三个模型输出一维向量;它们没有把未观察到的个体结果“补成真值”,而是共同构造估计量。

02 公式里的残差为何能校正预测差?#

对每个单位定义 AIPW 分数:

ψi=m^1(Xi)−m^0(Xi)+Tie^(Xi){Yi−m^1(Xi)}−1−Ti1−e^(Xi){Yi−m^0(Xi)}.\psi_i=\hat m_1(X_i)-\hat m_0(X_i) +\frac{T_i}{\hat e(X_i)}\{Y_i-\hat m_1(X_i)\} -\frac{1-T_i}{1-\hat e(X_i)}\{Y_i-\hat m_0(X_i)\}.
  • m^1−m^0\hat m_1-\hat m_0:用结果模型对所有人做同一人群上的预测差;
  • T/e^T/\hat e:只有实际接受处理的人,才用处理组残差校正 m^1\hat m_1;
  • (1−T)/(1−e^)(1-T)/(1-\hat e):只有实际未处理的人,才用对照组残差校正 m^0\hat m_0;
  • 每个大括号是预测误差,权重把“在该状态下被观察到的人”扩展到目标人群。

最后取平均:τ^AIPW=N−1∑iψi\hat\tau_{AIPW}=N^{-1}\sum_i\psi_i。若某单位的结果模型预测得准,残差项接近零,分数主要靠预测差;若倾向模型正确,逆概率残差校正的条件期望会抵消错误结果模型的部分偏差。这就是双重稳健性(Doubly Robustness):在一致性、无未测混杂、正值性成立且相关条件满足时,只要倾向模型或结果模型至少一个正确设定,估计量仍可一致。

“双重”不代表两种偏差互相神奇抵消,也不代表两模型都错时仍然有效。有限样本的均方误差、区间覆盖率和结果依然可能很差。

03 四个人怎样手算残差修正?#

设处理和结果如下,模型对每个人给出的倾向概率和潜在结果预测为:

单位 iiTiT_iYiY_ie^i\hat e_im^1(Xi)\hat m_1(X_i)m^0(Xi)\hat m_0(X_i)
11100.7595
2170.6084
3040.4073
4030.2562

四人的预测差都是 44,结果模型单独给出的 ATE 是 44。第 1 人实际接受处理,预测残差为 10−9=110-9=1,因此 ψ1=4+1/0.75=5.333\psi_1=4+1/0.75=5.333。第 2 人的残差为 7−8=−17-8=-1,所以 ψ2=4−1/0.60=2.333\psi_2=4-1/0.60=2.333。

第 3、4 人是对照组,分别有 ψ3=4−(4−3)/(1−0.40)=2.333\psi_3=4-(4-3)/(1-0.40)=2.333、ψ4=4−(3−2)/(1−0.25)=2.667\psi_4=4-(3-2)/(1-0.25)=2.667。平均后 τ^=(5.333+2.333+2.333+2.667)/4=3.167\hat\tau=(5.333+2.333+2.333+2.667)/4=3.167。

校正不是“把结果模型改得更好看”:每个人残差的影响方向由观测处理状态决定,权重由该状态本来有多罕见决定。若概率只有 0.05,残差会乘 20;这是估计信息不足的警报,而非可以忽略的实现细节。

展开核对:对照组为何出现负号?

对照组只观测到 Y(0)Y(0),其残差可以校正 m0m_0。ATE 是“处理潜在结果减去对照潜在结果”,因此被校正的 m0m_0 要从分数中减去,得到 −(1−T)/(1−e)⋅(Y−m0)-(1-T)/(1-e)\cdot(Y-m_0)。若把它写成加号,会朝相反方向校正。

04 怎样把它变成训练数据流?#

完整计算分成 nuisance estimation(干扰参数估计)和目标参数估计两段:

输入 X[N,p], T[N], Y[N]
       │
       ├─按 T 分层切成 K 折
       │    └─对每折:只在 K-1 折拟合 e、m1、m0
       │                 在留出折生成 e_hat[Nk], m1_hat[Nk], m0_hat[Nk]
       ├─拼接所有折外预测,保证每行预测都来自没见过该行的模型
       ├─检查 e_hat 的范围、两组支持和极端校正权重
       ├─按 ψ_i 公式生成 [N] 分数
       └─均值、影响分数标准误、置信区间和诊断表
text

交叉拟合(Cross-fitting)让每个单位的预测来自未用它训练的模型,降低灵活模型在训练样本上的过拟合偏差。它不是数据泄漏许可证:填补、标准化、变量筛选和调参也必须只在训练折拟合。若模型选择过多,应在训练折内嵌套验证,或预先冻结方案。

05 用 NumPy 与 scikit-learn 写连续结果的最小版本#

以下例子使用当前 scikit-learn 的 LogisticRegression 估计二元处理倾向、LinearRegression 分别估计两种处理状态的连续结果均值。输入 X[N,p] 为已经完成缺失处理的数值特征,T[N] 只含 0/1,Y[N] 是连续结果;输出为 ATE、近似标准误、区间和逐行分数。它不是一个万能的因果推断包,而是把估计步骤显式展开。

这里三种 *_hat 都是 [N] 折外预测;score 也是 [N],均值是标量 ATE。predict_proba(Xte) 返回 [N_test, 2],列必须通过 classes_ 定位,不能假设第 2 列永远代表处理组。LinearRegression.fit(X,y) 解连续结果的最小二乘预测;对于二元结果,可换成分类器并取“结果为 1”的概率列,但仍要在各折中确保处理组内有两个结果类别。

scikit-learn 当前 LogisticRegression 默认带正则化且需要关注收敛;max_iter 增大只能帮助迭代收敛,不能修复完全分离、错误特征或缺乏重叠。当前 LinearRegression 接受二维特征矩阵与一维目标。上面使用数值特征以便突出估计公式;类别编码、缺失值插补、缩放等预处理须封装在每折各自拟合的 Pipeline 中,避免整数据预处理造成信息泄漏。

06 标准误与目标人群有什么关系?#

在独立同分布、模型估计满足相应渐近条件时,可以用逐行 AIPW 分数的样本标准差除以 N\sqrt{N} 得到一个简单的 IID 标准误。区间写为 τ^±1.96SE^\hat\tau\pm1.96\widehat{SE},只是正态近似,不适用于所有样本量与设计。

若处理按门店、学校或家庭随机,单位之间可能相关,应按随机化/抽样簇计算方差或做簇级重抽样,不能把同簇个体当独立样本。若数据按时间重复测量,标准误也需反映序列依赖。估计目标同样要先说清:AIPW 上式针对目标样本的 ATE;删掉低倾向分数样本或重定义重叠人群会改变目标人群,报告时不能仍称作原总体 ATE。

07 四类诊断能发现什么?#

  1. **共同支持:**画处理组与对照组的 e^(X)\hat e(X) 分布;若两组几乎不重叠,模型是在外推而非比较相似人群。
  2. **权重与有效样本量:**检查 1/e^1/\hat e、1/(1−e^)1/(1-\hat e) 和残差校正项的分位数、最大值;对归一化权重 ww 可算 ESS=(∑w)2/∑w2ESS=(\sum w)^2/\sum w^2。ESS 很低时,名义样本量会掩盖少数行支配估计。
  3. **加权平衡:**比较处理前协变量的加权均值/标准化差异,而非只看倾向模型 AUC。预测处理组很准可能说明处理选择强,恰恰是重叠困难。
  4. **敏感性:**改变 clip 阈值、结果模型复杂度、协变量集与折数,记录估计、区间、裁剪比例和每组 ESS。若结论随一个小阈值大幅变化,必须呈现这种不稳定。

clip=0.02 只是示例阈值,不存在普适的“安全”截断值。裁剪改变了权重方程,可能引入偏差;它不等价于自动得到一个合法的重叠目标效应。

08 常见错误、失效边界与调试顺序#

  • **把双重稳健误读成双重免疫。**它不能修正未测混杂、处理前后变量混用、错误时间顺序或违反一致性;先画因果图并定义处理。
  • **把处理后的变量放进 XX。**中介变量或碰撞变量可能造成新的偏差。只使用合理的处理前混杂因素。
  • **只检查倾向概率是否有限。**数值在 (0,1)(0,1) 仍可能极端;打印分位数、极值、残差权重与裁剪比例。
  • **同一数据拟合又预测。**对高容量模型会产生乐观的残差校正;采用折外预测,并在每个折里重做预处理。
  • **忽略结果模型外推。**某个处理组在某些特征区间没有样本,ma(x)m_a(x) 就靠模型外推;双重稳健不创造缺失的支持。
  • **出现 NaN/无穷值。**先核对输入缺失、T 编码、倾向列顺序和 clip,再查看每个 nuisance model 的收敛警告与训练折类别数。
  • **把 ATE 与 ATT 混用。**目标人群改变后,公式和权重也要跟着改变;不能只改一句报告文字。

推荐调试顺序:逐折打印处理/对照训练样本数;验证三种预测长度均等于留出行数;断言 0<e^<10<\hat e<1、score 全为有限数;最后比较纯结果回归、IPW 与 AIPW 的点估计、标准误和支持区间。三者不同本身不证明谁错,应回到重叠、设定与识别假设。

09 AIPW 与相近方法怎样分工?#

方法主要模型需要的校正典型弱点
结果回归m0,m1m_0,m_1无显式逆概率残差模型错设与外推偏差
IPWee用权重造伪总体极端权重、方差大
AIPWe,m0,m1e,m_0,m_1预测差 + 加权残差仍需识别与重叠;极端分数会不稳
TMLE倾向与结果初始模型targeting 更新结果预测流程、估计目标及实现细节更多
DML正交得分与交叉拟合控制 nuisance 估计误差需满足速率/正则性条件,非“任意模型都行”

AIPW 是某类双重稳健估计量;DML 更强调用 Neyman 正交得分与交叉拟合,对灵活机器学习 nuisance 模型进行低偏推断;TMLE 则通过 targeting 更新构造满足约束的估计。名称相关但不是同一套自动保障。

10 练习:改一个部件,预测会怎样?#

练习 1:错误倾向模型、正确结果模型

假设 m0,m1m_0,m_1 正确,但 e^\hat e 系统性高估处理概率。说明 AIPW 的哪部分仍提供正确目标的主要信息;再解释为什么极端预测仍可能让有限样本标准误变大。

练习 2:一行数据支配结果

把手算表第 1 行的 e^\hat e 从 0.75 改成 0.05。重算 ψ1\psi_1 和 ATE;它改变了多少?写出你会报告的两项诊断,而不只报告裁剪后的点估计。

练习 3:从 IID 到门店簇

若 2,000 名顾客来自 20 家门店,处理按门店分配,为什么 score.std()/sqrt(2000) 会过于乐观?设计一个保留随机化单位的 bootstrap,并说明每次抽样应重采什么。

相关工作#

  1. Robins, Rotnitzky & Zhao, Estimation of Regression Coefficients When Some Regressors Are Not Always Observed ↗:影响函数与缺失数据/增广估计的重要理论来源。
  2. Bang & Robins, Doubly Robust Estimation in Missing Data and Causal Inference Models ↗:系统讨论双重稳健估计及因果推断应用。
  3. Chernozhukov et al., Double/debiased machine learning for treatment and structural parameters ↗:正交得分与交叉拟合的代表性框架。
  4. scikit-learn LogisticRegression 官方 API ↗ 与 LinearRegression 官方 API ↗:本文分类概率、模型拟合及预测接口。

11 下一篇预告#

AIPW 把两个 nuisance model 的残差组织成稳健分数,但目前只估计一个全体平均数。下一篇将从全体平均效应转向条件平均处理效应,比较交叉拟合的因果森林怎样学习连续异质性,以及它与事后切片检验的差别。

倾向分数和结果模型都不完美,AIPW 怎样校正平均处理效应?
https://zwjcode.cn/blog/aipw-doubly-robust-cross-fitting
作者 傑
发布于 2026年10月20日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。