观文听傑

返回

处理组与对照组按进入处理的概率重新加权,在共同特征区域形成可比样本处理组与对照组按进入处理的概率重新加权,在共同特征区域形成可比样本

上一篇检查断点附近的分数密度,判断用户或城市是否可能操纵进入处理的门槛。若推荐模型没有清晰门槛,也没有随机分流,而是“高活跃用户先拿到新版”,处理组本来就更活跃,直接比较上线后的留存会混合模型效果与用户选择。本篇介绍倾向得分(Propensity Score)和逆概率加权(Inverse Probability Weighting,IPW):根据每个人进入处理组的概率重新加权,让两组在已观测处理前特征上更接近。下一篇沿着这个反事实问题继续看匹配与加权的诊断边界。

01 先把谁接受处理写清楚#

令 Di∈{0,1}D_i\in\{0,1\} 表示单位 ii 是否接受新版,Yi(1),Yi(0)Y_i(1),Y_i(0) 是接受/未接受新版时的潜在结果,Xi∈RpX_i\in\mathbb R^p 是上线前已观测的 pp 个协变量。样本有 NN 个单位:D∈{0,1}ND\in\{0,1\}^N、Y∈RNY\in\mathbb R^N、X∈RN×pX\in\mathbb R^{N\times p}。

倾向得分是条件处理概率:

e(x)=P(D=1∣X=x).e(x)=P(D=1\mid X=x).

它把多维特征压缩成一个概率,但不会神奇地把未记录的混杂因素消掉。因果解释还依赖条件可忽略性(Conditional Exchangeability):给定 XX 后,处理分配与两个潜在结果独立;并依赖重叠/正值性(Positivity):目标人群中 0<e(X)<10<e(X)<1。两者都不能仅由拟合一个分类器证明。

flowchart LR
  A[处理前特征 X 与处理 D] --> B[拟合 e(X)=P(D=1|X)]
  B --> C[检查倾向分布与共同支持]
  C --> D[按目标人群选择权重]
  D --> E[比较加权结果]
  E --> F[检查加权后协变量平衡与敏感性]
mermaid

IPW 的直觉是“少见的选择要多代表一些”:若特征相似的人很少进入新版,已进入的这类人代表许多可能的处理对象,因此权重较大。对平均处理效果(Average Treatment Effect,ATE),常用权重为:

wi=Die(Xi)+1−Di1−e(Xi).w_i=\frac{D_i}{e(X_i)}+\frac{1-D_i}{1-e(X_i)}.

处理组样本用 1/e(Xi)1/e(X_i),对照组用 1/(1−e(Xi))1/(1-e(X_i))。Horvitz–Thompson 形式先按总样本数还原两个潜在结果均值;实践中常用归一化的 Hájek 形式,分别除以该组权重和:

μ^1=∑iDiYi/ei∑iDi/ei,μ^0=∑i(1−Di)Yi/(1−ei)∑i(1−Di)/(1−ei),τ^=μ^1−μ^0.\hat\mu_1=\frac{\sum_i D_iY_i/e_i}{\sum_i D_i/e_i},\quad \hat\mu_0=\frac{\sum_i(1-D_i)Y_i/(1-e_i)}{\sum_i(1-D_i)/(1-e_i)},\quad \hat\tau=\hat\mu_1-\hat\mu_0.

这里 ei=e(Xi)e_i=e(X_i)。分母归一化使估计量在有限样本下更稳定,但不等于消除了混杂或抽样不确定性。

输入处理前特征 X (N×p)、处理 D (N)、结果 Y (N)、目标人群
拟合倾向模型,得到 e_i=P(D_i=1|X_i)
检查目标人群是否有共同支持;不满足时先重新界定目标或补数据
ATE: D_i=1 时 w_i=1/e_i;D_i=0 时 w_i=1/(1-e_i)
按处理状态分别计算 sum(w_i Y_i)/sum(w_i),相减得 Hájek ATE
检查加权协变量平衡、权重尾部、ESS,并按分配单位做推断
text

02 四个人手算一遍#

假设 YY 是 7 日留存分数,倾向得分已由处理前活跃度模型估出:

用户是否新版 DiD_ieie_i观测结果 YiY_iATE 权重
A10.80101/0.80=1.251/0.80=1.25
B10.5081/0.50=21/0.50=2
C00.2041/(1−0.20)=1.251/(1-0.20)=1.25
D00.5061/(1−0.50)=21/(1-0.50)=2

处理组加权均值是 (1.25×10+2×8)/(1.25+2)=8.77(1.25\times10+2\times8)/(1.25+2)=8.77;对照组是 (1.25×4+2×6)/(1.25+2)=5.23(1.25\times4+2\times6)/(1.25+2)=5.23,估计差为 3.543.54。原始组均值差是 9−5=49-5=4。这个小例子只说明权重如何改变比较对象;四个人并不能验证交换性、重叠或标准误。

另一种目标是“确实存在处理选择余地的用户”的平均效果。重叠权重(Overlap Weights)令处理组权重 1−ei1-e_i、对照组权重 eie_i。在上表中,极端的 e=.8e=.8 处理用户权重仅 .2,而 e=.5e=.5 两边权重都为 .5;这会突出两种处理都现实可行的区域。它估计的是重叠人群效应,不是 ATE 的另一种数值技巧。重叠样本本身也要报告清楚。

03 用 sklearn 估计倾向分数#

下面的示例用逻辑回归作简单倾向模型。X 的形状是 (N, p),只放处理前变量;D 是长度 NN 的 0/1 向量,Y 是长度 NN 的结果。输出 e 为长度 NN 的处理概率,之后得到两组 Hájek 均值、差值和权重。

Pipeline.fit(X,D) 会先在当前训练样本拟合标准化参数,再拟合逻辑回归;predict_proba(X) 返回 (N, 2) 概率矩阵,classes_ 给出列对应的类别。标准化对带正则的线性模型尤其重要。代码没有用准确率挑选倾向模型:预测处理状态很准,可能意味着两组缺乏共同支持,恰好会让 ATE 权重爆炸。

课堂代码用同一批数据估计概率并计算示例,正式分析应将概率估计的不确定性纳入推断;若使用灵活机器学习模型,采用交叉拟合并按实际随机化/抽样单位计算标准误。不能把请求级记录当独立单位,若处理按城市或门店分配,要在对应簇层级推断。

04 先诊断权重,再解释效果#

当某个处理用户的 ei=.01e_i=.01,ATE 权重为 100;若这样的用户结果偏高,单个观测就可能主导估计。不能只通过裁剪概率让图表变好看:截断 eie_i、删除样本或改成重叠权重都会改变有限样本估计或目标人群,必须预先说明并做敏感性对照。

诊断具体检查发现问题后怎么做
共同支持分组画 eie_i 直方图,查看两组重叠范围明确无可比数据的区域;考虑重叠人群目标或收集更多数据
权重尾部报告最大值、分位数、有效样本量 ESS=(∑w)2/∑w2ESS=(\sum w)^2/\sum w^2检查极端倾向与模型错设;比较预先定义的权重方案
协变量平衡比较处理前特征加权前后的标准化均差重新考虑非线性、交互项和目标人群;报告剩余不平衡
估计稳定性留一簇、分时期和替代权重的结果识别是否由单个单位、时期或观测口径驱动

倾向分类器的 AUC 衡量区分处理状态的预测能力,不是平衡检验。至少要看关键协变量的加权分布、标准化均差、尾部和 ESS;还要检查一个高 AUC 是否反映近乎确定的处理分配。观察不到的活跃意愿、同期运营策略或跨用户溢出仍可能造成偏差。IPW、匹配和回归调整都不会从数据中凭空创造缺失的对照。

键盘可展开:上线评估的权重检查表

按 Tab 聚焦摘要,再按 Enter 或 Space 展开。确认协变量都早于处理;列出目标估计量和权重公式;分别画处理组与对照组的倾向分布;报告最大权重、有效样本量和加权后标准化均差;写明无重叠区、裁剪规则、估计目标变化、随机化或抽样层级,以及未测混杂限制。手机上可直接点按展开。

思考练习#

  1. 若处理组中一人的 ei=0.02e_i=0.02,ATE 权重是多少?当样本中只有这一人具有该特征时,估计和标准误会受到什么影响?
  2. 对一个几乎总能拿到新版的用户群,为什么重叠权重比 ATE 权重小?换用它之后,结果代表哪类用户?
  3. 倾向模型 AUC 从 0.72 升到 0.96,能否据此判断调整质量变好?还应检查哪些平衡与重叠指标?

延伸阅读#

本篇把“处理组更活跃”转成一个可检查的问题:加权后两组的已观测处理前特征是否平衡、是否仍有共同支持?倾向得分只处理已观测选择,不能替代随机实验,也不能为缺失的反事实担保。

没有随机分流,怎样让两组可比?倾向得分与逆概率加权
https://zwjcode.cn/blog/propensity-score-ipw
作者 傑
发布于 2026年10月20日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。