平均效果掩盖了哪些人群受益?诚实因果森林如何估计条件处理效应
从条件平均处理效应出发,拆开诚实分样、局部正交矩条件、手算例与 EconML 的 CausalForestDML 实现。
上一篇从全体平均效果走到 AIPW 分数:倾向模型和结果模型先把观测结果变成一个较稳健的估计。可平均数仍会掩盖分布:如果一种服务对新用户很有效、对老用户几乎无效,单个 ATE 不能告诉我们该把服务提供给谁。直接按事后表现挑“受益者”又会把噪声误认成异质性。
本篇聚焦**因果森林(Causal Forest)**如何估计特征条件下的平均处理效应,并说明它何时能支持可靠的分群决策。我们从诚实分样和正交残差开始,再看局部矩方程、手算分数及 EconML 的 CausalForestDML。模型输出的是给定可观测特征人群的平均处理效应,不是某个具体个体不可观测的真实因果效应。
01 平均效果为什么不够?#
设 与 是样本 接受和未接受处理的潜在结果, 是实际处理, 是实际观测结果。我们希望从处理前特征 预测条件平均处理效应(Conditional Average Treatment Effect,CATE):
共有 行数据时, 形状为 , 是 ;新来 个对象时,预测 effect(X_new) 的形状为 。即使模型知道总体 ATE ,也不知道哪些特征区域的效果大于零,更不知道预测的不确定性是否足够小,能否据此分配资源。
flowchart LR
D[观测数据 X W T Y] --> N1[折外交叉拟合 E[Y|X,W]]
D --> N2[折外交叉拟合 E[T|X,W]]
N1 --> R[结果残差 Y−m]
N2 --> Q[处理残差 T−e]
R --> F[诚实因果森林局部矩]
Q --> F
X[X: 效应修饰特征] --> F
F --> C[τ(x) 与区间]
C --> A[群体决策与外部验证]mermaid图中的 是控制处理分配与结果的混杂特征, 是允许模型寻找效果变化的效应修饰特征;它们可以重叠,但概念角色不同。只把 传给最终森林,不代表可以把 从第一阶段漏掉。
02 为什么不能把两棵预测模型相减就结束?#
最直接的 T-learner(T 学习器)分别拟合 与 ,再算 。它简单,但两个模型的预测误差会直接相减;若某个区域只有很少处理组样本,差值主要由外推决定。
因果森林的双重机器学习(Double Machine Learning,DML)先用全部处理前混杂信息 估计结果基线 与处理概率 ,再构造残差:
在局部特征区域里寻找 ,使下列矩条件尽量接近零:
是局部截距,吸收残差结果中与残差处理不成比例的基线部分; 的局部变化提供识别效果的信号。真实的 EconML CausalForestDML 按此类局部矩拟合森林,并在第一阶段用交叉拟合(Cross-fitting)生成折外 ,降低同一观测既训练 nuisance 模型又评估残差的过拟合偏差。
注意 DML 并非“把混杂消掉”的魔法:需要无未测混杂、正值性、处理前协变量、合理的时间顺序等识别条件。若某区域几乎没人接受处理, 近乎没有变化,该区域即使森林能给数字,也缺乏因果信息。
03 诚实分样究竟诚实在哪里?#
单棵树若先用样本寻找一个看起来效果差异最大的切分点,再用同批样本报告切分后的效果,切分就已经挑过了噪声。诚实树(Honest Tree)对每棵树抽取的子样本再分成两份:
树的无放回子样本
├── structure half:选择基于 X 的分裂位置
└── estimation half:只用落入叶节点的样本估计局部效应
多个诚实树平均 → CATE 及其不确定性text结构样本回答“在哪里切”,估计样本回答“切开后差多少”。诚实指同一棵树中分裂选择与叶内估计分开,不等于研究设计随机、没有混杂,或因果假设自动成立。多树集成再通过子抽样降低单一切分的方差。
分裂标准也不应只追求看起来最大的效果差。小叶子可能只有一两个处理样本,有很大的估计方差;因果森林的可识别性检查会约束叶内处理变化,min_samples_leaf 和 min_var_fraction_leaf 等参数则影响局部样本量与方差的权衡。模型复杂度越高,不代表发现的异质性越真实。
04 用四条折外分数看平均效果如何掩盖差异#
以下是为说明 AIPW 分数而设的教学数值,不是拟合出的结果。四人属于两种预先定义的特征层;每一行均已有独立训练折生成的 。构造 DR 伪结果(Doubly Robust Pseudo-outcome):
| 人群层 | ||||||
|---|---|---|---|---|---|---|
| A | 1 | 8 | 0.5 | 7 | 4 | |
| A | 0 | 2 | 0.5 | 6 | 3 | |
| B | 1 | 6 | 0.5 | 8 | 5 | |
| B | 0 | 4 | 0.5 | 9 | 6 |
两层的伪结果均值分别为 与 ,四人总体均值是 4。总体均值仍为正,却把层间 2 个单位的差异压平了。实际每层只有 2 人时这个差异当然极不稳定;这个例子只展示分组平均如何由逐行分数得到,不能当作推荐两人一组做决策。
输入折外 e_hat[N]、m1_hat[N]、m0_hat[N]、观测 T[N]、Y[N]
逐行计算 DR score ψ[N]
让森林按 X[N,p] 学习 E[ψ | X=x],或拟合等价正交局部矩
在独立样本上评估排序/策略价值,并报告不确定性textDR-Learner 把最后一步写成对 的回归;CausalForestDML 则直接拟合残差化局部矩。两者都借助正交化与灵活的最终阶段,但目标函数、有限样本行为和区间方法不同,不能仅凭都出现“forest”就当作同一估计器。
键盘展开:伪结果为什么不是每个人的真实处理效果?
对每个人我们只观察到 或 之一,因此真实的个体差 永远不会在这行数据里同时出现。 是依赖拟合模型、带抽样噪声的估计分数;要估的是特征相似人群的条件平均 ,而不是把 当作个体标签或个人真值。此原生 details 元素可用 Tab 聚焦并用 Enter/空格展开,在窄屏下也自然换行。
05 用 EconML 的 CausalForestDML 拟合与预测#
下面用 EconML 的当前官方 API。输入 Y[N] 为连续结果,T[N] 为 0/1 处理,X[N,p] 是拟寻找异质性的特征,W[N,q] 是其他处理前混杂控制;W 可省略,但只有确认没有额外混杂时才适合这样做。示例的 nuisance 模型为 scikit-learn 随机森林,最终 CATE 由 EconML 自身的诚实因果森林拟合。
from econml.dml import CausalForestDML
from sklearn.ensemble import RandomForestClassifier, RandomForestRegressor
# X: [N, p] 效应修饰特征;W: [N, q] 其他处理前混杂;Y,T: [N]
cf = CausalForestDML(
model_y=RandomForestRegressor(
n_estimators=200, min_samples_leaf=10, random_state=17, n_jobs=1
),
model_t=RandomForestClassifier(
n_estimators=200, min_samples_leaf=10, random_state=17, n_jobs=1
),
discrete_treatment=True,
cv=5, # 折外 nuisance 预测
n_estimators=400, # 须能被 subforest_size 整除
subforest_size=4,
max_samples=0.45, # 开启 inference 时每棵树用样本比例需 <= 0.5
min_samples_leaf=10,
honest=True,
inference=True,
random_state=17,
n_jobs=-1,
)
cf.fit(Y, T, X=X, W=W)
X_new = X[:6] # [6, p]
ate_per_row = cf.effect(X_new) # [6],T=0 到 T=1 的预测差
lower, upper = cf.effect_interval(X_new, alpha=0.05) # 两个 [6] 数组
print(ate_per_row.shape, lower.shape, upper.shape)
print(cf.ate_) # 训练样本 DR ATE;不是 CATE 异质性检验python此处 model_t 用分类器,是因为 discrete_treatment=True;model_y 对连续 用回归器。fit(Y,T,X=X,W=W) 中 X 决定最终 CATE 随哪些变量变化,W 参与 nuisance 控制。effect(X_new) 返回从控制 到处理 的差;effect_interval 返回逐行预测区间。区间覆盖的对象是条件平均效应估计,不是单人的潜在结果差。
cv=5 是第一阶段交叉拟合折数,不是外层模型评估折数。n_estimators=400 可被 subforest_size=4 整除,这是 bootstrap-of-little-bags 推断的结构要求之一。honest=True 把每棵树的样本分成切分构造和效应估计两部分;inference=True 才启用区间推断。n_jobs=-1 使用所有可见 CPU,和每个随机森林 nuisance 模型内部的并行叠加会过度订阅,所以示例让 nuisance 森林 n_jobs=1。
训练后还要看处理概率的分布和局部处理数、叶大小、区间宽度及特征支持;不能只打印 feature_importances_ 就宣称发现了可干预机制。对每个切分或规则,应在未参与筛选的新样本中复核平均效果与策略价值。
06 怎样检验“谁受益”不是过拟合出来的?#
模型很容易在训练集上找到看似明显的异质性。至少把下面三件事分开检查:
- **Nuisance 诊断:**处理模型的校准和重叠、结果模型在处理组内的预测误差;按特征区域列出两种处理的样本数。
- **异质性证据:**在未参与效应模型选择的数据上检验预测高低组的效果差。对基于同一数据搜索出的很多子组,还需控制多重比较,或预注册分组。
- **决策价值:**评估按预测规则分配处理与“全部处理/都不处理”的策略收益,并估计策略价值的不确定性。效果排序有预测能力,不保证每个阈值都是经济上合适的阈值。
若处理在医院、门店或时间块层级分配,划分和推断应保留随机化/聚类单位;把同一门店的行随机拆进训练与验证会泄露共同冲击。调参、筛变量、挑子群也必须在训练部分完成。最终报告至少给出外部验证方式、目标人群、识别假设、CATE 区间或校准表现及决策阈值由谁设定。
07 常见错误、调试与失效边界#
- **特征泄漏:**把处理后变量放进 或 ,会调整掉中介路径或打开碰撞偏差。按因果时间顺序核实每一列。
- **违反正值性:**某特征区域的处理概率接近 0 或 1,局部效果缺乏支持。画 分布并按待决策的人群切片计数。
- **叶子太小:**极少数处理行让局部矩数值不稳。提高
min_samples_leaf,检查异质性结论是否消失,以及每叶处理/对照数。 - **把噪声当亚组:**对同一数据反复切分总能找到极端叶。使用诚实样本、外部验证、预注册或独立重复。
- **错把 CATE 当 ITE:**条件均值不能识别单人的两个潜在结果差;不应对个人承诺“这次处理一定有此效果”。
- **分类类别与形状不符:**先验证
T只有两类,Y是有限的一维数值;X/W行数须与Y,T同为 。如果设discrete_treatment=False,则model_t要改用回归器。 - **区间缺失或报错:**检查
n_estimators % subforest_size == 0、推断配置及是否有足够样本;再逐项核对 API 版本和数据维度。
森林无法弥补未记录的混杂、处理定义含糊、干预不一致、选择性缺失或目标分布改变。若真实效果接近常数、样本量小、维度高而重叠差,线性 DML、已预先定义的少量分层,或报告总体 ATE 往往更诚实。
08 与相邻方法怎样区分?#
| 方法 | 最终要拟合什么 | 优点 | 主要注意点 |
|---|---|---|---|
| T-learner | 直观、实现简单 | 两个结果模型误差相减,弱势处理组易外推 | |
| DR-Learner | AIPW 伪结果对 的回归 | 接续 AIPW 分数,结构清楚 | 伪结果可能重尾;最终回归要另做不确定性推断 |
| CausalForestDML | 对 的诚实局部矩 | 正交残差、非参数异质性与森林区间 | 仍依赖识别、重叠和足够局部样本 |
| 普通随机森林预测 | 直接优化结果预测误差 | 高预测精度不等于因果效应估计正确 |
工具页面中的变量重要度解释的是模型如何分割以捕捉预测异质性,不会自动给出“改变这个变量会改变处理效果”的因果机制。预测解释与因果识别是两件事。
09 思考题与小练习#
练习 1:总体正、一个预设层为负
两个等大预设人群的真实 CATE 分别为 和 ,总体 ATE 是多少?如果以总体 ATE 为依据给所有人都提供处理,可能损失了什么信息?请说明仅有训练集上的这两个估计为何不足以制定个体规则。
练习 2:正交残差为什么识别局部效果?
用 、 写出简化的局部回归斜率。若某个叶子里的 方差接近零,分母会怎样?解释为什么增加树数无法创造该叶子缺失的处理重叠。
练习 3:把模型变成策略评估
设计一个使用外部保留样本比较“预测收益大于成本才处理”与“全处理”的评估方案。哪些数据必须在训练期隔离?若处理以门店为单位分配,交叉验证和不确定性估计应如何保留门店结构?
相关工作#
- Athey & Imbens, Recursive Partitioning for Heterogeneous Causal Effects ↗:以诚实分样识别异质性树的重要起点。
- Wager & Athey, Estimation and Inference of Heterogeneous Treatment Effects using Random Forests ↗:因果森林及其异质性推断理论。
- Athey, Tibshirani & Wager, Generalized Random Forests ↗:将森林视为局部矩估计器的通用框架。
- Chernozhukov et al., Double/debiased machine learning for treatment and structural parameters ↗:交叉拟合和 Neyman 正交得分的理论框架。
- EconML, CausalForestDML 官方 API ↗ 与 异质性效应森林指南 ↗:
fit、effect、effect_interval及诚实推断接口;本文 API 核验于 2026-10-14。
10 下一篇预告#
因果森林回答的是“哪些可观测特征对应更高的平均处理效应”,但实际应用常要分配有限资源。下一篇将把 CATE 排序变成策略:怎样在独立数据上估计个体化处理规则的价值,并与全处理、全不处理和简单阈值策略比较。