观文听傑

返回

特征人群、诚实森林分支与条件处理效应曲线的概念示意图特征人群、诚实森林分支与条件处理效应曲线的概念示意图

上一篇从全体平均效果走到 AIPW 分数:倾向模型和结果模型先把观测结果变成一个较稳健的估计。可平均数仍会掩盖分布:如果一种服务对新用户很有效、对老用户几乎无效,单个 ATE 不能告诉我们该把服务提供给谁。直接按事后表现挑“受益者”又会把噪声误认成异质性。

本篇聚焦**因果森林(Causal Forest)**如何估计特征条件下的平均处理效应,并说明它何时能支持可靠的分群决策。我们从诚实分样和正交残差开始,再看局部矩方程、手算分数及 EconML 的 CausalForestDML。模型输出的是给定可观测特征人群的平均处理效应,不是某个具体个体不可观测的真实因果效应。

01 平均效果为什么不够?#

设 Yi(1)Y_i(1) 与 Yi(0)Y_i(0) 是样本 ii 接受和未接受处理的潜在结果,Ti∈{0,1}T_i\in\{0,1\} 是实际处理,Yi=TiYi(1)+(1−Ti)Yi(0)Y_i=T_iY_i(1)+(1-T_i)Y_i(0) 是实际观测结果。我们希望从处理前特征 Xi∈RpX_i\in\mathbb R^p 预测条件平均处理效应(Conditional Average Treatment Effect,CATE):

τ(x)=E[Y(1)−Y(0)∣X=x].\tau(x)=E[Y(1)-Y(0)\mid X=x].

共有 NN 行数据时,XX 形状为 [N,p][N,p],T,YT,Y 是 [N][N];新来 MM 个对象时,预测 effect(X_new) 的形状为 [M][M]。即使模型知道总体 ATE E[τ(X)]=2E[\tau(X)]=2,也不知道哪些特征区域的效果大于零,更不知道预测的不确定性是否足够小,能否据此分配资源。

flowchart LR
  D[观测数据 X W T Y] --> N1[折外交叉拟合 E[Y|X,W]]
  D --> N2[折外交叉拟合 E[T|X,W]]
  N1 --> R[结果残差 Y−m]
  N2 --> Q[处理残差 T−e]
  R --> F[诚实因果森林局部矩]
  Q --> F
  X[X: 效应修饰特征] --> F
  F --> C[τ(x) 与区间]
  C --> A[群体决策与外部验证]
mermaid

图中的 WW 是控制处理分配与结果的混杂特征,XX 是允许模型寻找效果变化的效应修饰特征;它们可以重叠,但概念角色不同。只把 XX 传给最终森林,不代表可以把 WW 从第一阶段漏掉。

02 为什么不能把两棵预测模型相减就结束?#

最直接的 T-learner(T 学习器)分别拟合 m^1(x)=E[Y∣T=1,X=x]\hat m_1(x)=E[Y\mid T=1,X=x] 与 m^0(x)=E[Y∣T=0,X=x]\hat m_0(x)=E[Y\mid T=0,X=x],再算 m^1(x)−m^0(x)\hat m_1(x)-\hat m_0(x)。它简单,但两个模型的预测误差会直接相减;若某个区域只有很少处理组样本,差值主要由外推决定。

因果森林的双重机器学习(Double Machine Learning,DML)先用全部处理前混杂信息 Z=(X,W)Z=(X,W) 估计结果基线 m(Z)=E[Y∣Z]m(Z)=E[Y\mid Z] 与处理概率 e(Z)=E[T∣Z]e(Z)=E[T\mid Z],再构造残差:

Y~i=Yi−m^(Zi),T~i=Ti−e^(Zi).\tilde Y_i=Y_i-\hat m(Z_i),\qquad \tilde T_i=T_i-\hat e(Z_i).

在局部特征区域里寻找 τ(x)\tau(x),使下列矩条件尽量接近零:

E ⁣[(Y~−τ(x)T~−β(x))(T~1)|X=x]=0.E\!\left[\left(\tilde Y-\tau(x)\tilde T-\beta(x)\right) \begin{pmatrix}\tilde T\\1\end{pmatrix}\middle|X=x\right]=0.

β(x)\beta(x) 是局部截距,吸收残差结果中与残差处理不成比例的基线部分;T~\tilde T 的局部变化提供识别效果的信号。真实的 EconML CausalForestDML 按此类局部矩拟合森林,并在第一阶段用交叉拟合(Cross-fitting)生成折外 m^,e^\hat m,\hat e,降低同一观测既训练 nuisance 模型又评估残差的过拟合偏差。

注意 DML 并非“把混杂消掉”的魔法:需要无未测混杂、正值性、处理前协变量、合理的时间顺序等识别条件。若某区域几乎没人接受处理,T~\tilde T 近乎没有变化,该区域即使森林能给数字,也缺乏因果信息。

03 诚实分样究竟诚实在哪里?#

单棵树若先用样本寻找一个看起来效果差异最大的切分点,再用同批样本报告切分后的效果,切分就已经挑过了噪声。诚实树(Honest Tree)对每棵树抽取的子样本再分成两份:

树的无放回子样本
       ├── structure half:选择基于 X 的分裂位置
       └── estimation half:只用落入叶节点的样本估计局部效应
多个诚实树平均 → CATE 及其不确定性
text

结构样本回答“在哪里切”,估计样本回答“切开后差多少”。诚实指同一棵树中分裂选择与叶内估计分开,不等于研究设计随机、没有混杂,或因果假设自动成立。多树集成再通过子抽样降低单一切分的方差。

分裂标准也不应只追求看起来最大的效果差。小叶子可能只有一两个处理样本,有很大的估计方差;因果森林的可识别性检查会约束叶内处理变化,min_samples_leaf 和 min_var_fraction_leaf 等参数则影响局部样本量与方差的权衡。模型复杂度越高,不代表发现的异质性越真实。

04 用四条折外分数看平均效果如何掩盖差异#

以下是为说明 AIPW 分数而设的教学数值,不是拟合出的结果。四人属于两种预先定义的特征层;每一行均已有独立训练折生成的 e^i,m^1,m^0\hat e_i,\hat m_1,\hat m_0。构造 DR 伪结果(Doubly Robust Pseudo-outcome):

ψi=m^1(Xi)−m^0(Xi)+Tie^i(Yi−m^1(Xi))−1−Ti1−e^i(Yi−m^0(Xi)).\psi_i=\hat m_1(X_i)-\hat m_0(X_i) +\frac{T_i}{\hat e_i}(Y_i-\hat m_1(X_i)) -\frac{1-T_i}{1-\hat e_i}(Y_i-\hat m_0(X_i)).
人群层TiT_iYiY_ie^i\hat e_im^1\hat m_1m^0\hat m_0ψi\psi_i
A180.5743+(8−7)/.5=53+(8-7)/.5=5
A020.5633−(2−3)/.5=53-(2-3)/.5=5
B160.5853+(6−8)/.5=−13+(6-8)/.5=-1
B040.5963−(4−6)/.5=73-(4-6)/.5=7

两层的伪结果均值分别为 τ^A=(5+5)/2=5\hat\tau_A=(5+5)/2=5 与 τ^B=(−1+7)/2=3\hat\tau_B=(-1+7)/2=3,四人总体均值是 4。总体均值仍为正,却把层间 2 个单位的差异压平了。实际每层只有 2 人时这个差异当然极不稳定;这个例子只展示分组平均如何由逐行分数得到,不能当作推荐两人一组做决策。

输入折外 e_hat[N]、m1_hat[N]、m0_hat[N]、观测 T[N]、Y[N]
逐行计算 DR score ψ[N]
让森林按 X[N,p] 学习 E[ψ | X=x],或拟合等价正交局部矩
在独立样本上评估排序/策略价值,并报告不确定性
text

DR-Learner 把最后一步写成对 ψ\psi 的回归;CausalForestDML 则直接拟合残差化局部矩。两者都借助正交化与灵活的最终阶段,但目标函数、有限样本行为和区间方法不同,不能仅凭都出现“forest”就当作同一估计器。

键盘展开:伪结果为什么不是每个人的真实处理效果?

对每个人我们只观察到 Y(1)Y(1) 或 Y(0)Y(0) 之一,因此真实的个体差 Yi(1)−Yi(0)Y_i(1)-Y_i(0) 永远不会在这行数据里同时出现。ψi\psi_i 是依赖拟合模型、带抽样噪声的估计分数;要估的是特征相似人群的条件平均 E[ψ∣X=x]E[\psi\mid X=x],而不是把 ψi\psi_i 当作个体标签或个人真值。此原生 details 元素可用 Tab 聚焦并用 Enter/空格展开,在窄屏下也自然换行。

05 用 EconML 的 CausalForestDML 拟合与预测#

下面用 EconML 的当前官方 API。输入 Y[N] 为连续结果,T[N] 为 0/1 处理,X[N,p] 是拟寻找异质性的特征,W[N,q] 是其他处理前混杂控制;W 可省略,但只有确认没有额外混杂时才适合这样做。示例的 nuisance 模型为 scikit-learn 随机森林,最终 CATE 由 EconML 自身的诚实因果森林拟合。

此处 model_t 用分类器,是因为 discrete_treatment=True;model_y 对连续 YY 用回归器。fit(Y,T,X=X,W=W) 中 X 决定最终 CATE 随哪些变量变化,W 参与 nuisance 控制。effect(X_new) 返回从控制 T0=0T_0=0 到处理 T1=1T_1=1 的差;effect_interval 返回逐行预测区间。区间覆盖的对象是条件平均效应估计,不是单人的潜在结果差。

cv=5 是第一阶段交叉拟合折数,不是外层模型评估折数。n_estimators=400 可被 subforest_size=4 整除,这是 bootstrap-of-little-bags 推断的结构要求之一。honest=True 把每棵树的样本分成切分构造和效应估计两部分;inference=True 才启用区间推断。n_jobs=-1 使用所有可见 CPU,和每个随机森林 nuisance 模型内部的并行叠加会过度订阅,所以示例让 nuisance 森林 n_jobs=1。

训练后还要看处理概率的分布和局部处理数、叶大小、区间宽度及特征支持;不能只打印 feature_importances_ 就宣称发现了可干预机制。对每个切分或规则,应在未参与筛选的新样本中复核平均效果与策略价值。

06 怎样检验“谁受益”不是过拟合出来的?#

模型很容易在训练集上找到看似明显的异质性。至少把下面三件事分开检查:

  1. **Nuisance 诊断:**处理模型的校准和重叠、结果模型在处理组内的预测误差;按特征区域列出两种处理的样本数。
  2. **异质性证据:**在未参与效应模型选择的数据上检验预测高低组的效果差。对基于同一数据搜索出的很多子组,还需控制多重比较,或预注册分组。
  3. **决策价值:**评估按预测规则分配处理与“全部处理/都不处理”的策略收益,并估计策略价值的不确定性。效果排序有预测能力,不保证每个阈值都是经济上合适的阈值。

若处理在医院、门店或时间块层级分配,划分和推断应保留随机化/聚类单位;把同一门店的行随机拆进训练与验证会泄露共同冲击。调参、筛变量、挑子群也必须在训练部分完成。最终报告至少给出外部验证方式、目标人群、识别假设、CATE 区间或校准表现及决策阈值由谁设定。

07 常见错误、调试与失效边界#

  • **特征泄漏:**把处理后变量放进 XX 或 WW,会调整掉中介路径或打开碰撞偏差。按因果时间顺序核实每一列。
  • **违反正值性:**某特征区域的处理概率接近 0 或 1,局部效果缺乏支持。画 e^(Z)\hat e(Z) 分布并按待决策的人群切片计数。
  • **叶子太小:**极少数处理行让局部矩数值不稳。提高 min_samples_leaf,检查异质性结论是否消失,以及每叶处理/对照数。
  • **把噪声当亚组:**对同一数据反复切分总能找到极端叶。使用诚实样本、外部验证、预注册或独立重复。
  • **错把 CATE 当 ITE:**条件均值不能识别单人的两个潜在结果差;不应对个人承诺“这次处理一定有此效果”。
  • **分类类别与形状不符:**先验证 T 只有两类,Y 是有限的一维数值;X/W 行数须与 Y,T 同为 NN。如果设 discrete_treatment=False,则 model_t 要改用回归器。
  • **区间缺失或报错:**检查 n_estimators % subforest_size == 0、推断配置及是否有足够样本;再逐项核对 API 版本和数据维度。

森林无法弥补未记录的混杂、处理定义含糊、干预不一致、选择性缺失或目标分布改变。若真实效果接近常数、样本量小、维度高而重叠差,线性 DML、已预先定义的少量分层,或报告总体 ATE 往往更诚实。

08 与相邻方法怎样区分?#

方法最终要拟合什么优点主要注意点
T-learnerm^1(x)−m^0(x)\hat m_1(x)-\hat m_0(x)直观、实现简单两个结果模型误差相减,弱势处理组易外推
DR-LearnerAIPW 伪结果对 XX 的回归接续 AIPW 分数,结构清楚伪结果可能重尾;最终回归要另做不确定性推断
CausalForestDML对 Y~,T~\tilde Y,\tilde T 的诚实局部矩正交残差、非参数异质性与森林区间仍依赖识别、重叠和足够局部样本
普通随机森林预测 YYE[Y∣X,T]E[Y\mid X,T]直接优化结果预测误差高预测精度不等于因果效应估计正确

工具页面中的变量重要度解释的是模型如何分割以捕捉预测异质性,不会自动给出“改变这个变量会改变处理效果”的因果机制。预测解释与因果识别是两件事。

09 思考题与小练习#

练习 1:总体正、一个预设层为负

两个等大预设人群的真实 CATE 分别为 +5+5 和 −1-1,总体 ATE 是多少?如果以总体 ATE 为依据给所有人都提供处理,可能损失了什么信息?请说明仅有训练集上的这两个估计为何不足以制定个体规则。

练习 2:正交残差为什么识别局部效果?

用 Y~=Y−m^(Z)\tilde Y=Y-\hat m(Z)、T~=T−e^(Z)\tilde T=T-\hat e(Z) 写出简化的局部回归斜率。若某个叶子里的 T~\tilde T 方差接近零,分母会怎样?解释为什么增加树数无法创造该叶子缺失的处理重叠。

练习 3:把模型变成策略评估

设计一个使用外部保留样本比较“预测收益大于成本才处理”与“全处理”的评估方案。哪些数据必须在训练期隔离?若处理以门店为单位分配,交叉验证和不确定性估计应如何保留门店结构?

相关工作#

  1. Athey & Imbens, Recursive Partitioning for Heterogeneous Causal Effects ↗:以诚实分样识别异质性树的重要起点。
  2. Wager & Athey, Estimation and Inference of Heterogeneous Treatment Effects using Random Forests ↗:因果森林及其异质性推断理论。
  3. Athey, Tibshirani & Wager, Generalized Random Forests ↗:将森林视为局部矩估计器的通用框架。
  4. Chernozhukov et al., Double/debiased machine learning for treatment and structural parameters ↗:交叉拟合和 Neyman 正交得分的理论框架。
  5. EconML, CausalForestDML 官方 API ↗ 与 异质性效应森林指南 ↗:fit、effect、effect_interval 及诚实推断接口;本文 API 核验于 2026-10-14。

10 下一篇预告#

因果森林回答的是“哪些可观测特征对应更高的平均处理效应”,但实际应用常要分配有限资源。下一篇将把 CATE 排序变成策略:怎样在独立数据上估计个体化处理规则的价值,并与全处理、全不处理和简单阈值策略比较。

平均效果掩盖了哪些人群受益?诚实因果森林如何估计条件处理效应
https://zwjcode.cn/blog/causal-forest-honest-heterogeneity
作者 傑
发布于 2026年10月21日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。