对照城市的冲击不同步,怎样重建处理组反事实?交互固定效应
从双向固定效应走到低秩潜在因子:用未处理面板估计共同冲击,再从处理前轨迹恢复单位载荷,预测处理后的反事实。
上一讲的合成双重差分(Synthetic Difference-in-Differences,SDID)同时加权供体单位与处理前时期;它仍以加法结构处理共同时间冲击。现实中,节假日、宏观流量或基础设施变化对不同城市的影响可能不同:同一周有新冲击,依赖旅游用户的城市会涨得更多。双向固定效应(Two-Way Fixed Effects,TWFE)只给每周一个共同时间项,无法表达这种差异。
交互固定效应(Interactive Fixed Effects,IFE)为每个单位增加一组潜在因子载荷,让共享冲击可以因单位而异。本篇解释如何只用未处理结果学因子、从处理组处理前数据估计载荷,再预测处理后的潜在结果。下一篇沿此路线讨论因子数选择与处理时点错开时的识别诊断。
01 一条共同时间线为何不够?#
设有 个城市和 周, 是城市 在第 周的每千请求有效点击数。未上线新模型时,IFE 写成:
- 是单位固定效应(unit fixed effect),表示城市长期水平。
- 是时间固定效应(time fixed effect),表示所有城市共同经历的周冲击。
- 是 个共享潜在因子(latent factors); 是城市对这些因子的载荷(factor loadings)。
- 是模型未解释的误差;向量点积 仍是标量结果。
同一因子变化可以让城市 A 上升、城市 B 几乎不变。若第 周城市 已上线新模型,再加处理项 ;目标是先估出未处理潜在结果 ,再比较观测与反事实。
flowchart LR
A[未处理城市 × 周结果 Y0] --> B[去除城市与周的加法固定效应]
B --> C[低秩分解:估计共享因子 F]
C --> D[处理城市的处理前结果 + F前]
D --> E[最小二乘估计单位截距与载荷]
E --> F[预测处理后潜在结果 Yhat(0)]
F --> G[观测 Y − 反事实 = 效果差距]mermaid未处理面板为 ,可以写为:
其中 ,,因子项的秩不超过 。时间固定效应吸收所有城市共有的变化, 解释城市间不同步的共同变化。这些是对未处理面板的结构假设;因果解释还需要处理分配与未处理潜在结果之间满足识别条件。
02 极小例子:共同冲击按城市载荷放大#
控制城市 A、B、C 的长期基线分别为 10、12、14;对潜在因子的载荷分别为 -1、0、1。五周共同时间项是 ,潜在因子是 。未处理结果如下:
| 城市 | 周 1 | 周 2 | 周 3 | 周 4 | 周 5 |
|---|---|---|---|---|---|
| A,载荷 -1 | 11 | 11 | 9 | 10 | 8 |
| B,载荷 0 | 12 | 13 | 12 | 14 | 13 |
| C,载荷 1 | 13 | 15 | 15 | 18 | 18 |
城市 D 前三周尚未上线,结果为 ;第 4、5 周上线后观测为 。若从控制城市学到因子轨迹,再用 D 的前三周估计基线与载荷,未处理预测为 ,两周差距都是 。
手算第 4 周:控制组平均是 ,作为当周公共基准。D 的处理前数据表明,其基线相对控制组高 1,因子载荷约为 2;因子相对均值的偏移为 。因此反事实为 。D 实际观测为 20,差值 。
若只用 TWFE,处理后城市差异只能靠固定城市效应与共同周效应解释,D 在处理前学到的“对因子变化更敏感”无法外推;SCM/SDID 通过供体组合或权重构造对照,IFE 则显式估计共享冲击及每个城市的响应方向。
03 数据流伪代码:分清训练窗口与预测窗口#
输入包括结果面板 、处理指示 、控制单元集合和处理时点。简化设计的执行顺序是:
只取从未处理的控制城市结果 Y0
按城市和周双去均值,得到控制城市间的相对变化
对该矩阵做截断 SVD,保留预先选定的 r 个时间因子方向 F
对每个处理城市:
只取其上线前结果,减去同期控制组时间基准
用 [截距, F_pre] 做最小二乘,估计该城市的基线和因子载荷
用同一组系数外推 F_post,得到 Yhat(0)
输出:观测结果 Y、反事实 Yhat(0)、差距 Y - Yhat(0)text处理后结果只在最后计算差距时读取,不参与因子、秩或载荷的训练与选择。下面代码把上述流程展开,并标出每个数组的形状。
04 诊断不是“拟合得好就算因果”#
下例输入面板 Y(城市 × 周,形状 )、控制城市数 n_control、处理前周数 T0 和因子数 r;输出最后一个处理城市各周的反事实与处理后差距。它只适用于完整面板、从头到尾未处理的控制城市,以及共同上线时点的演示设计。错时上线时必须逐 cohort 定义每周仍未处理的风险集,不能把已处理单元继续当控制。
import numpy as np
# 行=城市 A/B/C/D;列=周 1..5;shape=(N=4, T=5)
Y = np.array([
[11., 11., 9., 10., 8.], # 控制 A
[12., 13., 12., 14., 13.], # 控制 B
[13., 15., 15., 18., 18.], # 控制 C
[ 9., 12., 13., 20., 21.], # D:前三周未处理,后两周已处理
])
n_control, T0, r = 3, 3, 1
Y0 = Y[:n_control] # shape=(N0=3, T=5)
time_level = Y0.mean(axis=0) # shape=(T=5,),每周控制均值
# 双去均值去除加法行、列项,剩余部分应近似低秩。
centered = (
Y0
- Y0.mean(axis=1, keepdims=True)
- Y0.mean(axis=0, keepdims=True)
+ Y0.mean()
) # shape=(N0=3, T=5)
# SVD:centered = U @ diag(s) @ Vh;前 r 个时间方向组成因子基。
U, singular_values, Vh = np.linalg.svd(centered, full_matrices=False)
F = Vh[:r].T # shape=(T=5, r=1)
if F.shape[1] != r or singular_values[r - 1] <= 1e-10:
raise ValueError("因子秩超过控制面板可辨认的信号秩")
# D 只用前三周估计截距与因子载荷,绝不读取处理后结果。
y_pre = Y[n_control, :T0] - time_level[:T0] # shape=(T0=3,)
X_pre = np.column_stack([np.ones(T0), F[:T0]]) # shape=(T0=3, 1+r)
beta, residuals, rank, s = np.linalg.lstsq(X_pre, y_pre, rcond=None)
if rank < X_pre.shape[1]:
raise ValueError("处理前跨度不足以区分截距与因子载荷")
X_all = np.column_stack([np.ones(Y.shape[1]), F]) # shape=(T=5, 1+r)
counterfactual = time_level + X_all @ beta
gap = Y[n_control] - counterfactual
print("反事实:", np.round(counterfactual, 2))
print("处理后 gap:", np.round(gap[T0:], 2))
# 反事实约 [9, 12, 13, 17, 18];处理后 gap 约 [3, 3]python维度逐项对齐:centered 为 ;Vh 前 r 行转置为 ;X_pre 为 ;beta 为 ;X_all @ beta 为 。奇异向量可以整体变号,多个因子也能在子空间内旋转,所以不要把某列因子的符号或“第一个因子”解释成稳定现实含义。
np.linalg.svd(…, full_matrices=False) 返回紧凑 SVD;np.linalg.lstsq(A, b, rcond=None) 求解最小二乘并返回系数、残差、矩阵秩与奇异值。若 rank 小于设计矩阵列数,处理前数据不能区分截距与载荷,应增加处理前长度、降低 r,或承认反事实不可识别。当前参数和返回值见 NumPy SVD 文档 ↗ 与 NumPy 最小二乘文档 ↗。
本代码用控制组周均值恢复公共时间水平,以双去均值矩阵提取城市间相对响应的低秩方向。它不是生产级广义合成控制估计器:不自动选择因子秩、不估计标准误、不处理错时处理或缺失单元。奇异值大小本身也不是“该保留几个因子”的因果答案。
04 诊断不是“拟合得好就算因果”#
上线前冻结处理日期、结果口径、因子秩规则与供体定义。至少检查:
| 诊断 | 能发现什么 | 不能证明什么 |
|---|---|---|
| 处理前残差图 | 因子不足、异常周、载荷拟合不稳 | 处理后结构保持不变 |
| 留一控制城市重估 | 单个控制城市主导因子 | 处理组没有专属冲击 |
| 伪处理城市 / 伪上线周 | 模型是否常生成类似差距 | 置换满足随机分配 |
| 因子秩与窗口敏感性 | 结果是否依赖某个规格 | 事后挑显著规格有效 |
| 未处理单元与缺失掩码 | 已处理结果是否泄漏进训练 | 选择性缺失可忽略 |
典型失败包括:控制城市载荷几乎一样,去均值后没有可辨认的低秩信号;处理城市处理前太短,设计矩阵秩不足或载荷方差很大;上线同周有仅影响处理城市的促销或埋点变更;控制城市受跨城推荐等溢出污染;处理后因子—结果关系改变。增加因子数可能拟合噪声,不能修复识别失败。
有缺失结果时,不能把缺失填零再做 SVD;真实估计要显式使用观察掩码,并检查缺失机制。错时处理也不能把所有已处理城市的完整轨迹当控制:晚处理城市只可在自身上线前的时期充当对照。
键盘可展开:低处理前误差为什么还不够?
用 Tab 聚焦摘要,再按 Enter 或 Space 展开。因子模型只说明控制组低秩结构可以重现处理前结果;若处理后只在处理城市发生新冲击,模型仍会把它误认成处理效果。拟合质量、识别假设与不确定性需要分别报告。
和 DiD、SCM、SDID 的边界#
| 方法 | 反事实结构 | 擅长处理 | 主要代价 |
|---|---|---|---|
| DiD | 单位效应 + 共同时间效应 | 对照可比、平行趋势合理 | 单位特异共同冲击会破坏趋势 |
| SCM | 未处理单位的凸组合 | 少数处理单位、处理前拟合有意义 | 处理组需接近供体凸包 |
| SDID | 供体权重 + 处理前时间权重 | 单位与时期两边都需校正 | 结构与推断仍需设计 |
| IFE | 单位/时间效应 + 低秩潜在因子 | 多单位面板、共享冲击有异质载荷 | 因子秩、处理前跨度与无专属冲击假设关键 |
IFE 与主成分分析(Principal Component Analysis,PCA)的数学工具相近,但目的不同:PCA 通常压缩输入矩阵;这里的因子只用未处理结果学习,用于预测处理组缺失的未处理潜在结果。IFE 也不是给时间添加更多虚拟变量,它允许不同城市对同一个低维冲击有不同响应。广义合成控制是相关面板反事实方法,不同实现未必采用相同估计器或推断程序。
思考练习#
- 只有一个公共周冲击时,令 会退化成什么加法结构?控制城市双去均值矩阵只有噪声时,增加 r 会怎样影响方差?
- 处理城市只有两周处理前观测,却要拟合两个因子加截距。设计矩阵最多几秩?还缺什么才能估计三个系数?
- 三座城市分别在第 3、5、7 周上线。如何为第 5 周上线的城市定义控制单元?第 7 周以后还有哪些观测能帮助预测未处理共同因子?
延伸阅读#
- Xu, Generalized Synthetic Control Method (Political Analysis, 2017) ↗ — 将交互固定效应用于面板处理效果估计。
- Bai, Panel Data Models With Interactive Fixed Effects (Econometrica, 2009) ↗ — 交互固定效应模型的估计与理论。
- Athey, Bayati, Doudchenko, Imbens & Khosravi, Matrix Completion Methods for Causal Panel Data Models (JASA, 2021) ↗ — 低秩面板补全与因果估计。
- Arkhangelsky et al., Synthetic Difference-in-Differences (AER, 2021) ↗ — 与双重加权反事实路线对照阅读。
本篇把“对照城市变化同步”放宽为“共享潜在冲击、城市载荷不同”,并从处理前轨迹恢复处理单位的因子暴露。下一篇聚焦因子秩和处理时点错开时的验证,重点是避免把处理后信息泄漏进反事实训练。