模型只在一座城市上线,怎样估计它带来的变化?双重差分与平行趋势
当随机切换不可行时,用处理组与对照组的前后变化之差构造反事实;手算双重差分,拆解平行趋势、面板数据与稳健性诊断。
上一篇用 Switchback(时间切换实验)让一个市场在不同时段随机运行新旧策略。但有时切换既不安全也不现实:新模型已在唯一服务城市上线,回滚成本高;或者长期指标会累积,不能按小时轮换。此时历史数据仍能提供线索,不过“上线前后变好”本身不能说明是模型带来的:季节、促销和需求也会改变结果。
本篇只讲双重差分(Difference-in-Differences,DiD):用一个未上线的可比市场估计“若处理市场没有上线,结果会怎样”,再把处理组和对照组的前后变化相减。关键不是两地水平相同,而是没有上线时两地本应有相同趋势。下一篇可继续看当对照市场不止一个、且需要合成加权时,合成控制如何构造反事实。
01 先扣掉共同变化,再看剩下多少#
设一个市场在时点 的结果为 , 是上线新模型的处理市场, 是对照市场; 表示上线前, 表示上线后。结果可为每千次请求的成功数、订单数或延迟,但同一指标的定义和分母必须跨组、跨期一致。
| 市场 | 上线前 | 上线后 | 变化 |
|---|---|---|---|
| 处理市场 | 10 | 16 | |
| 对照市场 | 8 | 11 |
处理市场增长 6,但同一时期对照市场也增长 3。DiD 估计量为
直观上,如果没有新模型,处理市场会像对照市场一样增加 3,从 10 到 13;实际是 16,因此差出的 3 是估计的处理效果。表格里的市场水平不同(10 对 8)不妨碍比较;需要的是没有处理时的趋势可比。
flowchart LR
A[上线前:处理市场 10,对照市场 8] --> B[观察同期共同变化:对照市场 +3]
B --> C[构造反事实:处理市场 10 + 3 = 13]
A --> D[处理市场实际上线后结果 16]
C --> E[实际 16 − 反事实 13]
D --> E
E --> F[DiD 效果估计 +3]mermaid这里 是按市场和时间聚合后的一个标量;若有 个市场、 个时期,面板结果矩阵可记为 。回归实现通常把它摊成长表,每一行一个“市场 × 时间”单元,列含 outcome、treated、post 和二者乘积。不要把每个请求当作独立随机化单位来制造虚假的样本量。
02 公式对应哪一个反事实假设?#
用潜在结果(potential outcomes,单位在不同处理状态下可能出现的结果)表示,处理市场上线后的观测值是 ;我们想知道却看不到的是 。DiD 用处理市场上线前后变化,扣除对照市场同期变化,估计这个缺失反事实:
识别依赖平行趋势(parallel trends):若两组都没有处理,处理组与对照组的平均结果变化应相同,即
这不是说两组每天必须数值相等,也不是说观测到的处理组趋势与对照完全相同;它是对“未处理反事实趋势”的假设。只看一组前后趋势无法检验它。
在两组两期回归中,令 表示处理市场, 表示上线后,模型为
- :对照市场上线前均值;
- :两组上线前的水平差;
- :共同的前后变化;
- :处理市场额外变化,也就是 2×2 DiD。
若把长表写成 ( 行,四列依次为截距、、、),那么 ,预测值是 。有多个市场和时间时,通常用市场固定效应与时间固定效应吸收不变的市场差异和共同冲击;但这不会自动修复仅影响一个地区的同期促销或处理组独有趋势。
03 纯 Python:先让估计量可审计#
输入是四个处理前后组均值;输出 DiD 点估计和两条组内变化。没有调用黑盒拟合,方便先核对数据方向和算术:
from dataclasses import dataclass
@dataclass(frozen=True)
class TwoByTwo:
treated_pre: float
treated_post: float
control_pre: float
control_post: float
def did(self) -> float:
treated_change = self.treated_post - self.treated_pre
control_change = self.control_post - self.control_pre
return treated_change - control_change
def summary(self) -> dict[str, float]:
return {
"treated_change": self.treated_post - self.treated_pre,
"control_change": self.control_post - self.control_pre,
"did_effect": self.did(),
"treated_counterfactual_post": (
self.treated_pre + self.control_post - self.control_pre
),
}
example = TwoByTwo(
treated_pre=10.0,
treated_post=16.0,
control_pre=8.0,
control_post=11.0,
)
print(example.summary())
# {'treated_change': 6.0, 'control_change': 3.0,
# 'did_effect': 3.0, 'treated_counterfactual_post': 13.0}python这个计算器能发现符号颠倒、前后列错位和反事实算错,但它不估标准误,也不能验证平行趋势。真实数据应先按预先定义的“市场 × 日期/周”聚合,再检查四格是否完整、观测窗口是否相同、上线是否确实按计划执行。比率指标优先聚合分子和分母后再相除,不能无意中把小市场与大市场等权。
若需回归表达,可用当前 statsmodels 公式接口把面板摊成长表;treated 和 post 为 0/1 列,交互系数对应 DiD:
import statsmodels.formula.api as smf
fit = smf.ols(
"outcome ~ treated + post + treated:post",
data=panel,
).fit()
did_effect = fit.params["treated:post"]
print(did_effect)pythonsmf.ols(formula, data) 返回 OLS 模型,.fit() 估计参数,结果对象的 params 按项名访问系数。多期多市场时,公式通常扩展为 outcome ~ treated:post + C(market_id) + C(period),以市场和时间固定效应吸收基线差异及共同冲击。statsmodels 官方文档说明了 statsmodels.formula.api 的公式入口与 ols;普通 OLS 的默认标准误不处理同一市场内的序列相关。标准误应按实际处理分配层级设计;只有很少几个市场时,常规聚类标准误也不可靠,不能因为有很多日记录就假装有很多独立处理单位。
04 上线前后的图能检查什么?#
多个处理前时期能帮助发现明显不平行:画出每个市场的结果轨迹,标出处理时点,并比较处理前斜率和冲击。事件研究(event study,按距上线时间展示动态效果)会加入相对时间指标,观察处理前的 lead(提前期)系数和处理后的 lag(滞后期)系数。处理前系数接近零不等于平行趋势已被证明:检验可能功效低,且无法检验上线后未处理反事实。
结果 Y
^ ● 处理市场实际
| ●····· 处理市场未处理反事实(不可观测)
| ●·····
| ●····· │ 上线时点
| ○────○────○──────│──────○ 对照市场
+--------------------┼------------> 时间
上线前:检查走势 上线后:观测到对照,反事实仍是假设text图要展示原始水平和变化,不只展示回归系数。对照市场若在上线前已快速追上处理市场,平行趋势就值得怀疑;上线同期若只有处理市场发生促销、供给扩张、埋点升级或用户筛选变化,DiD 可能把这些冲击算成模型效果。可以做预注册的伪上线日期、替代对照、不同聚合窗口等敏感性检查,但不能挑出最有利的一版当主结果。
05 失败场景、调试顺序与方法边界#
| 症状 | 可能原因 | 调试动作 |
|---|---|---|
| 处理前趋势已分叉 | 对照市场不可比、预期上线 | 画更长历史;换预先定义的对照并报告理由 |
| 上线时只有处理市场换埋点 | 测量口径变化 | 先重建一致指标;无法重建就停止因果解释 |
| 上线前用户迁入处理市场 | 组成变化或提前反应 | 固定分析单位与纳入规则,检查流入流出 |
| 结果只在一段窗口显著 | 季节冲击或挑窗口 | 预注册主窗口,绘制全时间序列 |
| 日级样本很多但只有两座城市 | 伪重复、有效簇数太少 | 按处理单位认识不确定性,降低结论强度 |
| 同期对照市场受到溢出 | 对照也被处理影响 | 检查市场联系;重新定义处理与暴露边界 |
提前反应(anticipation)会让处理组在正式上线前先改变行为;组成变化会让“平均用户”在前后不是同一群体;干扰会让对照也间接受到模型影响;处理时间错开时,简单双向固定效应还可能把不同批次的效果混合,甚至产生不合直觉的权重。先画数据生成和上线流程,再决定估计对象与方法,不要从回归显著性倒推设计合理。
DiD 与上一篇 Switchback 的差别是:Switchback 在预设时间块中随机切换,因果依据来自实际随机化;DiD 用历史/平行市场构造未随机的反事实,识别依赖平行趋势及无差异同期冲击。若多个未处理市场都能作为供体,合成控制(synthetic control)会按处理前轨迹加权组合它们;它改变了对照构造方式,但也不能凭拟合好就保证未观测反事实正确。CUPED 则在随机实验中用处理前协变量减小方差,不是用时间趋势替代对照组。
键盘可展开:DiD 结果发布前核对
按 Tab 聚焦,按 Enter 或 Space 展开。核对处理单位、上线时点、结果口径和分析窗口;确认对照没有提前处理或明显溢出;画出足够长的处理前轨迹;记录同期差异事件;把处理前检验描述为诊断而不是证明;按市场而非请求数评估有效样本。
思考练习#
- 处理组从 30 升至 38,对照组从 24 升至 29。计算 DiD、处理组反事实,并说明假设。
- 若处理市场提前一周改变派单,但日志把发布日期当上线日,会怎样扭曲处理前诊断?需要哪类执行日志?
- 只有一个处理市场和两个对照市场,记录了两年日数据。为什么不能把数百天当成数百次独立处理分配?还需要哪些证据支持推断?
延伸阅读#
- Card & Krueger, Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania (AER, 1994) ↗ — 经典自然实验中的前后对照。
- Bertrand, Duflo & Mullainathan, How Much Should We Trust Differences-in-Differences Estimates? (QJE, 2004) ↗ — 序列相关为何让 DiD 标准误过小。
- Goodman-Bacon, Difference-in-Differences with Variation in Treatment Timing (JoE, 2021) ↗ — 错开处理时间下双向固定效应的分解。
- Callaway & Sant’Anna, Difference-in-Differences with Multiple Time Periods (JoE, 2021) ↗ — 多期与异质处理效应下的组别—时间估计。
- statsmodels formula API:
ols↗ — 当前公式接口说明。
上一篇以随机时间块应对整个平台干扰;本篇转向无法随机化的单市场上线,用平行市场的同期变化估计反事实。两者的因果依据不同:设计随机化与假设识别不能混为一谈。