实验指标波动太大怎么办?用 CUPED 校正处理前协变量
从用户稳定差异出发推导 CUPED 的协变量校正,手算组间效果变化,并用纯 Python 检查方差收益与因果边界。
上一篇用 SRM 检查实验人数是否仍符合分流计划。比例通过后,结果依然可能很吵:用户的活跃度差异很大,单次随机分组恰好把高活跃用户多分给一臂,处理效应就淹没在个体波动中。若我们在实验开始前已经测过同一个指标,就可以用它解释一部分“这个用户本来就高或低”的差异。
本篇只讲 CUPED(Controlled-experiment Using Pre-Experiment Data,使用实验前数据的控制实验):用处理前协变量预测处理后结果,扣除共同波动,再比较实验臂。它不能修复 SRM,也不能替代随机分配;下一步可把同一思路扩展到多个协变量和比值指标,但需要重新定义标准误。
01 从个体差异中分离处理效应#
令 表示单位 是否进入实验组, 是实验期 outcome(结果指标), 是处理发生前测得的基线指标。简单均值差为
如果 与 高度相关,每个用户在两个时期的高低排名相近,那么 里一部分波动只是稳定个体差异。构造
再比较两组 。ar X 是全体实验单位的平均基线值;把同一个常数从两臂共同参照,不改变两臂调整差。 是最小二乘意义下 对 的斜率,使残差与基线线性相关尽量小。
flowchart LR
X[处理前指标 X,N 个单位] --> F[估计 theta = Cov(X,Y)/Var(X)]
Y[处理后指标 Y: [N]] --> F
X --> A[调整 Y - theta * (X - mean X)]
F --> A
T[实验臂标签 T,N 个单位] --> C[比较两臂调整后均值]
A --> C
C --> V[差值 + 与分析方法匹配的标准误]mermaid处理前是关键限制: 必须在用户接受 treatment(处理)之前测得,而且其采集定义与分析单位一致。若把实验后的点击数、是否完成新手流程或被新功能影响的停留时长当成 ,调整会控制掉处理路径的一部分,估计对象可能被改写。
02 手算一次:原始差 4.5,校正后差 3#
为便于手算,假设共有 8 个用户, 是实验前周活跃分数, 是实验周同一口径的分数。数据刻意取线性关系,使斜率计算透明:
| 臂 | ||
|---|---|---|
| Control | 8, 10, 12, 14 | 13, 16, 19, 22 |
| Treatment | 9, 11, 13, 15 | 17.5, 20.5, 23.5, 26.5 |
control 的均值是 ;treatment 的均值是 。原始差为 。组内中心化后,两臂的 偏差均为 ; 在臂内对应偏差均为 。于是
两臂平均基线相差 1 分,而基线每多 1 分,后测约多 1.5 分。调整后的组间差为 。在真实随机实验里,有限样本的基线失衡会随机出现,所以调整后的点估计可以和原均值差不同;在随机分配重复进行的期望下,处理前协变量校正仍以相同处理效应为目标。这个极小例子没有剩余噪声,不能把“方差降到零”当作现实承诺。
03 纯 Python 最小实现:先看估计,再看收益#
输入 x、y、treatment 是长度相同的 [N] 向量:分别为处理前指标、处理后指标和 0/1 实验臂。函数用组内协方差估计共同斜率,返回 theta、原始均值差、调整后均值差和两种结果的样本方差。代码使用 Python 标准库,清楚暴露每一步,不隐藏在黑盒 fit 里。
from math import fsum
from typing import Sequence
def cuped(x: Sequence[float], y: Sequence[float], treatment: Sequence[int]):
n = len(x)
if n < 4 or len(y) != n or len(treatment) != n:
raise ValueError("x, y, treatment need the same length >= 4")
if any(t not in (0, 1) for t in treatment):
raise ValueError("treatment values must be 0 or 1")
groups = {g: [i for i, t in enumerate(treatment) if t == g] for g in (0, 1)}
if any(len(groups[g]) < 2 for g in (0, 1)):
raise ValueError("need at least two units in each arm")
mx = {g: fsum(x[i] for i in groups[g]) / len(groups[g]) for g in (0, 1)}
my = {g: fsum(y[i] for i in groups[g]) / len(groups[g]) for g in (0, 1)}
numerator = fsum((x[i] - mx[treatment[i]]) * (y[i] - my[treatment[i]])
for i in range(n))
denominator = fsum((x[i] - mx[treatment[i]]) ** 2 for i in range(n))
if denominator == 0:
raise ValueError("pre-period covariate has no within-arm variation")
theta = numerator / denominator
xbar = fsum(x) / n
adjusted = [y[i] - theta * (x[i] - xbar) for i in range(n)]
raw_effect = my[1] - my[0]
adjusted_effect = (fsum(adjusted[i] for i in groups[1]) / len(groups[1])
- fsum(adjusted[i] for i in groups[0]) / len(groups[0]))
def sample_var(values, ids):
mean = fsum(values[i] for i in ids) / len(ids)
return fsum((values[i] - mean) ** 2 for i in ids) / (len(ids) - 1)
raw_var = sample_var(y, groups[0]) + sample_var(y, groups[1])
adj_var = sample_var(adjusted, groups[0]) + sample_var(adjusted, groups[1])
return {"theta": theta, "raw_effect": raw_effect,
"adjusted_effect": adjusted_effect,
"arm_variance_sum_raw": raw_var,
"arm_variance_sum_adjusted": adj_var}
x = [8, 10, 12, 14, 9, 11, 13, 15]
y = [13, 16, 19, 22, 17.5, 20.5, 23.5, 26.5]
t = [0, 0, 0, 0, 1, 1, 1, 1]
print(cuped(x, y, t))
# theta=1.5, raw_effect=4.5, adjusted_effect=3.0python这里 arm_variance_sum_* 是两臂样本方差之和,用来对比结果波动;它不是完整置信区间,也没有处理重复用户、簇随机化或序贯查看。生产估计要按随机化单位计算误差,使用与分层、聚类、比值指标和既定检查计划相匹配的标准误。不要把上面的简单方差直接塞回上一篇的序贯门控并宣称置信区间有效。
04 什么时候值得校正,怎样查错#
若 与 相关系数为 ,理想线性校正后残差方差比例近似 。相关系数 时,理论上可解释约 64% 的变异;这只是线性、测量稳定等条件下的直觉,不保证具体实验样本获得同样收益。基线太旧、与实验指标定义不同、缺失集中在某一臂,都会令真实改善远小于预期。
检查顺序可以固定为:
- 用同一
unit_id对齐处理前与处理后指标,确认一对一 Join、时间窗和单位换算。 - 验证 只使用处理前事件;处理后重算标签时不可回填到历史基线。
- 分别报告原始和调整后的效果、每臂人数、基线缺失率、 与标准误。
- 检查调整后残差是否还与 相关;若不相关性未下降,核对编码、缺失填补及样本筛选。
- 在历史 A/A 或无效果模拟上比较置信区间覆盖,而不只比较 p 值是否变小。
现代 Python 示例可直接用清楚的向量运算复核公式;如果选择 statsmodels 的 OLS(普通最小二乘)或 scikit-learn 的 LinearRegression,应先按当前官方文档确认参数和版本,并使用“处理臂 + 处理前协变量”的回归规格与稳健误差。不能只对两个臂分别拟合预测器再挑能让实验显著的版本,也不能根据本次 treatment 效果方向挑选基线窗口。
05 边界:它不同于分层、协变量泄漏与模型预测#
CUPED 是分析阶段的方差缩减(variance reduction),通常不改变随机分配。Stratified Randomization(分层随机化)在分配时先按已知基线分层,保证重要变量在各臂更平衡;它可能让某些基线失衡更少,但要正确处理层级权重与误差。CUPED 则在看见结果后利用前期资料调整估计。二者可以组合,但设计与标准误必须一起定义。
CUPED 不是普通预测比赛:目标不是降低全体预测误差,而是减少处理效应估计的不确定性。它也不是控制 post-treatment mediator(处理后中介变量)的许可;只用处理前协变量,才能避免调整掉真实处理路径。若基线指标弱相关或缺失严重,校正可能没有收益;若实验臂定义、Join 或 SRM 已经有问题,CUPED 只会让错误数据看起来更精确。
思考练习#
- 为什么同一用户的上周活跃度可以作为 ,而实验开始后的点击数不可以?
- 若处理前指标与处理后指标相关系数为 0.5,在线性近似下剩余方差比例是多少?这对样本量意味着什么?
- 调整后点估计变小但区间更窄,应该怎样分别解释“效果大小”和“证据精度”?
延伸阅读#
- Deng et al., Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data (WSDM 2013) ↗
- Xie & Aurisset, Improving the Sensitivity of Online Controlled Experiments: Case Studies at Netflix (KDD 2016) ↗
- Deng et al., From Augmentation to Decomposition: A New Look at CUPED (2023) ↗
- Lin, Variance Reduction Combining Pre-Experiment and In-Experiment Data (CLeaR 2026) ↗