总体提升,为何新用户却受损?预注册分层与实验异质性效应
从加权总体均值推导分组处理效应与交互项,用极小数据和可运行 Python 代码区分真实异质性、随机噪声与事后挑切片。
上一篇用 CUPED 从处理前数据中扣除稳定的个体波动,让总体处理效应更容易被看见。但一个总体均值仍可能掩盖方向相反的人群:新用户因新流程更难上手而受损,老用户却因快捷入口而获益。若只看平均提升,就可能把伤害较小的人群扩到全部流量。
本篇讲清一个问题:怎样在实验开始前定义关键人群,并检验处理效应是否真的因人群而异?这属于异质性处理效应(Heterogeneous Treatment Effect)分析。重点是“预先定义 + 交互检验(interaction test)”,而不是实验结束后反复切片直到找到显著故事。下一篇可以继续处理当分组很多时的多重比较与收缩估计。
01 总体效果是各组效果的加权平均#
设 是随机分配, 是实验前定义的人群标记, 是结果。 可以表示新用户, 表示回访用户。各组的平均处理效应记为 ,全体效果是
这个恒等式解释了“平均有效、局部受损”并不矛盾:只要大组的收益权重大于小组的伤害,总体仍为正。它也要求比较时使用实验总体中的真实权重;把每个切片等权平均会改变目标问题。
flowchart LR
A[实验前定义 S:新用户 / 回访用户] --> B[在每个 S 内随机分配 T]
B --> C[按分配臂计算均值与不确定性]
C --> D[估计各组效果 τ₀、τ₁]
D --> E[检验交互:τ₁ - τ₀]
D --> F[按目标人群权重汇总总体效果]
E --> G{差异有预注册证据?}
G -->|有| H[报告人群边界与护栏]
G -->|无| I[保留总体结论,不讲切片故事]mermaid02 手算:总体 +0.6,预定义小组却 -3#
假设实验前已定义“新用户”为 20%,回访用户为 80%。每个实验臂里两组各有足够样本;以下是组均值,结果单位可以是每周完成任务数:
| 人群 | 占比 | Control 均值 | Treatment 均值 | 组内效果 |
|---|---|---|---|---|
| 新用户 | 20% | 10.0 | 7.0 | -3.0 |
| 回访用户 | 80% | 10.0 | 11.5 | +1.5 |
总体 Control 均值为 ;Treatment 均值为 ,所以总体效果是 。总体结果支持小幅提升,但不能推出新用户也获益。若新用户是高价值或安全敏感群体,继续全量扩流可能不合适。
交互组件允许调整小组占比和两组效果,实时显示加权总体效果与交互差;滑块可用键盘操作,结果随屏幕宽度与站点主题变化。
关键证据不是“一个组显著、另一个组不显著”。两个单独检验的显著性不同,不等于两组效果彼此显著不同。我们要直接检验差值 ,也就是 treatment 与 subgroup 的交互作用。
03 回归中的交互项表达什么?#
用线性模型写成交互项(interaction term)
输入 是各 个单位的 0/1 向量,交互特征 也是 [N]。设计矩阵 形状为 [N,4],系数 。预测值 形状为 [N]。
- 是回访用户 Control 的均值。
- 是回访用户的处理效应 。
- 是 Control 下新用户与回访用户的基线差异。
- 是两组处理效应之差 ;新用户效果为 。
上例对应 。交互项的标准误(standard error)与置信区间才回答“人群效果是否不同”。有多个实验前协变量时可把它们加入模型(类似 CUPED),但模型规格和分组规则应事先定好,并使用与随机化单位一致的误差估计。
04 一段可运行的 Python:估计两组效果和交互差#
下面只依赖 Python 标准库。y、treatment、segment 均为长度 的一维序列 [N];函数返回两组均值差、按组内样本方差计算的标准误,以及交互差。它假设观测相互独立且每个臂每组至少两个单位,因此只是教学基线;同一用户多条记录、家庭/门店集群随机化或重复测量,应改为按随机化单位聚类的标准误。
from math import fsum, sqrt
from typing import Sequence
def mean(values):
return fsum(values) / len(values)
def sample_variance(values):
center = mean(values)
return fsum((x - center) ** 2 for x in values) / (len(values) - 1)
def subgroup_effects(y: Sequence[float], treatment: Sequence[int],
segment: Sequence[int]):
n = len(y)
if len(treatment) != n or len(segment) != n or n == 0:
raise ValueError("y, treatment, segment must have the same nonzero length")
if any(t not in (0, 1) for t in treatment):
raise ValueError("treatment must contain only 0 or 1")
if any(s not in (0, 1) for s in segment):
raise ValueError("segment must contain only 0 or 1")
cells = {(t, s): [y[i] for i in range(n)
if treatment[i] == t and segment[i] == s]
for t in (0, 1) for s in (0, 1)}
if any(len(values) < 2 for values in cells.values()):
raise ValueError("each treatment-by-segment cell needs at least 2 units")
effects = {}
variances = {}
for s in (0, 1):
control, treated = cells[(0, s)], cells[(1, s)]
effects[s] = mean(treated) - mean(control)
variances[s] = sample_variance(treated) / len(treated) + \
sample_variance(control) / len(control)
interaction = effects[1] - effects[0]
interaction_se = sqrt(variances[1] + variances[0])
interaction_ci = (interaction - 1.96 * interaction_se,
interaction + 1.96 * interaction_se)
return {"effect_segment_0": effects[0],
"effect_segment_1": effects[1],
"interaction": interaction,
"interaction_se": interaction_se,
"interaction_ci_approx": interaction_ci}
# 每格四人;重复噪声模式让均值分别为 10、11.5、10、7
noise = [-3, -1, 1, 3]
rows = [(10 + e, 0, 0) for e in noise] + [(11.5 + e, 1, 0) for e in noise]
rows += [(10 + e, 0, 1) for e in noise]
rows += [(7 + e, 1, 1) for e in noise]
y = [r[0] for r in rows]
treatment = [r[1] for r in rows]
segment = [r[2] for r in rows]
print(subgroup_effects(y, treatment, segment))
# effects: +1.5 (segment 0), -3.0 (segment 1), interaction: -4.5python返回的 interaction_ci_approx 用正态近似给出交互差区间;小样本时应换用与设计相符的方法。代码数据每格只有 4 人,区间会很宽;结果用于展示计算,不足以证明小组差异。正式分析应报告各格人数、组内效果、交互差及置信区间(confidence interval),并在实验设计阶段按交互效应而非总体效应规划样本量。若实验有分层随机化,应同时纳入层变量或按预先约定加权;若 是实验后行为(如是否点击新按钮),按它切组会破坏随机化保护,不能这样解释因果效果。
05 预注册、功效与扩量边界#
实验开始前记录:关键人群的业务理由和可执行定义、分层变量观测时间、主要交互项、结果窗口、目标总体权重、最小有意义的交互效应、样本量与停止规则。随机化应在重要人群内保持可比;否则对稀有组的小样本结果尤其不稳定。
如果结果异常,先逐格核对随机化单位数、分流比例、结果窗口和缺失率,再按一个切片从原始分配日志重算均值;若某格少于预设最小样本、协变量在一臂缺失或标准误为零,不要仅靠补零继续检验。极稀有切片可能违反重叠性(positivity),即某类单位几乎不可能进入其中一臂,此时数据无法支持可靠的组内因果比较。切片越多,偶然出现极端差异的机会越大。比如按国家、设备、版本、年龄、来源各切十档,再从数百个结果里只报告最红的一格,会把噪声当成发现。要限制确认性切片数量,明确哪些是探索性;需要广泛搜索时,采用多重检验控制或部分汇聚估计,并在新实验中复验。不要依据一次结果临时重定义“新用户”。
| 观察到的现象 | 可支持的结论 | 下一步 |
|---|---|---|
| 总体提升,交互区间包含 0 | 没有足够证据说明效果不同 | 保持总体估计,继续收集计划样本 |
| 总体提升,预注册交互显著且方向稳定 | 人群间效果有差异证据 | 核对护栏,评估分人群发布的成本与风险 |
| 某切片效果显著,交互不显著 | 不能说该组比其他组效果不同 | 不以“显著 vs 不显著”代替交互检验 |
| 事后发现一个小切片大幅受损 | 生成了待验证假设 | 标记探索性,独立复验后再改路由 |
即使交互显著,也要查看绝对风险、样本代表性和新旧用户识别是否稳定。分人群发布会引入身份错配、策略边界和长期留存变化等工程成本。总体胜出不等于每个组都安全;小组暂时不显著也不等于已证明没有伤害。与 CUPED(利用实验前数据降低方差的方法)一样,分层分析只能提高决策质量,不能修复样本比例失配(Sample Ratio Mismatch, SRM)、错误标签 Join 或曝光埋点缺失。
思考练习#
- 新用户占 10%,效果为 ;回访用户效果为 。总体加权效果是多少?为什么该值仍不足以决定新用户策略?
- 为什么“新用户组 ,回访组 ”不能证明两个组的处理效应不同?应报告哪一个对比?
- 实验后按“是否使用新功能”切片,可能引入什么偏差?怎样把人群定义移回处理之前?
延伸阅读#
- Kohavi et al., Online Controlled Experiments at Large Scale (KDD 2013) ↗
- Athey & Imbens, The State of Applied Econometrics: Causality and Policy Evaluation (2017) ↗
- Athey & Wager, Estimating Treatment Effects with Causal Forests (2019) ↗
- Deng et al., Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data (WSDM 2013) ↗