观文听傑

返回

总体平均上升时,一组用户改善而另一组用户下降的实验分层示意总体平均上升时,一组用户改善而另一组用户下降的实验分层示意

上一篇用 CUPED 从处理前数据中扣除稳定的个体波动,让总体处理效应更容易被看见。但一个总体均值仍可能掩盖方向相反的人群:新用户因新流程更难上手而受损,老用户却因快捷入口而获益。若只看平均提升,就可能把伤害较小的人群扩到全部流量。

本篇讲清一个问题:怎样在实验开始前定义关键人群,并检验处理效应是否真的因人群而异?这属于异质性处理效应(Heterogeneous Treatment Effect)分析。重点是“预先定义 + 交互检验(interaction test)”,而不是实验结束后反复切片直到找到显著故事。下一篇可以继续处理当分组很多时的多重比较与收缩估计。

01 总体效果是各组效果的加权平均#

设 Ti∈{0,1}T_i\in\{0,1\} 是随机分配,Si∈{0,1}S_i\in\{0,1\} 是实验前定义的人群标记,YiY_i 是结果。S=1S=1 可以表示新用户,S=0S=0 表示回访用户。各组的平均处理效应记为 τs=E[Y∣T=1,S=s]−E[Y∣T=0,S=s]\tau_s=E[Y\mid T=1,S=s]-E[Y\mid T=0,S=s],全体效果是

τall=wτ1+(1−w)τ0,w=P(S=1).\tau_{all}=w\tau_1+(1-w)\tau_0,\quad w=P(S=1).

这个恒等式解释了“平均有效、局部受损”并不矛盾:只要大组的收益权重大于小组的伤害,总体仍为正。它也要求比较时使用实验总体中的真实权重;把每个切片等权平均会改变目标问题。

flowchart LR
  A[实验前定义 S:新用户 / 回访用户] --> B[在每个 S 内随机分配 T]
  B --> C[按分配臂计算均值与不确定性]
  C --> D[估计各组效果 τ₀、τ₁]
  D --> E[检验交互:τ₁ - τ₀]
  D --> F[按目标人群权重汇总总体效果]
  E --> G{差异有预注册证据?}
  G -->|有| H[报告人群边界与护栏]
  G -->|无| I[保留总体结论,不讲切片故事]
mermaid

02 手算:总体 +0.6,预定义小组却 -3#

假设实验前已定义“新用户”为 20%,回访用户为 80%。每个实验臂里两组各有足够样本;以下是组均值,结果单位可以是每周完成任务数:

人群占比Control 均值Treatment 均值组内效果 τs\tau_s
新用户 S=1S=120%10.07.0-3.0
回访用户 S=0S=080%10.011.5+1.5

总体 Control 均值为 1010;Treatment 均值为 0.2×7+0.8×11.5=10.60.2\times7+0.8\times11.5=10.6,所以总体效果是 +0.6+0.6。总体结果支持小幅提升,但不能推出新用户也获益。若新用户是高价值或安全敏感群体,继续全量扩流可能不合适。

交互组件允许调整小组占比和两组效果,实时显示加权总体效果与交互差;滑块可用键盘操作,结果随屏幕宽度与站点主题变化。

关键证据不是“一个组显著、另一个组不显著”。两个单独检验的显著性不同,不等于两组效果彼此显著不同。我们要直接检验差值 τ1−τ0=−3−1.5=−4.5\tau_1-\tau_0=-3-1.5=-4.5,也就是 treatment 与 subgroup 的交互作用。

03 回归中的交互项表达什么?#

用线性模型写成交互项(interaction term)

Yi=β0+β1Ti+β2Si+β3(TiSi)+ϵi.Y_i=\beta_0+\beta_1T_i+\beta_2S_i+\beta_3(T_iS_i)+\epsilon_i.

输入 T,ST,S 是各 NN 个单位的 0/1 向量,交互特征 T⊙ST\odot S 也是 [N]。设计矩阵 X=[1,T,S,T⊙S]X=[\mathbf{1},T,S,T\odot S] 形状为 [N,4],系数 β∈R4\beta\in\mathbb{R}^4。预测值 Y^=Xβ\hat Y=X\beta 形状为 [N]。

  • β0\beta_0 是回访用户 Control 的均值。
  • β1\beta_1 是回访用户的处理效应 τ0\tau_0。
  • β2\beta_2 是 Control 下新用户与回访用户的基线差异。
  • β3\beta_3 是两组处理效应之差 τ1−τ0\tau_1-\tau_0;新用户效果为 β1+β3\beta_1+\beta_3。

上例对应 β0=10,β1=1.5,β2=0,β3=−4.5\beta_0=10,\beta_1=1.5,\beta_2=0,\beta_3=-4.5。交互项的标准误(standard error)与置信区间才回答“人群效果是否不同”。有多个实验前协变量时可把它们加入模型(类似 CUPED),但模型规格和分组规则应事先定好,并使用与随机化单位一致的误差估计。

04 一段可运行的 Python:估计两组效果和交互差#

下面只依赖 Python 标准库。y、treatment、segment 均为长度 NN 的一维序列 [N];函数返回两组均值差、按组内样本方差计算的标准误,以及交互差。它假设观测相互独立且每个臂每组至少两个单位,因此只是教学基线;同一用户多条记录、家庭/门店集群随机化或重复测量,应改为按随机化单位聚类的标准误。

返回的 interaction_ci_approx 用正态近似给出交互差区间;小样本时应换用与设计相符的方法。代码数据每格只有 4 人,区间会很宽;结果用于展示计算,不足以证明小组差异。正式分析应报告各格人数、组内效果、交互差及置信区间(confidence interval),并在实验设计阶段按交互效应而非总体效应规划样本量。若实验有分层随机化,应同时纳入层变量或按预先约定加权;若 SS 是实验后行为(如是否点击新按钮),按它切组会破坏随机化保护,不能这样解释因果效果。

05 预注册、功效与扩量边界#

实验开始前记录:关键人群的业务理由和可执行定义、分层变量观测时间、主要交互项、结果窗口、目标总体权重、最小有意义的交互效应、样本量与停止规则。随机化应在重要人群内保持可比;否则对稀有组的小样本结果尤其不稳定。

如果结果异常,先逐格核对随机化单位数、分流比例、结果窗口和缺失率,再按一个切片从原始分配日志重算均值;若某格少于预设最小样本、协变量在一臂缺失或标准误为零,不要仅靠补零继续检验。极稀有切片可能违反重叠性(positivity),即某类单位几乎不可能进入其中一臂,此时数据无法支持可靠的组内因果比较。切片越多,偶然出现极端差异的机会越大。比如按国家、设备、版本、年龄、来源各切十档,再从数百个结果里只报告最红的一格,会把噪声当成发现。要限制确认性切片数量,明确哪些是探索性;需要广泛搜索时,采用多重检验控制或部分汇聚估计,并在新实验中复验。不要依据一次结果临时重定义“新用户”。

观察到的现象可支持的结论下一步
总体提升,交互区间包含 0没有足够证据说明效果不同保持总体估计,继续收集计划样本
总体提升,预注册交互显著且方向稳定人群间效果有差异证据核对护栏,评估分人群发布的成本与风险
某切片效果显著,交互不显著不能说该组比其他组效果不同不以“显著 vs 不显著”代替交互检验
事后发现一个小切片大幅受损生成了待验证假设标记探索性,独立复验后再改路由

即使交互显著,也要查看绝对风险、样本代表性和新旧用户识别是否稳定。分人群发布会引入身份错配、策略边界和长期留存变化等工程成本。总体胜出不等于每个组都安全;小组暂时不显著也不等于已证明没有伤害。与 CUPED(利用实验前数据降低方差的方法)一样,分层分析只能提高决策质量,不能修复样本比例失配(Sample Ratio Mismatch, SRM)、错误标签 Join 或曝光埋点缺失。

思考练习#

  1. 新用户占 10%,效果为 −4-4;回访用户效果为 +1+1。总体加权效果是多少?为什么该值仍不足以决定新用户策略?
  2. 为什么“新用户组 p<0.05p<0.05,回访组 p>0.05p>0.05”不能证明两个组的处理效应不同?应报告哪一个对比?
  3. 实验后按“是否使用新功能”切片,可能引入什么偏差?怎样把人群定义移回处理之前?

延伸阅读#

总体提升,为何新用户却受损?预注册分层与实验异质性效应
https://zwjcode.cn/blog/experiment-subgroup-heterogeneity
作者 傑
发布于 2026年10月6日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。