观文听傑

返回

青色与深蓝色陶瓷槽中成对排列的象牙色和琥珀色小牌,由细黄铜桥连接到中央平衡杆青色与深蓝色陶瓷槽中成对排列的象牙色和琥珀色小牌,由细黄铜桥连接到中央平衡杆

上一篇用用户残差计算一个请求比例的标准误(Standard Error,SE)。发布会上,团队却要比较两列指标:“当前版失败 12%,基线版失败 10%,增加的 2 个百分点是否稳定?”两版运行在相同用户的相同请求上,难题本身就有配对结构。

若把两列标准误平方相加,默认了两个估计独立;若凭两条置信区间(Confidence Interval,CI)是否重叠判断差异,也没有直接计算差值的波动。本篇聚焦配对比率差(Paired Ratio Difference):先形成每用户的版本差贡献,再沿同一个请求分母做线性化。只研究固定旧版流量上的双版影子回放,文中均为合成数据,封面只作装饰。

01 三列用户汇总,哪些信息必须一起保留?#

在预先固定的入口规则、完整七天窗和二值失败定义下,第 i=1,…,Ni=1,\ldots,N 位用户有 Mi≥1M_i\ge1 个请求。每条请求都在隔离环境执行当前版与基线版,并获得两版完整终态标签。

令 AiA_i 为当前版失败次数,BiB_i 为基线版失败次数,Di=Ai−BiD_i=A_i-B_i 为净失败次数差。此处 AiA_i 包含两版都失败的请求,与前篇只数“基线成功、当前版失败”的 SiS_i 有不同含义;净差也允许为负。

用户向量 Xi=(Ai,Bi,Mi)X_i=(A_i,B_i,M_i) 独立同分布(Independent and Identically Distributed,IID),同用户内的两版与各请求允许相关。固定目标为

qA=E[Ai]/E[Mi],qB=E[Bi]/E[Mi],Δ=qA−qB=E[Di]/E[Mi].\begin{aligned} q_A&=E[A_i]/E[M_i],\\ q_B&=E[B_i]/E[M_i],\\ \Delta&=q_A-q_B=E[D_i]/E[M_i]. \end{aligned}

Δ>0\Delta>0 表示当前版失败更多,负值表示更少;EE 对完整入口用户轨迹取期望。三个输入数组分别为 a[N]、b[N]、m[N],同一行必须对应同一用户。分子计数都处于 [0,Mi][0,M_i],差值处于 [−Mi,Mi][-M_i,M_i]。

两版必须共享完全相同的请求清单。某版缺少终态时,不应把那版的分母单独减一后继续套本篇公式。先按预注册规则处理缺标或等待成熟;否则请求构成变化也会进入所谓“版本差”。

冻结请求清单及两套模型 → 每条请求获得 (失败A,失败B)
按 user_id 连接并聚合 → 同行 (A_i,B_i,M_i)
先算 D_i=A_i-B_i → 总 D / 总 M
同一用户上的差值残差 → 标准误与近似区间
保留两版残差协方差 → 检查是否误用了独立公式
text

这是固定轨迹上的版本比较。当前版上线后可能改变用户后续提问和流量组成,影子回放不观测这条反馈路径;部署后的因果效果需要对应的在线实验设计。

02 差值残差,怎样自动带回协方差?#

点估计可以先相减,也可以先求差再汇总,两者代数上完全一致:

Δ^=q^A−q^B=∑i(Ai−Bi)∑iMi.\begin{aligned} \widehat\Delta &=\widehat q_A-\widehat q_B\\ &=\frac{\sum_i(A_i-B_i)}{\sum_iM_i}. \end{aligned}

沿用上篇的一阶展开,令 μM=E[Mi]\mu_M=E[M_i],有

Δ^−Δ≈1NμM∑i(Di−ΔMi).\widehat\Delta-\Delta \approx\frac1{N\mu_M}\sum_i(D_i-\Delta M_i).

将未知参数替换为观测值,定义三种用户残差:

rAi=Ai−q^AMi,rBi=Bi−q^BMi,rDi=Di−Δ^Mi=rAi−rBi.\begin{aligned} r_{Ai}&=A_i-\widehat q_AM_i,\\ r_{Bi}&=B_i-\widehat q_BM_i,\\ r_{Di}&=D_i-\widehat\Delta M_i\\ &=r_{Ai}-r_{Bi}. \end{aligned}

每列残差的和均为零。用 sA2,sB2,sD2s_A^2,s_B^2,s_D^2 表示对应残差的样本方差,用 sABs_{AB} 表示两版残差的样本协方差(Covariance),均以 N−1N-1 为分母。于是

sD2=sA2+sB2−2sAB,SE^Δ2=sD2NM‾2.\begin{aligned} s_D^2&=s_A^2+s_B^2-2s_{AB},\\ \widehat{\mathrm{SE}}_\Delta^2 &=\frac{s_D^2}{N\overline M^2}. \end{aligned}

注意这里比较的是减去比例乘请求数之后的残差,原始失败计数的协方差不足以代替它。共享分母自身也在两版之间引入依赖。

sAB>0s_{AB}>0 时,两版遇到同样的难用户一起变差,差值会抵消这部分波动;sAB<0s_{AB}<0 时,双方在不同用户上失败,差值波动反而更大。配对是保存真实依赖结构,不能先假定它总会缩小区间。

在正分母、有限二阶矩、非退化残差及足够多独立用户等常规条件下,一次固定开封的双侧近似置信区间为

Δ^ ± z1−α/2SE^Δ.\widehat\Delta\ \pm\ z_{1-\alpha/2} \widehat{\mathrm{SE}}_\Delta.

zpz_p 是标准正态分位数,α\alpha 是双侧尾部总额度。Δ\Delta 的单位是比例差,乘 100 后才是百分点。例如 0.020.02 是增加 2 个百分点;相对 10% 基线的相对增幅是 20%,属于另一种统计量。

03 四人手算:错误的独立公式为何给出 0.25?#

每人两条配对请求,用户汇总如下。表格中的计数可以由合法二值请求标签产生。

用户请求 MiM_i当前失败 AiA_i基线失败 BiB_i差 DiD_irDir_{Di}
12000−0.5
22101+0.5
32110−0.5
42211+0.5
合计84220

q^A=0.5\widehat q_A=0.5、q^B=0.25\widehat q_B=0.25、Δ^=0.25\widehat\Delta=0.25,M‾=2\overline M=2。当前版残差为 [−1,0,0,1][-1,0,0,1],基线残差为 [−0.5,−0.5,0.5,0.5][-0.5,-0.5,0.5,0.5],所以

sA2=2/3,sB2=1/3,sAB=1/3,sD2=1/3,SE^Δ=1/34×4≈0.14434.\begin{aligned} s_A^2&=2/3,\quad s_B^2=1/3,\\ s_{AB}&=1/3,\quad s_D^2=1/3,\\ \widehat{\mathrm{SE}}_\Delta &=\sqrt{\frac{1/3}{4\times4}} \approx0.14434. \end{aligned}

错误地视作独立,标准误会变成 (2/3+1/3)/16=0.25\sqrt{(2/3+1/3)/16}=0.25。四人例子只供核对公式,不能用其正态区间直接作可靠的发布决定。

再换一个相关方向:A=[0,0,2,2]A=[0,0,2,2]、B=[2,2,0,0]B=[2,2,0,0],每人仍有两个请求。两版平均失败率相同,用户残差却完全反向;正确差值标准误约 0.577350.57735,独立公式约 0.408250.40825。忽略配对既可能夸大误差,也可能低估误差。

把两版各自区间的端点直接相减,能得到本篇区间吗?

直接用 [当前下界−基线上界,当前上界−基线下界] 是对两条区间形成的矩形做投影。它的覆盖承诺取决于两条区间的联合覆盖;两条普通 95% 区间不能自动给出一份 95% 联合结论。本篇直接估计配对差的波动,使用的是差值本身的残差方差。

04 Python:一列差值推断,两列残差审计#

以下函数显式计算两版残差及其协方差,并用差值残差直接计算非负方差。输入层拒绝无符号整数直接相减导致的下溢:验证后先转浮点,再执行 a-b。计数规模限制保证整数总量可被双精度精确表示。

four-user SE: 0.144338
wrong independence SE: 0.25
difference: 0.25 users: 200
SE: 0.017722
95% CI: (0.215265, 0.284735)
variance identity: True
identical observations: observed-degenerate
text

200 用户例子表示对四种用户类型各观察到 50 位独立合成用户,并用相同模式的计数简化展示;复制四位真实用户不能扩大独立样本。估计差是增加 25 个百分点,95% 近似区间约为增加 21.53 至 28.47 个百分点。这里输出的精度是计算展示精度,统计精度由标准误描述。

np.cov(ra,rb,ddof=1) 的非对角元素是样本协方差;np.var(rd,ddof=1) 直接估计差值残差方差。接口已核对 NumPy cov ↗、NumPy var ↗ 和 Python NormalDist ↗ 官方文档。independence_se 专供审计错误假设,不能当成另一条可任选的主结果。

实际输出应同时保存软件版本、用户名单、请求清单、模型版本与标签规则。数组长度相等无法证明用户顺序一致,上游必须按键连接。计算时间和工作内存均为 O(N)O(N);分布式实现可归并计数总和与中心化二阶矩,但要按相同用户层级形成残差。

05 净差过关后,哪些风险还没被回答?#

问题或方法独立单位和目标本篇的处理边界
独立两组失败率差不同用户分组,各自拥有分母使用对应的两组设计,不能强行配成同用户
独立请求的 McNemar 检验每对请求之间独立,检验边际同质性重复用户请求之间相关,不能直接套请求级检验
整用户 Bootstrap同时重抽三列,重算每轮差值保留同一依赖结构,可作近似方法对照
用户级“至少一次新增失败”每用户一个事件分母与事件均不同,接回用户级课程
本篇净失败率差入口用户贡献下的请求比例差可由改善抵消伤害,须另报新增失败风险

调试先检查 q^A−q^B\widehat q_A-\widehat q_B 与 sum(a-b)/sum(m) 是否相同,再检查差值残差等于两版残差相减,最后核对直接方差与协方差展开。交换两版标签后,点估计应变号,标准误应不变,区间变成 [-原上界,-原下界]。这比单纯验证“数值落在合理范围”更能发现符号和连接错误。

若观测中两版每位用户的净差比例恰好相同,差值残差退化。代码省略区间并返回 observed-degenerate。某些用户内的正负差可能恰好抵消,或者未见的新用户类型仍有差异,观测零方差不能推出总体差距确定为零。

当前版的净失败率降低,是否说明没有伤害任何请求?

每条请求的差 YA−YBY_A-Y_B 可以写成“仅当前版失败”的指标减“仅基线版失败”的指标。净差允许两个方向相互抵消。若上线门关注新增伤害,应单列前一个事件的请求比例与相应上界;用户是否至少一次受损,还要重新按用户定义事件。

本篇的正态近似仍受少用户、重尾流量、跨用户共同冲击和边界退化影响。多次查看、临时选切片与同时报告多个差值,也需要对应的错误率方案。固定模型的影子回放不包含模型训练不确定性;在确认数据上重新挑模型后,应使用新的确认样本或覆盖完整选择过程的分析设计。

思考练习#

  1. 用四人表逐项核对 sD2=sA2+sB2−2sABs_D^2=s_A^2+s_B^2-2s_{AB}。再改成文中的负相关例子,说明丢协方差为何会由保守转为冒进。
  2. 打乱 b 的用户顺序,点估计与标准误各会怎样变化?设计一项不依赖结果标签的连接校验,提前阻止这种错位。
  3. 构造四条“当前新增失败”和四条“当前修复”的请求,让净差为零。列出净差、请求级新增失败和用户级受损三张报表各需要保存什么分母。

相关工作#

  1. McNemar(1947),Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages ↗:相关比例差的经典研究;其请求对独立条件与本篇重复用户情形需要区分。
  2. Deng、Knoblich 与 Lu(2018),Applying the Delta Method in Metric Analytics: A Practical Guide with Novel Ideas ↗:理解共享聚合层级、比率与差值解析方差的核心参考。
  3. Cameron 与 Miller(2015),A Practitioner’s Guide to Cluster-Robust Inference ↗:从簇结构出发检查标准误及少簇推断的边界。

下一篇预告#

保存了配对结构,仍可能被一位超级重度用户主导。下一篇把请求占比与用户残差联系起来,用删一用户的精确比率变化定位影响来源,并解释为何“删掉异常用户”不能代替原目标的可靠推断。

两版失败率能分别算误差再相减吗?共享用户与分母的配对差推断
https://zwjcode.cn/blog/paired-version-ratio-covariance
作者 傑
发布于 2026年11月17日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。