两版失败率能分别算误差再相减吗?共享用户与分母的配对差推断
从同请求双版本标签构造用户级计数差,推导共享分母的线性化残差,手算协方差如何改变标准误,并实现配对版本差的透明推断。
上一篇用用户残差计算一个请求比例的标准误(Standard Error,SE)。发布会上,团队却要比较两列指标:“当前版失败 12%,基线版失败 10%,增加的 2 个百分点是否稳定?”两版运行在相同用户的相同请求上,难题本身就有配对结构。
若把两列标准误平方相加,默认了两个估计独立;若凭两条置信区间(Confidence Interval,CI)是否重叠判断差异,也没有直接计算差值的波动。本篇聚焦配对比率差(Paired Ratio Difference):先形成每用户的版本差贡献,再沿同一个请求分母做线性化。只研究固定旧版流量上的双版影子回放,文中均为合成数据,封面只作装饰。
01 三列用户汇总,哪些信息必须一起保留?#
在预先固定的入口规则、完整七天窗和二值失败定义下,第 位用户有 个请求。每条请求都在隔离环境执行当前版与基线版,并获得两版完整终态标签。
令 为当前版失败次数, 为基线版失败次数, 为净失败次数差。此处 包含两版都失败的请求,与前篇只数“基线成功、当前版失败”的 有不同含义;净差也允许为负。
用户向量 独立同分布(Independent and Identically Distributed,IID),同用户内的两版与各请求允许相关。固定目标为
表示当前版失败更多,负值表示更少; 对完整入口用户轨迹取期望。三个输入数组分别为 a[N]、b[N]、m[N],同一行必须对应同一用户。分子计数都处于 ,差值处于 。
两版必须共享完全相同的请求清单。某版缺少终态时,不应把那版的分母单独减一后继续套本篇公式。先按预注册规则处理缺标或等待成熟;否则请求构成变化也会进入所谓“版本差”。
冻结请求清单及两套模型 → 每条请求获得 (失败A,失败B)
按 user_id 连接并聚合 → 同行 (A_i,B_i,M_i)
先算 D_i=A_i-B_i → 总 D / 总 M
同一用户上的差值残差 → 标准误与近似区间
保留两版残差协方差 → 检查是否误用了独立公式text这是固定轨迹上的版本比较。当前版上线后可能改变用户后续提问和流量组成,影子回放不观测这条反馈路径;部署后的因果效果需要对应的在线实验设计。
02 差值残差,怎样自动带回协方差?#
点估计可以先相减,也可以先求差再汇总,两者代数上完全一致:
沿用上篇的一阶展开,令 ,有
将未知参数替换为观测值,定义三种用户残差:
每列残差的和均为零。用 表示对应残差的样本方差,用 表示两版残差的样本协方差(Covariance),均以 为分母。于是
注意这里比较的是减去比例乘请求数之后的残差,原始失败计数的协方差不足以代替它。共享分母自身也在两版之间引入依赖。
时,两版遇到同样的难用户一起变差,差值会抵消这部分波动; 时,双方在不同用户上失败,差值波动反而更大。配对是保存真实依赖结构,不能先假定它总会缩小区间。
在正分母、有限二阶矩、非退化残差及足够多独立用户等常规条件下,一次固定开封的双侧近似置信区间为
是标准正态分位数, 是双侧尾部总额度。 的单位是比例差,乘 100 后才是百分点。例如 是增加 2 个百分点;相对 10% 基线的相对增幅是 20%,属于另一种统计量。
03 四人手算:错误的独立公式为何给出 0.25?#
每人两条配对请求,用户汇总如下。表格中的计数可以由合法二值请求标签产生。
| 用户 | 请求 | 当前失败 | 基线失败 | 差 | |
|---|---|---|---|---|---|
| 1 | 2 | 0 | 0 | 0 | −0.5 |
| 2 | 2 | 1 | 0 | 1 | +0.5 |
| 3 | 2 | 1 | 1 | 0 | −0.5 |
| 4 | 2 | 2 | 1 | 1 | +0.5 |
| 合计 | 8 | 4 | 2 | 2 | 0 |
、、,。当前版残差为 ,基线残差为 ,所以
错误地视作独立,标准误会变成 。四人例子只供核对公式,不能用其正态区间直接作可靠的发布决定。
再换一个相关方向:、,每人仍有两个请求。两版平均失败率相同,用户残差却完全反向;正确差值标准误约 ,独立公式约 。忽略配对既可能夸大误差,也可能低估误差。
把两版各自区间的端点直接相减,能得到本篇区间吗?
直接用 [当前下界−基线上界,当前上界−基线下界] 是对两条区间形成的矩形做投影。它的覆盖承诺取决于两条区间的联合覆盖;两条普通 95% 区间不能自动给出一份 95% 联合结论。本篇直接估计配对差的波动,使用的是差值本身的残差方差。
04 Python:一列差值推断,两列残差审计#
以下函数显式计算两版残差及其协方差,并用差值残差直接计算非负方差。输入层拒绝无符号整数直接相减导致的下溢:验证后先转浮点,再执行 a-b。计数规模限制保证整数总量可被双精度精确表示。
import math
from statistics import NormalDist
import numpy as np
def paired_difference(a, b, m, alpha=0.05):
if (isinstance(alpha, bool) or not isinstance(alpha, (int, float))
or not math.isfinite(alpha) or not 0 < alpha < 1):
raise ValueError("alpha must be finite and inside (0,1)")
a, b, m = np.asarray(a), np.asarray(b), np.asarray(m)
if (m.ndim != 1 or a.shape != m.shape or b.shape != m.shape
or m.size < 2 or any(x.dtype.kind not in "iu" for x in (a, b, m))
or np.any(m < 1) or np.any(a < 0) or np.any(b < 0)
or np.any(a > m) or np.any(b > m)):
raise ValueError("same-order integer vectors: 0<=a,b<=m, m>=1, N>=2")
if np.any(m > 1_000_000_000) or m.size > 1_000_000:
raise ValueError("teaching implementation count limit exceeded")
a, b, m = a.astype(float), b.astype(float), m.astype(float)
n, mean_m = len(m), m.mean()
qa, qb = a.sum() / m.sum(), b.sum() / m.sum()
d = a - b
estimate = float(d.sum() / m.sum())
ra, rb = a - qa * m, b - qb * m
rd = d - estimate * m
scale = n * mean_m**2
va, vb = np.var(ra, ddof=1), np.var(rb, ddof=1)
cov = float(np.cov(ra, rb, ddof=1)[0, 1])
variance = float(np.var(rd, ddof=1) / scale)
result = {"estimate": estimate, "qa": float(qa), "qb": float(qb),
"users": n, "requests": int(m.sum()),
"variance": variance, "residual_covariance": cov,
"expanded_variance": float((va + vb - 2 * cov) / scale),
"independence_se": math.sqrt(float((va + vb) / scale)),
"max_request_share": float(m.max() / m.sum())}
if np.ptp(d / m) == 0 or variance == 0:
return dict(result, status="observed-degenerate", se=None, ci=None)
se = math.sqrt(variance)
z = NormalDist().inv_cdf(1 - alpha / 2)
return dict(result, status="large-sample-approximation", se=se,
ci=(estimate - z * se, estimate + z * se))
if __name__ == "__main__":
small = paired_difference([0, 1, 1, 2], [0, 0, 1, 1], [2] * 4)
print("four-user SE:", round(small["se"], 6))
print("wrong independence SE:", round(small["independence_se"], 6))
# Synthetic independent users; not duplication of four real people.
report = paired_difference([0, 1, 1, 2] * 50, [0, 0, 1, 1] * 50, [2] * 200)
print("difference:", report["estimate"], "users:", report["users"])
print("SE:", round(report["se"], 6))
print("95% CI:", tuple(round(x, 6) for x in report["ci"]))
print("variance identity:", np.isclose(
report["variance"], report["expanded_variance"]))
identical = paired_difference([0, 1, 2], [0, 1, 2], [2, 2, 2])
print("identical observations:", identical["status"])pythonfour-user SE: 0.144338
wrong independence SE: 0.25
difference: 0.25 users: 200
SE: 0.017722
95% CI: (0.215265, 0.284735)
variance identity: True
identical observations: observed-degeneratetext200 用户例子表示对四种用户类型各观察到 50 位独立合成用户,并用相同模式的计数简化展示;复制四位真实用户不能扩大独立样本。估计差是增加 25 个百分点,95% 近似区间约为增加 21.53 至 28.47 个百分点。这里输出的精度是计算展示精度,统计精度由标准误描述。
np.cov(ra,rb,ddof=1) 的非对角元素是样本协方差;np.var(rd,ddof=1) 直接估计差值残差方差。接口已核对 NumPy cov ↗、NumPy var ↗ 和 Python NormalDist ↗ 官方文档。independence_se 专供审计错误假设,不能当成另一条可任选的主结果。
实际输出应同时保存软件版本、用户名单、请求清单、模型版本与标签规则。数组长度相等无法证明用户顺序一致,上游必须按键连接。计算时间和工作内存均为 ;分布式实现可归并计数总和与中心化二阶矩,但要按相同用户层级形成残差。
05 净差过关后,哪些风险还没被回答?#
| 问题或方法 | 独立单位和目标 | 本篇的处理边界 |
|---|---|---|
| 独立两组失败率差 | 不同用户分组,各自拥有分母 | 使用对应的两组设计,不能强行配成同用户 |
| 独立请求的 McNemar 检验 | 每对请求之间独立,检验边际同质性 | 重复用户请求之间相关,不能直接套请求级检验 |
| 整用户 Bootstrap | 同时重抽三列,重算每轮差值 | 保留同一依赖结构,可作近似方法对照 |
| 用户级“至少一次新增失败” | 每用户一个事件 | 分母与事件均不同,接回用户级课程 |
| 本篇净失败率差 | 入口用户贡献下的请求比例差 | 可由改善抵消伤害,须另报新增失败风险 |
调试先检查 与 sum(a-b)/sum(m) 是否相同,再检查差值残差等于两版残差相减,最后核对直接方差与协方差展开。交换两版标签后,点估计应变号,标准误应不变,区间变成 [-原上界,-原下界]。这比单纯验证“数值落在合理范围”更能发现符号和连接错误。
若观测中两版每位用户的净差比例恰好相同,差值残差退化。代码省略区间并返回 observed-degenerate。某些用户内的正负差可能恰好抵消,或者未见的新用户类型仍有差异,观测零方差不能推出总体差距确定为零。
当前版的净失败率降低,是否说明没有伤害任何请求?
每条请求的差 可以写成“仅当前版失败”的指标减“仅基线版失败”的指标。净差允许两个方向相互抵消。若上线门关注新增伤害,应单列前一个事件的请求比例与相应上界;用户是否至少一次受损,还要重新按用户定义事件。
本篇的正态近似仍受少用户、重尾流量、跨用户共同冲击和边界退化影响。多次查看、临时选切片与同时报告多个差值,也需要对应的错误率方案。固定模型的影子回放不包含模型训练不确定性;在确认数据上重新挑模型后,应使用新的确认样本或覆盖完整选择过程的分析设计。
思考练习#
- 用四人表逐项核对 。再改成文中的负相关例子,说明丢协方差为何会由保守转为冒进。
- 打乱
b的用户顺序,点估计与标准误各会怎样变化?设计一项不依赖结果标签的连接校验,提前阻止这种错位。 - 构造四条“当前新增失败”和四条“当前修复”的请求,让净差为零。列出净差、请求级新增失败和用户级受损三张报表各需要保存什么分母。
相关工作#
- McNemar(1947),Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages ↗:相关比例差的经典研究;其请求对独立条件与本篇重复用户情形需要区分。
- Deng、Knoblich 与 Lu(2018),Applying the Delta Method in Metric Analytics: A Practical Guide with Novel Ideas ↗:理解共享聚合层级、比率与差值解析方差的核心参考。
- Cameron 与 Miller(2015),A Practitioner’s Guide to Cluster-Robust Inference ↗:从簇结构出发检查标准误及少簇推断的边界。
下一篇预告#
保存了配对结构,仍可能被一位超级重度用户主导。下一篇把请求占比与用户残差联系起来,用删一用户的精确比率变化定位影响来源,并解释为何“删掉异常用户”不能代替原目标的可靠推断。