同一天的故障波及许多用户,失败率差的标准误怎么算?用户与日期双向聚类
从共享日期冲击出发,用用户、日期与交叉单元格的残差和推导双向聚类方差,并用九格手算和纯 Python 核对。
上一篇用删一用户重算,定位了支配版本差的重度用户。现在考虑一次线上事故。某天检索服务异常,当前版更依赖检索,当天许多用户的新版失败率一起升高。即使每位用户都只发很少的请求,这些人的版本差也会一起波动。按用户聚合只保留了同一个人跨天的相关性,漏掉了同一天跨用户的共同冲击(Common Shock)。
用双向聚类稳健方差(Two-Way Cluster-Robust Variance),可以沿用户和日期两条轴分别累加相关项,再扣掉两次都算到的交叉格。以下例子均为合成数据。
01 先保留用户和日期,再算同一条比率#
同一批请求用冻结的当前版和基线版生成配对结果。按请求键连好成熟标签后,用请求发生时间归入事先定义的自然日。用户 在日期 发出至少一条请求时,该格记录三项计数。
- 为两版共用的请求数,至少为 1。
- 和 分别为当前版、基线版失败数,均在 到 之间。
- 为净失败数,可以为负。两版同时失败的请求对净差贡献为零,仍计入分母。
用户共有 位,日期共有 个,非空格共有 个。代码使用 行、5 列的稀疏长表(Long Format),两列键为 user 和 day,三列整数为 current、baseline、requests。若用矩阵表示,三张计数表均为 ,空格对求和贡献为零。标签未成熟的请求仍待核验,不能当成空格。
沿用配对比率差的请求权重。设 、,全量点估计为 。正值表示当前版失败更多,乘 100 得到百分点。若要外推到类似的未来用户和日期,目标可写作 ,期望对目标生成机制中的用户—日期格取,空格两项都为零。若只描述已完整观测的这批请求, 就是该批记录的描述值。已发生日期上重新抽用户,以及换到新的日期和用户,是两种不同的重复抽样问题。
本篇采用交叉依赖(Crossed Dependence)。同用户跨日、同日跨用户都允许相关,用户和日期都不同的两格按独立处理。例如,每位用户有独立的长期难度,每天有独立的平台波动,每格还有独立的噪声。同日波动只要对两版造成的影响不同,就会留在配对差里。若同一故障延续到多天,两条索引都不同的格也可能相关,需要换成符合依赖范围的时间单位或显式建模。
02 为什么加两项之后,还要减交叉格?#
把比率写成一条估计方程(Estimating Equation)。给候选差值 ,格内的残差总量为 。在目标 处记为 ,则有精确关系
对波动做比率线性化(Ratio Linearization)时,以稳定的总体分母尺度近似随机分母,再用观测 估计该尺度。分子的方差取决于所有有序格对的协方差。同一用户的格对归到第一项,同一天的格对归到第二项。两条轴都相同的格对属于同一个交叉格,所以要扣回一次。
| 有序格对关系 | 用户项 | 日期项 | 扣交叉格 | 净系数 |
|---|---|---|---|---|
| 同用户、不同日期 | 1 | 0 | 0 | 1 |
| 不同用户、同日期 | 0 | 1 | 0 | 1 |
| 同用户、同日期,含格自身 | 1 | 1 | 1 | 1 |
| 用户和日期均不同 | 0 | 0 | 0 | 0 |
计算时以 代替未知 ,记观测残差 ,量纲是净失败次数。用户总残差 形成长度 的向量,日期总残差 形成长度 的向量。各组先求和再平方,展开平方即可看到上表中的乘积。
的单位都是次数平方, 为比例平方。正值开平方得到估计标准误(Standard Error,SE)。这一版使用未做有限样本校正的容斥(Inclusion–Exclusion)公式,便于逐项复核。三项是相互重叠的乘积和,不能读作三个独立的方差来源。由于乘积可正可负,加上日期项再减交叉格也不保证比用户项更大。
同一用户同一天有两条请求,扣除项是两个平方还是一个平方?
先把两条请求的残差加成一个格,再对格求平方。若两条残差都为 1,用户项和日期项都已包含 ,交叉格就扣 4。扣 会留下被重复计算的交叉乘积。
03 九个格怎样手算出标准误?#
设三位用户都在三天发出请求,每格两条。基线版全对,当前版净失败数按行依次为 、、。于是 、、。每格减去 ,得到下表。合计列与合计行展示同一份残差沿两条轴如何汇总。
| 用户 | 第 1 天残差 | 第 2 天残差 | 第 3 天残差 | 用户合计 |
|---|---|---|---|---|
| A | 1 | 1 | 0 | 2 |
| B | 1 | 0 | −1 | 0 |
| C | 0 | −1 | −1 | −2 |
| 日期合计 | 2 | 0 | −2 | 0 |
行和平方得到 ,列和平方得到 ,九格中有六个非零残差,。只用用户项的同口径估计为 ,直接相加则得 。容斥后为 ,标准误约 ,即 17.57 个百分点。这三天只够说明算式,推断未来日期还需要足够的独立日期和用户。
为什么下面的代码保留负值,并省略标准误?
看两人两天的棋盘格,残差依次为 和 ,每格一条请求。两条轴的合计都为零,交叉格平方和为 4,公式返回 。理论方差为非负,有限样本中的容斥估计可以为负。保留这个诊断值便于复核三项,省略标准误可以防止把截成零的数读作确定性。
04 Python 怎样沿两条轴聚合?#
先用同一份配对长表计算全局比率,再把每格的残差贡献同时交给三个累加器。估计过程使用冻结模型的回放结果,无需重新训练。
完整配对请求 → 按 (用户, 日期) 汇总三项计数
↓
全局 U、T
↓
逐格计算缩放残差
↙ ↓ ↘
用户求和 日期求和 交叉格
↘ ↓ ↙
各自平方求和 → 容斥 → 方差与诊断状态text直接相减浮点比率容易把大计数下的微小残差舍掉。实现先计算整数 。因为 ,对 求出的三个平方和都除以 ,就得到方差公式中的三个已缩放项。输入每格一行且键唯一,缺格自然省略。输出包括点估计、三项、带符号的合成方差、标准误、维度计数和诊断状态。函数接收标准 Python int,上游数组应先核验其整数类型再转换。
from collections import defaultdict
from fractions import Fraction
from math import sqrt
def two_way_ratio(rows):
"""Compute the uncorrected two-way variance for paired failure counts."""
cells = {}
total_diff = total_requests = 0
for user, day, current, baseline, requests in rows:
if any(not isinstance(key, str) or not key.strip()
for key in (user, day)):
raise ValueError("user and day must be nonempty strings")
if any(type(n) is not int for n in (current, baseline, requests)):
raise ValueError("counts must be Python integers")
if requests < 1 or not (
0 <= current <= requests and 0 <= baseline <= requests
):
raise ValueError("counts outside the valid range")
key = (user, day)
if key in cells:
raise ValueError("aggregate each user-day cell exactly once")
diff = current - baseline
cells[key] = (diff, requests)
total_diff += diff
total_requests += requests
if not cells:
raise ValueError("at least one nonempty cell is required")
by_user = defaultdict(int)
by_day = defaultdict(int)
cell_squares = 0
for (user, day), (diff, requests) in cells.items():
scaled = total_requests * diff - total_diff * requests
by_user[user] += scaled
by_day[day] += scaled
cell_squares += scaled ** 2
divisor = total_requests ** 4
user_term = Fraction(sum(z ** 2 for z in by_user.values()), divisor)
day_term = Fraction(sum(z ** 2 for z in by_day.values()), divisor)
cell_term = Fraction(cell_squares, divisor)
variance = user_term + day_term - cell_term
if min(len(by_user), len(by_day)) < 2:
status = "single-cluster-axis"
elif variance < 0:
status = "negative-variance"
elif variance == 0:
status = "zero-variance"
else:
status = "positive-diagnostic"
return {
"estimate": Fraction(total_diff, total_requests),
"user_term": user_term,
"day_term": day_term,
"cell_term": cell_term,
"variance": variance,
"se": sqrt(variance) if status == "positive-diagnostic" else None,
"shape": (len(by_user), len(by_day), len(cells)),
"status": status,
}
if __name__ == "__main__":
counts = [(2, 2, 1), (2, 1, 0), (1, 0, 0)]
rows = [
(user, str(t), a, 0, 2)
for user, counts_by_day in zip("ABC", counts)
for t, a in enumerate(counts_by_day, start=1)
]
out = two_way_ratio(rows)
print(out["estimate"], out["shape"], out["status"])
print(out["user_term"], out["day_term"], out["cell_term"], out["variance"])
print(f'{out["se"]:.6f}')python1/2 (3, 3, 9) positive-diagnostic
2/81 2/81 1/54 5/162
0.175682textdefaultdict(int) 让缺省键从零开始,Fraction 保留方差项的精确符号,sqrt 只在输出标准误时使用浮点。若同一轴只有一个簇,先返回该状态,因为这条轴缺少重复观测。即便返回 positive-diagnostic,覆盖率仍取决于抽样条件。按哈希表操作计,两遍累计花 时间,存储 ,无需创建稠密矩阵或枚举 个格对。分组容器 ↗ · 精确分数 ↗ · 平方根 ↗
05 同一天多收十万人,哪些不确定性还在?#
上线前先保存日期口径与时区、版本指纹、回放请求键、两版成熟标签,以及每轴簇数与最大请求份额。日期用业务事件时间划分,标签到达时间用于成熟度判断。两者混用会把同一次故障拆散。分布式计算先归并重复的用户—日期键,再求交叉格平方和。审计时核对两轴汇总的残差总和都为零,并从原表重算 。若运行两次的方差不同,逐项比对用户、日期、交叉格三项,定位在哪一步丢了相关项。
- 每条轴都要有独立信息。 只有两三个有效日期时,同天多收十万人可以改进当天的描述,却没有增加日期冲击的重复次数。集中度高、分母不稳或残差接近退化时,正态近似仍可能失效。上面的函数给出方差诊断,实际区间还要论证两轴的大样本条件和极限分布。
- 簇的边界来自故障范围。 跨日故障、周内自相关或跨用户跨日的同租户依赖都可能在公式外留下协方差。可根据事先定义的故障过程评估更长的时间块或其他相关结构,再用独立窗口验证。只把日期固定效应(Date Fixed Effects)加到模型中,会调整所拟合的均值结构,残差里仍可能保留日期相关。
- 按所需的重复抽样选方法。 只按用户聚类对应跨用户独立的分析设定。只按日期聚类需要跨日期独立,同用户跨日的依赖会破坏它。按用户—日期组合键单向聚类只保留格内相关。本篇的双向聚类服务于冻结版本的配对审计。时间切换实验(Switchback Experiment)利用预先随机的时间块处理顺序来做因果推断,识别依据来自分配机制。
思考练习#
- 在九格例子中,把三位用户的残差行都改成 ,仍用原来的请求数。手算用户项、日期项和交叉格项。为什么只按用户聚类会得到零?
- 写一个慢速对照,枚举所有有序格对,只在用户相同或日期相同的时候加残差乘积。用三用户例子与棋盘格检验容斥公式,再交换两版,验证点估计反号而三项不变。
- 若一场服务事故连续三天,写出一对用户和日期都不同、却仍可能相关的格。说明怎样在看结果前定义备选时间块,以及在只有少数独立块时怎样表述可以外推的范围。
相关工作#
- Cameron、Gelbach 与 Miller(2011)提出对非嵌套分组使用容斥的多向聚类方差。Robust Inference With Multiway Clustering ↗
- Deng、Knoblich 与 Lu(2018)从线上度量出发,说明比率指标怎样用一阶展开(Delta Method)传播分子和分母的波动。Applying the Delta Method in Metric Analytics ↗
- Owen(2007)研究对行列分别重采样,以保留不平衡交叉数据的两条依赖轴。The Pigeonhole Bootstrap ↗
- Menzel(2021)研究两条及以上聚类轴下的重采样及非高斯极限,说明交叉依赖下区间为何需要额外条件。Bootstrap With Cluster-Dependence in Two or More Dimensions ↗
下一篇预告#
双向聚类用三个残差平方和估计局部波动。下一篇从同一张稀疏长表出发,沿用户和日期分别重采样,看一格如何获得两个抽中次数的乘积,以及每轮怎样重算请求分母。