观文听傑

返回

一束琥珀色光同时照亮三串青色玻璃珠,象征多个用户受到同一天的共同冲击一束琥珀色光同时照亮三串青色玻璃珠,象征多个用户受到同一天的共同冲击

上一篇用删一用户重算,定位了支配版本差的重度用户。现在考虑一次线上事故。某天检索服务异常,当前版更依赖检索,当天许多用户的新版失败率一起升高。即使每位用户都只发很少的请求,这些人的版本差也会一起波动。按用户聚合只保留了同一个人跨天的相关性,漏掉了同一天跨用户的共同冲击(Common Shock)。

用双向聚类稳健方差(Two-Way Cluster-Robust Variance),可以沿用户和日期两条轴分别累加相关项,再扣掉两次都算到的交叉格。以下例子均为合成数据。

01 先保留用户和日期,再算同一条比率#

同一批请求用冻结的当前版和基线版生成配对结果。按请求键连好成熟标签后,用请求发生时间归入事先定义的自然日。用户 ii 在日期 tt 发出至少一条请求时,该格记录三项计数。

  • MitM_{it} 为两版共用的请求数,至少为 1。
  • AitA_{it} 和 BitB_{it} 分别为当前版、基线版失败数,均在 00 到 MitM_{it} 之间。
  • Dit=Ait−BitD_{it}=A_{it}-B_{it} 为净失败数,可以为负。两版同时失败的请求对净差贡献为零,仍计入分母。

用户共有 NN 位,日期共有 GG 个,非空格共有 CC 个。代码使用 CC 行、5 列的稀疏长表(Long Format),两列键为 user 和 day,三列整数为 current、baseline、requests。若用矩阵表示,三张计数表均为 N×GN\times G,空格对求和贡献为零。标签未成熟的请求仍待核验,不能当成空格。

沿用配对比率差的请求权重。设 U=∑itDitU=\sum_{it}D_{it}、T=∑itMitT=\sum_{it}M_{it},全量点估计为 Δ^=U/T\widehat\Delta=U/T。正值表示当前版失败更多,乘 100 得到百分点。若要外推到类似的未来用户和日期,目标可写作 Δ=E[Dit]/E[Mit]\Delta=E[D_{it}]/E[M_{it}],期望对目标生成机制中的用户—日期格取,空格两项都为零。若只描述已完整观测的这批请求,U/TU/T 就是该批记录的描述值。已发生日期上重新抽用户,以及换到新的日期和用户,是两种不同的重复抽样问题。

本篇采用交叉依赖(Crossed Dependence)。同用户跨日、同日跨用户都允许相关,用户和日期都不同的两格按独立处理。例如,每位用户有独立的长期难度,每天有独立的平台波动,每格还有独立的噪声。同日波动只要对两版造成的影响不同,就会留在配对差里。若同一故障延续到多天,两条索引都不同的格也可能相关,需要换成符合依赖范围的时间单位或显式建模。

02 为什么加两项之后,还要减交叉格?#

把比率写成一条估计方程(Estimating Equation)。给候选差值 δ\delta,格内的残差总量为 Dit−δMitD_{it}-\delta M_{it}。在目标 Δ\Delta 处记为 rit(Δ)r_{it}(\Delta),则有精确关系

Δ^−Δ=∑itrit(Δ)T.\widehat\Delta-\Delta=\frac{\sum_{it}r_{it}(\Delta)}{T}.

对波动做比率线性化(Ratio Linearization)时,以稳定的总体分母尺度近似随机分母,再用观测 TT 估计该尺度。分子的方差取决于所有有序格对的协方差。同一用户的格对归到第一项,同一天的格对归到第二项。两条轴都相同的格对属于同一个交叉格,所以要扣回一次。

有序格对关系用户项日期项扣交叉格净系数
同用户、不同日期1001
不同用户、同日期0101
同用户、同日期,含格自身1111
用户和日期均不同0000

计算时以 Δ^\widehat\Delta 代替未知 Δ\Delta,记观测残差 rit=Dit−Δ^Mitr_{it}=D_{it}-\widehat\Delta M_{it},量纲是净失败次数。用户总残差 Ri=∑tritR_i=\sum_t r_{it} 形成长度 NN 的向量,日期总残差 Qt=∑iritQ_t=\sum_i r_{it} 形成长度 GG 的向量。各组先求和再平方,展开平方即可看到上表中的乘积。

Su=∑iRi2,Sd=∑tQt2,Sc=∑itrit2,V^two=Su+Sd−ScT2.\begin{aligned} S_u&=\sum_i R_i^2,\\ S_d&=\sum_t Q_t^2,\\ S_c&=\sum_{it}r_{it}^2,\\ \widehat V_{\mathrm{two}}&=\frac{S_u+S_d-S_c}{T^2}. \end{aligned}

Su,Sd,ScS_u,S_d,S_c 的单位都是次数平方,V^two\widehat V_{\mathrm{two}} 为比例平方。正值开平方得到估计标准误(Standard Error,SE)。这一版使用未做有限样本校正的容斥(Inclusion–Exclusion)公式,便于逐项复核。三项是相互重叠的乘积和,不能读作三个独立的方差来源。由于乘积可正可负,加上日期项再减交叉格也不保证比用户项更大。

同一用户同一天有两条请求,扣除项是两个平方还是一个平方?

先把两条请求的残差加成一个格,再对格求平方。若两条残差都为 1,用户项和日期项都已包含 (1+1)2=4(1+1)^2=4,交叉格就扣 4。扣 12+12=21^2+1^2=2 会留下被重复计算的交叉乘积。

03 九个格怎样手算出标准误?#

设三位用户都在三天发出请求,每格两条。基线版全对,当前版净失败数按行依次为 (2,2,1)(2,2,1)、(2,1,0)(2,1,0)、(1,0,0)(1,0,0)。于是 T=18T=18、U=9U=9、Δ^=1/2\widehat\Delta=1/2。每格减去 Δ^Mit=1\widehat\Delta M_{it}=1,得到下表。合计列与合计行展示同一份残差沿两条轴如何汇总。

用户第 1 天残差第 2 天残差第 3 天残差用户合计
A1102
B10−10
C0−1−1−2
日期合计20−20

行和平方得到 Su=22+02+(−2)2=8S_u=2^2+0^2+(-2)^2=8,列和平方得到 Sd=8S_d=8,九格中有六个非零残差,Sc=6S_c=6。只用用户项的同口径估计为 8/3248/324,直接相加则得 16/32416/324。容斥后为 (8+8−6)/324=5/162(8+8-6)/324=5/162,标准误约 0.1756820.175682,即 17.57 个百分点。这三天只够说明算式,推断未来日期还需要足够的独立日期和用户。

为什么下面的代码保留负值,并省略标准误?

看两人两天的棋盘格,残差依次为 (1,−1)(1,-1) 和 (−1,1)(-1,1),每格一条请求。两条轴的合计都为零,交叉格平方和为 4,公式返回 −4/16=−1/4-4/16=-1/4。理论方差为非负,有限样本中的容斥估计可以为负。保留这个诊断值便于复核三项,省略标准误可以防止把截成零的数读作确定性。

04 Python 怎样沿两条轴聚合?#

先用同一份配对长表计算全局比率,再把每格的残差贡献同时交给三个累加器。估计过程使用冻结模型的回放结果,无需重新训练。

完整配对请求 → 按 (用户, 日期) 汇总三项计数
        ↓
      全局 U、T
        ↓
   逐格计算缩放残差
     ↙    ↓    ↘
 用户求和  日期求和  交叉格
     ↘    ↓    ↙
 各自平方求和 → 容斥 → 方差与诊断状态
text

直接相减浮点比率容易把大计数下的微小残差舍掉。实现先计算整数 zit=TDit−UMitz_{it}=T D_{it}-U M_{it}。因为 rit=zit/Tr_{it}=z_{it}/T,对 zz 求出的三个平方和都除以 T4T^4,就得到方差公式中的三个已缩放项。输入每格一行且键唯一,缺格自然省略。输出包括点估计、三项、带符号的合成方差、标准误、维度计数和诊断状态。函数接收标准 Python int,上游数组应先核验其整数类型再转换。

1/2 (3, 3, 9) positive-diagnostic
2/81 2/81 1/54 5/162
0.175682
text

defaultdict(int) 让缺省键从零开始,Fraction 保留方差项的精确符号,sqrt 只在输出标准误时使用浮点。若同一轴只有一个簇,先返回该状态,因为这条轴缺少重复观测。即便返回 positive-diagnostic,覆盖率仍取决于抽样条件。按哈希表操作计,两遍累计花 O(C)O(C) 时间,存储 O(C+N+G)O(C+N+G),无需创建稠密矩阵或枚举 C2C^2 个格对。分组容器 ↗ · 精确分数 ↗ · 平方根 ↗

05 同一天多收十万人,哪些不确定性还在?#

上线前先保存日期口径与时区、版本指纹、回放请求键、两版成熟标签,以及每轴簇数与最大请求份额。日期用业务事件时间划分,标签到达时间用于成熟度判断。两者混用会把同一次故障拆散。分布式计算先归并重复的用户—日期键,再求交叉格平方和。审计时核对两轴汇总的残差总和都为零,并从原表重算 U/TU/T。若运行两次的方差不同,逐项比对用户、日期、交叉格三项,定位在哪一步丢了相关项。

  • 每条轴都要有独立信息。 只有两三个有效日期时,同天多收十万人可以改进当天的描述,却没有增加日期冲击的重复次数。集中度高、分母不稳或残差接近退化时,正态近似仍可能失效。上面的函数给出方差诊断,实际区间还要论证两轴的大样本条件和极限分布。
  • 簇的边界来自故障范围。 跨日故障、周内自相关或跨用户跨日的同租户依赖都可能在公式外留下协方差。可根据事先定义的故障过程评估更长的时间块或其他相关结构,再用独立窗口验证。只把日期固定效应(Date Fixed Effects)加到模型中,会调整所拟合的均值结构,残差里仍可能保留日期相关。
  • 按所需的重复抽样选方法。 只按用户聚类对应跨用户独立的分析设定。只按日期聚类需要跨日期独立,同用户跨日的依赖会破坏它。按用户—日期组合键单向聚类只保留格内相关。本篇的双向聚类服务于冻结版本的配对审计。时间切换实验(Switchback Experiment)利用预先随机的时间块处理顺序来做因果推断,识别依据来自分配机制。

思考练习#

  1. 在九格例子中,把三位用户的残差行都改成 (1,0,−1)(1,0,-1),仍用原来的请求数。手算用户项、日期项和交叉格项。为什么只按用户聚类会得到零?
  2. 写一个慢速对照,枚举所有有序格对,只在用户相同或日期相同的时候加残差乘积。用三用户例子与棋盘格检验容斥公式,再交换两版,验证点估计反号而三项不变。
  3. 若一场服务事故连续三天,写出一对用户和日期都不同、却仍可能相关的格。说明怎样在看结果前定义备选时间块,以及在只有少数独立块时怎样表述可以外推的范围。

相关工作#

  1. Cameron、Gelbach 与 Miller(2011)提出对非嵌套分组使用容斥的多向聚类方差。Robust Inference With Multiway Clustering ↗
  2. Deng、Knoblich 与 Lu(2018)从线上度量出发,说明比率指标怎样用一阶展开(Delta Method)传播分子和分母的波动。Applying the Delta Method in Metric Analytics ↗
  3. Owen(2007)研究对行列分别重采样,以保留不平衡交叉数据的两条依赖轴。The Pigeonhole Bootstrap ↗
  4. Menzel(2021)研究两条及以上聚类轴下的重采样及非高斯极限,说明交叉依赖下区间为何需要额外条件。Bootstrap With Cluster-Dependence in Two or More Dimensions ↗

下一篇预告#

双向聚类用三个残差平方和估计局部波动。下一篇从同一张稀疏长表出发,沿用户和日期分别重采样,看一格如何获得两个抽中次数的乘积,以及每轮怎样重算请求分母。

同一天的故障波及许多用户,失败率差的标准误怎么算?用户与日期双向聚类
https://zwjcode.cn/blog/user-day-two-way-cluster-ratio
作者 傑
发布于 2026年11月18日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。