观文听傑

返回

琥珀色和青色计数筹码沿两条轴汇入玻璃网格,交点处的筹码数量各不相同琥珀色和青色计数筹码沿两条轴汇入玻璃网格,交点处的筹码数量各不相同

一个检索系统回放了新版和基线版。某个故障日流量翻倍,许多用户的请求同时变难。用整用户自助法反复换用户名单,每个抽到的用户仍携带原来那几天的记录。这能观察固定日期下换一批用户的波动,却看不到故障日被重复抽到或完全略过时会发生什么。

上一篇把同一用户和同一天的相关性放进一个标准误。鸽巢自助法(Pigeonhole Bootstrap)沿两条轴分别有放回抽样。每次抽样都组成一个新的用户—日期网格,并重算全网格的失败率差。这样可以直接观察请求总量变化时,重抽样得到的比率分布。

01 一格的乘数来自两份名单#

沿用上一篇的配对回放。用户 ii 在日期 tt 的交叉格包含 MitM_{it} 条成熟、对齐的请求。当前版和基线版分别失败 AitA_{it}、BitB_{it} 次,净失败数 Dit=Ait−BitD_{it}=A_{it}-B_{it} 可正可负。观测差值 Δ^\widehat\Delta 等于全量净失败数除以全量请求数。它按请求加权,正数表示当前版失败更多,乘 100 即百分点。

共有 NN 位观测用户、GG 个观测日期和 CC 个非空格。输入用 C×5C\times5 的稀疏长表(Sparse Long Table)保存,五列依次是用户、日期、当前版失败数、基线版失败数、请求数。公式可用两张 N×GN\times G 的矩阵理解,分别存净失败数和请求数。空格表示没有请求,对 DD 和 MM 的和都贡献零。缺失日志或未成熟标签要在上游处理,它们对应的是待核验请求。

在同一轮中,从 NN 位用户均匀有放回抽 NN 次,从 GG 个日期独立地均匀有放回抽 GG 次。记 WiW_i 为用户 ii 的抽中次数、VtV_t 为日期 tt 的抽中次数。向量 WW 长 NN 且和为 NN,向量 VV 长 GG 且和为 GG。两份名单做笛卡尔积(Cartesian Product)。若某人出现两次、某天出现三次,这个交点就会出现六次。所有共享一个用户的格共用同一个 WiW_i,所有共享一天的格共用同一个 VtV_t。

Kit=WiVt,U∗=∑itKitDit,T∗=∑itKitMit,Δ∗=U∗/T∗(T∗>0).\begin{aligned} K_{it}&=W_iV_t,\\ U^*&=\sum_{it}K_{it}D_{it},\\ T^*&=\sum_{it}K_{it}M_{it},\\ \Delta^*&=U^*/T^*\qquad(T^*>0). \end{aligned}

KK 是 N×GN\times G 的无量纲乘数矩阵。U∗U^* 和 T∗T^* 都以次数计,Δ∗\Delta^* 是比例差。同一个乘数应用于两版结果及其共享分母,保留原来逐请求的配对。分子变化时,分母也随抽到的流量组成变化。用全量请求数当每轮分母,会把高流量日期的复制误读成失败率变化。

为何不能为同一天的每位用户独立抽一个日期乘数?

故障日一旦被抽中两次,当天所有用户的记录都应获得同一个日期乘数 2。按人各抽各的乘数会让这个故障日对部分用户消失、对另一部分用户重复,破坏想保留的共同冲击(Common Shock)。

02 两人两天,分子一样也能得出不同差值#

下面三格都是合成数据。格内依次写净失败数 DD 和请求数 MM,总计 D=1D=1、M=4M=4,观测差值为 1/41/4。B 在第二天没有请求。

用户第一天 (D,M)(D,M)第二天 (D,M)(D,M)全窗口 (D,M)(D,M)
A(0,1)(0,1)(−1,1)(-1,1)(−1,2)(-1,2)
B(2,2)(2,2)(0,0)(0,0)(2,2)(2,2)

抽到用户 [A, B]、日期 [第一天, 第一天],第一列的两格都乘 2。新分子为 0+4=40+4=4,新分母为 2+4=62+4=6,差值为 2/32/3。若用户改抽 [B, B],日期仍抽 [第一天, 第一天],唯一留下的格乘 4,分子为 8,分母为 8,差值为 1。若两位用户和两个日期各出现一次,则回到 1/41/4。

再比较两轮分子相同的情形。抽 [B, B] 与 [第一天, 第二天] 时,U∗=4U^*=4、T∗=4T^*=4。抽 [A, B] 与 [第一天, 第一天] 时,同样是 U∗=4U^*=4,但 T∗=6T^*=6。后者里第一天 A 的请求两版都成功,给分母加了两次,差值因此从 1 变为 2/32/3。

哪种抽法会让分母变成零?概率是多少?

两次都抽到 B 且两次都抽到第二天,只会访问右下角的空格。两条轴各自以 1/41/4 的概率抽到这份名单,两者独立,联合概率为 1/161/16。此轮比率未定义,统计时应记录零分母。不断重抽直至非空,得到的是以存在请求为条件的分布。

03 Python 只扫描实际发生过请求的格#

固定版本、配对键、观察窗和标签成熟规则后,模型推理只需回放一次。后续抽样操作的是计数。下面的伪代码展示两份抽中次数如何汇入同一个稀疏格。

配对回放 → 用户×日期的非空格 → 观测比率
                    │
每轮抽用户 → W      ├─ 对每个非空格取 W[i] × V[t]
每轮抽日期 → V      │   分别累加加权净失败数和请求数
                    └─ 请求数为正 → 本轮比率
                       请求数为零 → 记录未定义
text

default_rng(seed) 建立 NumPy 随机数生成器。Generator.multinomial(n, pvals) 一次返回各类别被抽中的次数。传入 NN 次和长度为 NN 的均匀概率向量,就得到一个 WW,对日期同样操作得到 VV。代码把抽中次数转为 Python 整数再乘,避免让定宽 NumPy 整数承担累加。每轮返回一个浮点差值或 None,并保留整数分母。两份输出列表各长 reps,同一下标对应同一轮。示例要求每条轴至少有两个观测类别。

示例每轮遍历 CC 个非空格,另需生成长度分别为 NN 和 GG 的乘数向量,避免构造完整网格或复制原始请求。大规模回放可按轮分批,预先编码索引。若用定宽数组向量化,先以最大可能乘数与全量请求数的乘积给累加量做上界检查。调试时固定数据快照、轴顺序、随机种子和 NumPy 版本。交换两版后,每个有效差值应反号,分母应逐轮相等。把每格的三项计数同时乘 2,分母应逐轮翻倍,有效差值应逐轮相同。NumPy 多项抽样文档 ↗

04 区分日期波动、稀疏性和真正缺少的证据#

  • 日期是否应该随机。 若问题是本次已固定日期内换用户会怎样,固定所有日期权重为 1,沿用户轴重抽即可。要外推到类似的新日期,才需要日期轴上的重复抽样。分别重抽要求用户和日期在各自目标机制内可交换(Exchangeable),并要求两轴都不同的格可以视作独立。若同一故障跨日延续,或者工作日与节假日来自不同流量机制,逐日均匀重抽会打散依赖或改变要估计的流量组成。
  • 零分母和主导格。 一旦出现空轮,保留其占比和正分母的分布,回查哪些用户与日期几乎没有交集。有效轮的分位数只描述非空轮。少数格占据大部分请求、独立日期很少时,增加抽样次数只会使模拟分布更稳定,证据仍来自原来的格和日期。
  • 与双向聚类方差对照。 上一篇用线性化残差和容斥公式估计局部波动,这里观察非线性比率在重新加权后的整组结果。两者的方差在有限样本下可以不同。某格内独有的噪声会被两条轴同时重抽,在以格内噪声为主的场景可使乘积权重法高估波动。要把重采样分位数用作发布门槛,需先核验目标、两轴的有效样本量、依赖结构和覆盖率。原论文给出的均值结果有各自的模型条件,本文的三格例子用于复核计数机制。

思考练习#

  1. 固定抽到日期 [第二天,第二天],分别抽用户 [A,A] 与 [A,B]。算出两轮的 U∗U^*、T∗T^*、Δ∗\Delta^*,再把两轮都错除以观测分母 4,比较误差。
  2. B 在第二天新增一条两版均成功的请求。重算观测差值和空轮概率,并解释为什么净失败数保持不变。
  3. 若一次故障连续影响周二、周三和周四,指出两个不同用户在不同日也会相关的具体格对。说出逐日重抽时可能把这三天拆成哪几种样本。

相关工作#

  1. Owen(2007)提出行列分别有放回重采样,研究交叉且不平衡的数据中均值方差的估计。The Pigeonhole Bootstrap ↗
  2. Owen 与 Eckles(2012)用独立因子权重的乘积扩展到任意阶数组,并分析方差估计的偏差。Bootstrapping Data Arrays of Arbitrary Order ↗
  3. Davezies、D’Haultfœuille 与 Guyonvarch(2021)研究可交换数组的经验过程与自助法收敛,为多向聚类下的推断给出条件。Empirical Process Results for Exchangeable Arrays ↗

下一篇预告#

如果一次事故跨越三天,逐日抽样可能把同一次冲击拆开。下一篇保留日期的先后顺序,讨论怎样用连续时间块重采样,以及块长度怎样影响审计结论。

重抽用户和日期时,一条请求会被算几次?配对失败率差的鸽巢 Bootstrap
https://zwjcode.cn/blog/user-day-pigeonhole-bootstrap
作者 傑
发布于 2026年11月18日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。