观文听傑

返回

象牙色托盘分别盛着青色与琥珀色陶珠,其中一整盘被重复放在黄铜托盘上象牙色托盘分别盛着青色与琥珀色陶珠,其中一整盘被重复放在黄铜托盘上

上一篇把一位用户的多次请求压成“是否至少一次新增失败”,获得用户级风险。现在运维要回答另一个问题:在同样的影子回放流量中,有多少比例的请求新增失败?这个目标需要保留每位用户的请求次数,直接把事件压成 0 或 1 会丢掉信息。

本篇聚焦以用户为簇的自助重采样(Cluster Bootstrap):目标仍是请求级比例,重采样单位则是独立用户。两者分别决定“算什么”和“怎样模拟再抽一批数据”。所有数字为合成例子,封面仅作装饰。

01 点估计按请求加权,不确定性按用户重建#

沿用旧版流量的隔离双版回放。本篇在用户第一条符合预设入口规则的请求到达时登记,观察该请求及随后七天;入口规则在确认前固定。用户 i=1,…,Ni=1,\ldots,N 有 Mi≥1M_i\ge1 次请求,其中 SiS_i 次满足“基线成功、当前版失败”。目标人群因此是这类入口用户,与上篇允许空窗的全体登记用户不同。若设计允许零请求用户,应保留这些用户,并专门处理重采样全为零请求时的未定义比率,不能按结果临时删轮次。

每位用户提供向量 Xi=(Si,Mi)X_i=(S_i,M_i),输入数组形状分别为 s[N]、m[N],满足 0≤Si≤Mi0\le S_i\le M_i。整用户向量独立同分布(Independent and Identically Distributed,IID),用户内请求允许相关。在 0<E[Mi]<∞0<E[M_i]<\infty 下,请求级目标与估计量为

q=E[Si]E[Mi],q^=∑i=1NSi∑i=1NMi=S‾M‾.\begin{aligned} q&=\frac{E[S_i]}{E[M_i]},\\ \widehat q&=\frac{\sum_{i=1}^{N}S_i}{\sum_{i=1}^{N}M_i} =\frac{\overline S}{\overline M}. \end{aligned}

EE 表示在目标用户及其完整请求轨迹上的期望。这个 qq 描述持续抽取此类用户、合并其全部窗内请求后形成的流量风险。它与“均匀抽一位用户,再均匀抽其一个请求”的 E[Si/Mi]E[S_i/M_i] 不同;此前簇大小不等已讨论平均对象的区别,这里固定使用前一个比率目标。

用每条请求独立二项的公式估计标准误,会遗漏同用户多条请求的协同波动。重抽整位用户能保留已经观察到的用户内结构,同时让失败次数和请求次数一起变动。只保留 (S_i,M_i) 已足以重建这个固定统计量;若还要重新训练模型、重新做标签校正或估权重,必须重做相应上游步骤。

02 四人手算:抽到一个重度用户,要带走整个向量#

四位用户的汇总如下。为看清相关性,C、D 的四条请求全部新增失败;A、B 各一条且均无新增失败。

用户或样本失败次数 SS请求次数 MM进入比率的贡献
A01同时携带 (0,1)
B01同时携带 (0,1)
C44同时携带 (4,4)
D44同时携带 (4,4)
原始 A,B,C,D8108/10=0.88/10=0.8
重抽 A,A,B,C474/7≈0.57144/7\approx0.5714
重抽 C,C,D,A121312/13≈0.923112/13\approx0.9231

抽样有放回(Sampling with Replacement),因此 A 或 C 可以出现两次;出现两次就贡献两次完整向量。原始用户平均请求率是 (0+0+1+1)/4=0.5(0+0+1+1)/4=0.5,但本篇固定目标的估计是 0.8。重抽后仍然计算总失败除以总请求,不能在某一轮偷偷换成用户率的平均。

若分开抽 s 与 m,就可能把 [4,4,4,4] 和 [1,1,1,1] 拼到一起,算出 16/4=416/4=4。这不是某位用户可能产生的向量,已经破坏输入约束。若只重抽分子却固定原总请求数为 10,上面第二轮又会得到 12/10>112/10>1。

小例子还可以穷举。每次从四人中有放回抽四人,共 44=2564^4=256 个等概率有序样本。令 HH 为抽中的 C、D 个数,则 H∼Binomial⁡(4,1/2)H\sim\operatorname{Binomial}(4,1/2),

q^∗=4H4+3H,P(H=h)=(4h)2−4,h=0,1,2,3,4.\begin{aligned} \widehat q^{*}&=\frac{4H}{4+3H},\\ P(H=h)&=\binom4h2^{-4},\\ h&=0,1,2,3,4. \end{aligned}

星号表示重采样世界,hh 是该世界中重度用户的个数。可得到五种比率 0,4/7,4/5,12/13,10,4/7,4/5,12/13,1;两端各有 1/16=6.25%1/16=6.25\% 质量,所以其 95% 百分位区间覆盖整个 [0,1]。四个人的例子用于审查计算机制,无法靠增加重采样次数制造更多独立用户。

为什么抽的是用户,结果仍可以是请求级风险?

抽样单位决定随机波动怎样被保留,统计量决定目标按什么权重汇总。每轮仍求 sum(s[idx])/sum(m[idx]),请求次数自然给重度用户更大权重。只有把统计量改为 mean(s[idx]/m[idx]),才切换到用户等权的请求率目标。

03 区间怎样从重复比率中产生?#

第 b=1,…,Bb=1,\ldots,B 轮独立抽取 NN 个索引 Ib1,…,IbNI_{b1},\ldots,I_{bN},每个在 {1,…,N}\{1,\ldots,N\} 上均匀取值。计算

q^b∗=∑j=1NSIbj∑j=1NMIbj,CI1−α=[L,U],L=Qα/2(q^∗),U=Q1−α/2(q^∗).\begin{aligned} \widehat q_b^{*} &=\frac{\sum_{j=1}^{N}S_{I_{bj}}}{\sum_{j=1}^{N}M_{I_{bj}}},\\ \mathrm{CI}_{1-\alpha}&=[L,U],\\ L&=Q_{\alpha/2}(\widehat q^{*}),\\ U&=Q_{1-\alpha/2}(\widehat q^{*}). \end{aligned}

BB 是模拟次数,α\alpha 是双侧尾部总额度,QpQ_p 是重采样分布的 pp 分位数;代码用经验分位数近似。这里的置信区间(Confidence Interval,CI)采用百分位自助区间(Percentile Bootstrap Interval)。它在足够多的独立用户、有限二阶矩、正的总体分母和非退化波动等常规条件下提供近似推断,覆盖率需要结合真实采样结构评估。它与上篇二项模型的有限样本精确上界有不同保证。

为什么分母随机性必须进入区间,也可从一阶展开看出。令 μM=E[Mi]\mu_M=E[M_i],在常规大样本条件下,

q^−q ≈ 1NμM∑i=1N(Si−qMi).\widehat q-q\ \approx\ \frac1{N\mu_M} \sum_{i=1}^{N}(S_i-qM_i).

每位用户的贡献同时包含 SiS_i 和 MiM_i,两者的协方差也会进入波动。这里用德尔塔方法(Delta Method)的一阶表达帮助理解,完整推断实现仍使用整用户重采样,不把这条近似再当一层独立保证。

04 Python:先显式抽三轮,再用官方 API 批量计算#

代码先展示索引矩阵 idx[3,N],再交给 SciPy 做 B=9999B=9999 轮。较大的演示输入包含 200 位彼此独立的合成用户,其中 100 位为 (0,1),100 位为 (4,4);这是同种用户类型的重复观测,不是把四位真实用户复制来扩样本。

完整用户汇总 s[N], m[N] → 验证同序、完整与计数约束
每轮抽 N 个用户索引 → 用同一索引同时取 s 和 m
重算该轮分子、分母 → 比率分布 [B]
取两侧分位数 → 连同 N、总请求数、随机种子报告
text

paired=True 让两个输入数组共享同一组用户索引;vectorized=True 让统计函数沿传入的 axis 求和。原始输入轴为 0,SciPy 会在调用向量化统计函数时安排样本轴,函数须使用收到的 axis。batch=256 限制每批内存,rng 使用当前推荐的随机数生成器参数,method="percentile" 显式选择本篇解释的区间。接口见 SciPy bootstrap ↗与 NumPy integers ↗官方文档;示例使用支持 rng 的 SciPy 1.15 及以上版本。

user indices: [[3, 2, 2, 3], [2, 3, 3, 0], [0, 1, 1, 3]]
three ratios: [1.       0.923077 0.571429]
N= 200 requests= 500 estimate= 0.8
status: approximate
95% percentile CI: (0.751092, 0.841328)
distribution shape: (9999,)
all zero: {'status': 'boundary-degenerate', 'estimate': 0.0}
text

固定种子保证同一软件环境下重放;升级 NumPy/SciPy 后应保存版本和最终分位数,不把跨版本的模拟末位差异误判为模型变化。计算约 O(BN)O(BN),批内工作内存约 O(256N)O(256N),另存 O(B)O(B) 个比率。s、m 必须按相同用户键连接;仅检查长度无法发现顺序错位。这里模型、标签和汇总规则都已固定,函数不做模型训练。

05 零事件、少用户与超级重度用户,怎样识别失效?#

观测现象为什么会出问题应保留的诊断与动作
全部用户零事件所有重采样也为零,区间退化返回边界状态;采用匹配目标和假设的稀有事件设计
只有四位独立用户经验分布的支持极少报告真实 NN;增加独立用户,不能只增加 BB
一位用户占 70% 请求多数轮次由它是否被抽中支配报告最大用户请求占比与删一用户敏感性
用户共享企业故障用户之间也相关按实际独立企业抽样;重新评估所需簇数
当前版改变后续请求影子流量目标与部署轨迹不同记录轨迹来源;另做匹配上线目标的实验

调试时先穷举四人例子的 256 轮,检查支持与概率质量;再验证每一轮 0≤q^b∗≤10\le\widehat q_b^*\le1。人为分开抽两列,应能构造出超界比率;正确流程不应出现它。交换用户行顺序不改变精确重采样分布;有限模拟同一种子下的分位数可以有小幅变化。增加 BB 只减少模拟误差,无法修复错误抽样单位或有限用户造成的统计误差。

全部用户都零事件时,为什么不报告 [0,0]?

普通非参数重采样只重复已有观测;原样本没有事件,重采样也无法创造事件。得到 [0,0] 描述了经验分布的退化,不能证明总体风险为零。上篇的用户级二项上界能回答相应用户事件目标;若仍要请求级风险,应先为请求次数和用户内事件结构选择可支持的推断设计,不能把用户上界直接贴到请求级报表。

百分位方法直观,偏差较大或分布偏斜时覆盖可能不足。偏差校正与加速区间(Bias-Corrected and Accelerated Interval,BCa)等方法改善某些常规情形,但需要足够的独立信息,也不能从全零观测恢复未见的尾部。对于预先分层抽取的用户,应在层内重采样并按目标层权重合并;对于跨时间相关,应采用与时间设计匹配的办法。

本篇区间是单个固定目标、一次预定开封的近似区间。它可描述不确定性,正式风险门应在部署前验证所需覆盖与功效;重复查看、多切片和报警后选择仍须接回相应的分析计划。

思考练习#

  1. 穷举四人例子的全部有序重采样,输出五个比率各出现多少次,验证两端分别占 1/161/16。把用户率平均作为统计量,再比较它的支持。
  2. 将一个高流量用户的 (S_i,M_i) 拆成四个“新用户”。点估计为何可能不变,而重采样分布改变?这与独立单位有什么关系?
  3. 一位用户贡献 70% 请求,其余用户均零事件。设计删一用户敏感性报告,说明为何删掉该用户后得到的低风险不能直接作为发布依据。

相关工作#

  1. Efron(1979),Bootstrap Methods: Another Look at the Jackknife ↗:从经验分布重采样近似抽样波动的奠基工作。
  2. Field 与 Welsh(2007),Bootstrapping Clustered Data ↗:讨论簇数据的模型、重采样层级与成功条件,适合继续研究本篇独立整用户设定的边界。
  3. Deng、Knoblich 与 Lu(2018),Applying the Delta Method in Metric Analytics: A Practical Guide with Novel Ideas ↗:在线指标聚合层级、比率及大样本方差的实践指南,可进一步推导用户级残差的解析标准误。

下一篇预告#

整用户重采样保留了请求风险的相关结构,但大规模报表运行上万轮可能昂贵。下一篇从 Si−qMiS_i-qM_i 出发,推导请求比率的用户级线性化标准误,并解释何时它能接近 Bootstrap、何时重度用户会使近似失稳。

请求级风险怎样保留用户内相关性?整用户 Bootstrap 与每轮重算比率
https://zwjcode.cn/blog/request-risk-user-cluster-bootstrap
作者 傑
发布于 2026年11月16日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。