观文听傑

返回

盛着青色与琥珀色陶珠的独立象牙色托盘,旁边放着细黄铜平衡杆与玻璃棱柱盛着青色与琥珀色陶珠的独立象牙色托盘,旁边放着细黄铜平衡杆与玻璃棱柱

上一篇把同一用户的失败次数和请求次数一起做自助重采样(Bootstrap),避免把一位用户的一百次请求算成一百个独立样本。现在团队每天要更新数千个固定指标,每个指标都运行上万轮重采样,计算成本开始超过报表预算。

如果独立用户足够多,能否从一遍用户汇总中估计同样的抽样波动?本篇推导比率线性化(Ratio Linearization):把非线性的“总失败除以总请求”,近似成独立用户贡献的平均。核心贡献是残差 Si−qMiS_i-qM_i,它同时保留分子、分母与两者的相关性。文中数字均为合成教学数据,封面只作装饰。

01 随机分母,为什么也会制造误差?#

沿用上一篇的入口用户设计:第一条满足预设规则的请求到达时登记该用户,收集入口请求及随后完整七天的全部请求,等待终态标签。第 i=1,…,Ni=1,\ldots,N 位用户提供新增失败次数 SiS_i 与请求次数 Mi≥1M_i\ge1;新增失败指同一请求上“基线成功、当前版失败”。用户向量 (Si,Mi)(S_i,M_i) 独立同分布(Independent and Identically Distributed,IID),用户内请求可以相关。

固定目标人群与模型后,定义

μS=E[Si],μM=E[Mi],q=μS/μM,q^=S‾/M‾.\begin{aligned} \mu_S&=E[S_i],\qquad \mu_M=E[M_i],\\ q&=\mu_S/\mu_M,\\ \widehat q&=\overline S/\overline M. \end{aligned}

EE 是对完整用户轨迹取期望;横线表示 NN 位用户的算术平均。qq 是持续抽取这类用户、合并全部请求的长期新增失败比例。这里固定这一目标,簇大小不等中的用户等权平均 E[Si/Mi]E[S_i/M_i] 回答另一个问题。

函数 g(a,b)=a/bg(a,b)=a/b 的两个偏导为 1/b1/b 与 −a/b2-a/b^2。在 (μS,μM)(\mu_S,\mu_M) 附近作一阶泰勒展开(First-order Taylor Expansion),得到

q^−q≈S‾−μSμM−q(M‾−μM)μM=1NμM∑i=1N(Si−qMi).\begin{aligned} \widehat q-q &\approx\frac{\overline S-\mu_S}{\mu_M} -\frac{q(\overline M-\mu_M)}{\mu_M}\\ &=\frac1{N\mu_M}\sum_{i=1}^N(S_i-qM_i). \end{aligned}

这就是德尔塔方法(Delta Method)在这个比率上的具体形式。SiS_i 比预期多会推高比例;MiM_i 比预期多则会稀释分子,扣除 qMiqM_i 正是在表达后一条数据流。若新增请求同时携带新增失败,两种波动会部分抵消。

定义用户影响量(Influence Contribution)ψi=(Si−qMi)/μM\psi_i=(S_i-qM_i)/\mu_M,则 E[ψi]=0E[\psi_i]=0,比率误差近似为 ψi\psi_i 的平均。这里使用正的有限 μM\mu_M、有限二阶矩以及非零残差方差;独立用户数趋大时,中心极限定理才支持接下来的正态近似。

02 标准误怎样从一列残差中算出来?#

用观测量替代未知参数,构造 ri=Si−q^Mir_i=S_i-\widehat qM_i。有一个可直接调试的恒等式:∑iri=0\sum_i r_i=0。样本残差方差、标准误(Standard Error,SE)为

sr2=1N−1∑i=1Nri2,SE^2=sr2NM‾2.\begin{aligned} s_r^2&=\frac1{N-1}\sum_{i=1}^Nr_i^2,\\ \widehat{\mathrm{SE}}^2 &=\frac{s_r^2}{N\overline M^2}. \end{aligned}

分母中的 NN 是独立用户数,N−1N-1 是样本方差的自由度修正,M‾\overline M 把“每用户的次数波动”换回无量纲比例。把 NN 换成请求总数,会在已经保留整用户波动后又错误地缩小标准误。

相同结果也可展开成协方差(Covariance)形式:

SE^2=sS2+q^ 2sM2−2q^sSMNM‾2.\widehat{\mathrm{SE}}^2 =\frac{s_S^2+\widehat q^{\,2}s_M^2 -2\widehat q s_{SM}}{N\overline M^2}.

sS2,sM2s_S^2,s_M^2 分别是两列计数的样本方差,sSMs_{SM} 是按同一用户计算的样本协方差,三个量都用 N−1N-1 作分母。只算 sS2s_S^2 会遗漏随机分母;丢掉 sSMs_{SM} 则破坏配对结构。实际计算优先直接求残差平方和,可减少几个较大项相减造成的浮点损失。

对一次预定开封的固定目标,双侧近似置信区间(Confidence Interval,CI)是

q^ ± z1−α/2SE^.\widehat q\ \pm\ z_{1-\alpha/2}\widehat{\mathrm{SE}}.

α\alpha 是两侧尾部的总额度,zpz_p 是标准正态分布的 pp 分位数。α=0.05\alpha=0.05 时 z0.975≈1.96z_{0.975}\approx1.96。这个公式给出大样本近似;把分位数换成小自由度的 t 分位数,并不会自动产生小用户数的精确保证。

03 四位用户手算:为什么协方差项恰好很大?#

继续使用上篇四人例子,先只观察计算机制。

用户新增失败 SiS_i请求 MiM_iq^Mi\widehat qM_i残差 rir_i
A010.8−0.8
B010.8−0.8
C443.2+0.8
D443.2+0.8
合计81080

q^=0.8\widehat q=0.8、M‾=2.5\overline M=2.5、∑ri2=2.56\sum r_i^2=2.56,所以

SE^2=2.564×3×2.52≈0.03413,SE^≈0.18475.\begin{aligned} \widehat{\mathrm{SE}}^2&=\frac{2.56}{4\times3\times2.5^2} \approx0.03413,\\ \widehat{\mathrm{SE}}&\approx0.18475. \end{aligned}

逐列计算还有 sS2=16/3s_S^2=16/3、sM2=3s_M^2=3、sSM=4s_{SM}=4。代回协方差式的分子:16/3+0.82×3−2×0.8×4=0.8533316/3+0.8^2\times3-2\times0.8\times4=0.85333,与 sr2=2.56/3s_r^2=2.56/3 相符。分子分母同向波动的抵消可以很强。

四人正态区间约为 [0.438,1.162][0.438,1.162]。上界越过 1,提示局部近似与边界不协调;四位用户也不足以支持可靠的大样本推断。上篇穷举重采样得到整个 [0,1],两种答案的差异正好提醒我们:同一个目标下,近似方法也会在小样本失准。报表可以把区间与已知范围 [0,1] 取交集展示,同时保留原始区间;这一步不会改善其覆盖误差。

若每位用户都恰好有两次请求,公式会简化成什么?

Mi=2M_i=2 固定时,ri=Si−S‾r_i=S_i-\overline S,标准误是 sS/(2N)s_S/(2\sqrt N)。因为每位用户贡献两次相关请求,仍应从 NN 位用户的 SiS_i 分布计算 sSs_S。仅仅看到总计 2N2N 条请求,并不能采用独立二项公式。

04 Python:透明计算残差,再核对展开公式#

输入 s[N]、m[N] 是同用户键、同顺序、同完整观察窗的整数向量;输出包括点估计、标准误、未截断区间与流量集中诊断。模型与标签规则已经固定,这一步只有统计推断,没有模型训练。

请求键完成双版配对 → 按用户聚合 (S,M)
验证计数和完整窗口 → 总分子 / 总分母
每用户计算 S-q_hat*M → 用户残差方差
除以 N*M_bar² → SE 与正态近似区间
连同独立用户数、最大请求占比和退化状态输出
text
four-user SE: 0.184752
estimate: 0.8 users: 200
SE: 0.022684
95% CI: (0.75554, 0.84446)
variance identity: True
zero events: observed-degenerate
text

这里的 200 用户表示一次合成样本中有 100 位低流量零事件用户、100 位高流量全事件用户。它用于演示同种类型的独立用户观测;将四位真实用户复制 50 次无法获得这种独立信息。这个解析区间与上篇 200 用户 Bootstrap 区间接近,但近似偏差和模拟误差仍有不同来源。

np.var(..., ddof=1) 使用样本方差,默认 ddof=0 会除以 NN;np.cov(s,m,ddof=1)[0,1] 取两列的样本协方差。接口已核对 NumPy var ↗、NumPy cov ↗ 与 Python NormalDist ↗ 官方文档。NormalDist().inv_cdf 只计算分位数,残差和方差都由上面的显式步骤得到。

计数上限让示例的总和保持在双精度浮点可精确表达整数的范围内。生产报表应在聚合层使用足够宽的整数、稳定的中心化方差与实际资源限制。实现运行时间与临时向量内存均为 O(N)O(N),无需存储 BB 轮重采样。

05 解析标准误何时会给人虚假的确定感?#

现象失效机制调试与处理
所有用户都零新增失败观测残差全零,未见尾部无法进入方差返回退化状态;为同一目标另设稀有事件推断
一位用户贡献 70% 请求分母与误差都可能由单个向量主导保存最大占比、删一用户变化与整簇重采样对照
多位用户共享同一企业故障用户向量之间仍然相关在实际独立企业层重新聚合与推断
窗口未到齐就按当前请求结算请求强度和标签延迟改变样本组成核查入口、窗终点和标签完整性快照
分层抽样后直接套等权方差独立同分布的采样结构不成立用设计权重和对应的分层方差

调试先核查 residual_sum 在浮点容差内接近零,再对照残差式与协方差式;用户行任意重排,结果应保持一致。用固定请求次数的数据检查公式能否退化为均值标准误。最后选几个代表性报表,与整用户 Bootstrap 对比;两者接近是实现诊断,不能替代覆盖率验证。

大样本的关键是足够多的独立信息,以及没有持续主导总量的单个用户。正态区间在偏斜、边界或重尾情形可能覆盖不足。所有计数呈相同比例时,代码返回 observed-degenerate 并省略区间,避免把经验方差为零写成总体参数已经确定。

既然已经输出最大用户请求占比,能否按固定阈值自动批准发布?

它是集中度诊断,没有统一的“低于某值就保证覆盖”阈值。残差尾部、独立簇数、采样设计和目标边界也会影响近似。批准规则需要在分析计划中预先定义并验证;看到结果后删掉高流量用户会改变目标人群。

本篇处理一次固定开封、一个预定请求比例。持续查看、多切片联合验收和报警后挑问题,分别接回系列中相应的时间一致推断、整体检验与独立确认设计。解析计算节省了模拟成本,统计承诺仍来自采样与分析方案。

思考练习#

  1. 四人例子中,分别删除协方差项、删除分母方差项,比较两个错误的方差结果。为什么其中一个甚至不能开平方?
  2. 把每位用户的 Si,MiS_i,M_i 同时乘以 10,验证点估计与标准误均不变。它为什么不等于新增了十倍独立用户?
  3. 构造一位用户占 70% 请求的例子,对照正态区间、整用户重采样和删一用户结果。哪些差异提醒你检查大样本近似?

相关工作#

  1. Deng、Knoblich 与 Lu(2018),Applying the Delta Method in Metric Analytics: A Practical Guide with Novel Ideas ↗:以在线指标的聚合层级与比率为中心,解释解析方差的推导与工程应用。
  2. Cameron 与 Miller(2015),A Practitioner’s Guide to Cluster-Robust Inference ↗:讨论簇内相关、独立簇数与簇稳健推断的条件。
  3. Efron(1979),Bootstrap Methods: Another Look at the Jackknife ↗:从重采样与线性近似的联系理解本篇与上篇的关系。

下一篇预告#

报表常常需要当前版减基线版的失败率差。两条区间分别算完再按独立误差相加,会丢掉同用户、同请求的配对信息。下一篇推导共享分母下的差值残差,解释协方差何时缩小或放大版本差距的不确定性。

不重采样上万轮,怎样估计请求风险误差?用户残差与比率线性化
https://zwjcode.cn/blog/request-ratio-user-linearization
作者 傑
发布于 2026年11月16日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。