观文听傑

返回

深蓝色天平的两端分别承载一组青色小玻璃块和一个琥珀色大玻璃块,象征用户贡献的不均衡深蓝色天平的两端分别承载一组青色小玻璃块和一个琥珀色大玻璃块,象征用户贡献的不均衡

上一篇保留同用户、同请求和共享分母,计算了两版失败率差的标准误(Standard Error,SE)。团队拿到结果后又发现:一位用户发了大半请求,去掉他,当前版似乎立刻从“更差”变成“更好”。已经按用户计算误差,为什么结论还会这么脆弱?

按用户聚合保留了依赖结构;大样本近似还需要足够分散的独立信息。本篇只讲用户影响诊断(User Influence Diagnostics):把“请求多”“主导残差”和“删掉后改变结论”拆开,并用一个恒等式连接它们。例子全部为合成数据;封面是装饰性隐喻,表格承担定量教学。

01 请求占比很大,为什么还不足以判断影响?#

沿用上一篇冻结的入口名单、完整七天观察窗和双版本影子回放。第 i=1,…,Ni=1,\ldots,N 位用户有 Mi≥1M_i\ge1 条请求,当前版失败 AiA_i 次,基线版失败 BiB_i 次。每条请求的两版标签均完整,先按用户键连接,再形成有符号计数差 Di=Ai−BiD_i=A_i-B_i。

用户向量 (Di,Mi)(D_i,M_i) 独立同分布(Independent and Identically Distributed,IID),用户内部允许相关。目标仍是固定旧版流量轨迹上的请求失败率差:

Δ=E[Di]/E[Mi],T=∑iMi,U=∑iDi,Δ^=U/T.\begin{aligned} \Delta&=E[D_i]/E[M_i],\\ T&=\sum_i M_i,\qquad U=\sum_i D_i,\\ \widehat\Delta&=U/T. \end{aligned}

EE 对入口用户的完整轨迹取期望;TT 是请求总数,UU 是净失败次数差。Δ^>0\widehat\Delta>0 表示当前版失败更多,乘 100 后以百分点报告。三个输入向量 a[N]、b[N]、m[N] 都是计数;相减后 d[N] 可以为负。

把请求份额(Request Share)定义为 hi=Mi/Th_i=M_i/T,把用户自身的净差比例定义为 ei=Di/Mie_i=D_i/M_i,则

Δ^=∑ihiei,ri=Di−Δ^Mi.\widehat\Delta=\sum_i h_i e_i,\qquad r_i=D_i-\widehat\Delta M_i.

ri=Mi(ei−Δ^)r_i=M_i(e_i-\widehat\Delta) 是用户残差,单位为净失败次数,且 ∑iri=0\sum_i r_i=0。请求很多但自身比例恰好等于总体的用户,残差为零;请求少但自身比例偏离很大的用户,也可能有明显残差。

沿用上篇的线性化方差,令 M‾=T/N\overline M=T/N:

V^lin=∑iri2N(N−1)M‾2.\widehat V_{\mathrm{lin}} =\frac{\sum_i r_i^2}{N(N-1)\overline M^2}.

因而当残差平方和为正时,可以报告残差平方贡献份额(Squared Residual Share):

ci=ri2∑jrj2,∑ici=1.c_i=\frac{r_i^2}{\sum_jr_j^2},\qquad \sum_i c_i=1.

cic_i 将当前样本的线性化方差分子逐人分账;它不是“该用户导致总体错误的概率”。某个 cic_i 很大,说明观测到的误差估计集中在少数贡献上,值得检查近似是否由一两人支撑。所有残差为零时,cic_i 无定义,应返回状态,不能填成“人人贡献为零且总体确定”。

02 删掉一人,为什么必须连分母一起重算?#

删一用户敏感性(Leave-one-user-out Sensitivity)保留其他所有用户,整组去掉第 ii 人的当前失败、基线失败和请求数。删后比率为

Δ^(−i)=U−DiT−Mi.\widehat\Delta_{(-i)}=\frac{U-D_i}{T-M_i}.

将它减去完整估计,通分得到精确恒等式:

δi=Δ^(−i)−Δ^=MiΔ^−DiT−Mi=−ri/T1−hi.\begin{aligned} \delta_i &=\widehat\Delta_{(-i)}-\widehat\Delta\\ &=\frac{M_i\widehat\Delta-D_i}{T-M_i}\\ &=-\frac{r_i/T}{1-h_i}. \end{aligned}

δi\delta_i 是删后变化,单位为比例差。正残差表示该用户把当前版失败差往上推,删除后估计下降,所以前面有负号。1/(1−hi)1/(1-h_i) 是删除大份额后剩余分母收缩产生的放大,不是可随意省去的小样本校正。

当 hih_i 很小时,局部近似为 δi≈−ri/T\delta_i\approx-r_i/T。从影响函数(Influence Function)看,比例泛函 θ(F)=EF[D]/EF[M]\theta(F)=E_F[D]/E_F[M] 在分布 FF 中混入微小质量的用户 (d,m)(d,m) 时,其一阶导数为

IF(d,m;F)=d−θ(F)mEF[M].\mathrm{IF}(d,m;F)=\frac{d-\theta(F)m}{E_F[M]}.

这是分子、分母一起求导的商法则。用经验分布代替 FF,得到 ri/M‾r_i/\overline M;再乘删除的负质量约 −1/N-1/N,就是 −ri/T-r_i/T。删除一位大份额用户已经超出“小扰动”直觉,应使用上面的精确比率。

这里没有重新训练模型,变动的是评估名单上的统计汇总。若线上删除用户会改变路由负载、其他人的回答或后续行为,这些系统反馈不在这项敏感性计算内。

冻结用户键、完整请求清单、双版本与标签规则
    → 按键生成同行 A[N], B[N], M[N]
    → 转为有符号数,形成 D[N]
    → 汇总 U、T,计算完整比率
    → 同时计算请求份额 h[N] 和残差 r[N]
    → 一次向量运算得到全部删后比率与变化
    → 保存全部用户诊断,按预定规则排查日志与样本结构
text

03 四位用户:增加 9.09 个百分点,怎样变成减少 100 个百分点?#

重度用户 H 有八条请求,其余三人各一条。以下失败次数能由合法的二值配对标签产生。

用户MiM_iAiA_iBiB_iDiD_ihih_irir_icic_iΔ^(−i)\widehat\Delta_{(-i)}
H84048/1136/113/4−1
L1101−11/11−12/111/121/5
L2101−11/11−12/111/121/5
L3101−11/11−12/111/121/5

完整样本 T=11T=11、U=1U=1,所以 Δ^=1/11≈0.090909\widehat\Delta=1/11\approx0.090909,当前版增加约 9.09 个百分点。删 H 后,剩余三人当前版都成功、基线版都失败,比率变成 −3/3=−1-3/3=-1:

δH=−1−1/11=−12/11.\delta_H=-1-1/11=-12/11.

从“增加 9.09”到“减少 100”,变化是下降约 109.09 个百分点。两个比例差各自都在 [−1,1][-1,1],它们之间的变化可以超过 100 个百分点,不能因此把变化截断到 [−1,1][-1,1]。

局部近似却只给 −rH/T=−36/121≈−0.29752-r_H/T=-36/121\approx-0.29752。乘上 1/(1−8/11)=11/31/(1-8/11)=11/3,才恢复精确变化 −12/11-12/11。删任意一位轻度用户后,UU 从 1 变 2、TT 从 11 变 10,估计上升为 1/51/5。

只扣掉 H 的分子,保留 11 条请求作分母,会得到什么?

会得到 (1−4)/11=−3/11(1-4)/11=-3/11。这个数把已经删除的八条请求继续留在分母中,相当于给它们补了零净差,未执行“去掉整位用户”的操作。正确分母是 11−8=311-8=3。代码同时输出直接重算和残差恒等式,可以快速发现这种不一致。

再看请求份额与影响的区别:令 m=[8,1,1]、d=[0,1,-1]。H 占 80% 请求,但总体差和 H 自身差都是零,因此 rH=0r_H=0,删除 H 仍得到零;其他两人的残差平方份额各为一半。高请求份额提示潜在放大能力,实际移动还取决于残差。

04 Python:不循环重建名单,一次算完全部用户#

以下实现的输入是同序的一维整数向量 [N],N≥2N\ge2、1≤Mi1\le M_i、0≤Ai,Bi≤Mi0\le A_i,B_i\le M_i。输出含一个完整估计和若干 [N] 诊断数组,数组位置沿用输入用户顺序。真实工程必须另存对应用户键;“长度相同”不能证明连接正确。

验证后先转 float64,避免无符号整数执行 a-b 时负差下溢。教学上限让计数总和低于 101510^{15},可由双精度精确表达整数;比例仍有浮点舍入,等式用容差核验。残差先用 Python 整数精确计算 TDi−UMiTD_i-UM_i,再除以 TT,避免两个接近的大浮点数相减抹掉微小残差。

full: 0.090909
request_share: [0.727273, 0.090909, 0.090909, 0.090909]
residual_share: [0.75, 0.083333, 0.083333, 0.083333]
deleted_estimate: [-1.0, 0.2, 0.2, 0.2]
shift: [-1.090909, 0.109091, 0.109091, 0.109091]
local_shift: [-0.297521, 0.099174, 0.099174, 0.099174]
80% user shift: -0.0
same versions: observed-degenerate None
text

np.asarray ↗保留输入形状供检查;np.sum ↗汇总分子、分母;np.allclose ↗同时按绝对与相对容差核对恒等式。接口按 NumPy 官方文档核实。输出状态 diagnostics-only 表示已完成诊断运算,未给出统计覆盖承诺;此处没有训练过程,推断对象是固定模型在固定轨迹上的计数比率。

计算全部删除结果只需 O(N)O(N) 时间和工作内存。逐人复制剩余数组、重新聚合需要 O(N2)O(N^2);逐人重新调用模型更加昂贵,也改变了原来冻结预测的分析任务。分布式场景可先归并 U,TU,T,再广播两个总量,逐用户计算诊断;用户拆散到不同分片时必须先完成用户聚合。

05 发现一位主导用户,接下来查什么?#

观测或方法回答的问题下一步
请求份额 hih_i 很大删除时分母会缩小多少?核对窗口、用户键、重试与机器人流量定义
残差平方份额 cic_i 很大当前线性化方差是否集中?回看该用户的两版标签和请求类型,审查独立信息量
精确删后变化 δi\delta_i 很大整组去掉此人,估计会移动多少?保留完整结果,报告敏感性并寻找原因
整用户 Bootstrap同一抽样近似下,比率怎样波动?保留用户依赖,检查重度簇和退化重复
杰克刀方差删除重复怎样组合成误差估计?另定抽样设计、中心和系数,不能把删除范围当区间

先排数据错误:按用户键检查合并是否重复;核对请求键唯一、幂等重试是否被多次计数;检查完整观察窗是否混入一个更长窗口;逐条对齐双版本终态。若确认是错误,按预定去重或清洗规则修正并生成新数据版本。高影响本身不是错误证据。

若用户轨迹真实,保留主分析,并报告最大请求份额、最大残差平方份额、最大绝对删后变化及对应用户的匿名审计键。可把变化与事前确定的实际重要差异门槛比较;不存在一条普遍有效的“份额低于 10% 就安全”定理。按结果挑出最影响结论的人再删除,会引入选择;此时剩余名单也不再是原始完整入口样本。

把所有删后估计的最小值和最大值作为 95% 置信区间,可以吗?

这只是当前样本的单用户删除敏感性范围,没有 95% 的覆盖推导。它也不包含未来未见用户类型、共同时间冲击或标签系统偏差。杰克刀方差需要明确的中心和系数;置信区间还需对应近似条件。本站此前的校准杰克刀课程还要逐轮重新拟合权重,而本篇只有冻结计数的比率,二者重复的是不同程序。

该诊断在少数用户承担极大请求量、用户二阶矩不稳定、平台事件让很多用户共同波动时尤其有用,但不能自行修复这些条件。有限样本中的低集中度同样不能证明总体尾部温和。可结合冻结的流量机制、更多独立批次和真实规模模拟评估误差方法;复制已有用户不会增加独立信息。

请求级目标本就让重度用户贡献更多请求。把每用户只留前十条或把 MiM_i 截断,需要先明确新估计目标和处理规则;单纯裁剪权重后仍称其为原始全请求失败率,会改变问题。高影响也不是因果影响:删除计算描述当前报表的敏感性,未实施用户干预。

思考练习#

  1. 不看代码,推导 δi=−ri/(T−Mi)\delta_i=-r_i/(T-M_i),手算 H 的精确变化和局部近似。证明当 Mi≥1,N≥2M_i\ge1,N\ge2 时所有删除分母为正;解释为什么 δH\delta_H 可以小于 −1。
  2. 构造一位占 90% 请求但残差为零的用户,再构造请求份额相同而残差很大的情形。比较 hi,ci,δih_i,c_i,\delta_i,说明只按请求数排查会遗漏什么。
  3. 用显式删行重算作为参照,检查所有用户的输出;交换当前版和基线版,验证点估计、残差与删后变化变号,两个份额不变。再将每位用户的三列计数同时乘 10,说明哪些结果应保持不变,为什么这不等于新增用户。

相关工作#

  1. Hampel (1974), The Influence Curve and its Role in Robust Estimation ↗:以分布的局部扰动研究估计的稳健性,为本篇的影响函数解释提供基础。
  2. Deng, Knoblich & Lu (2018), Applying the Delta Method in Metric Analytics: A Practical Guide with Novel Ideas ↗:讨论指标聚合层级、比率和 Delta 方法,连接用户残差与线上度量。
  3. Efron (1979), Bootstrap Methods: Another Look at the Jackknife ↗:研究重采样与杰克刀的联系,帮助区分删除敏感性、方差估计和覆盖保证。

下一篇预告#

本篇把重度用户的作用定位到残差和分母,但尚未解决“一大批用户都受到同一天故障”的共同波动。下一篇从用户—日期两条索引出发,解释为什么单用户聚合仍可能漏掉跨用户相关性,以及按哪一层聚合才对应想推断的未来场景。

删掉一位重度用户,版本结论就翻转?请求比率的用户影响诊断
https://zwjcode.cn/blog/request-ratio-user-influence
作者 傑
发布于 2026年11月17日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。