删掉一位重度用户,版本结论就翻转?请求比率的用户影响诊断
从配对失败率差出发,区分请求占比与残差贡献,推导删一用户的精确比率变化,用四人例子和线性时间 Python 实现定位脆弱结论。
上一篇保留同用户、同请求和共享分母,计算了两版失败率差的标准误(Standard Error,SE)。团队拿到结果后又发现:一位用户发了大半请求,去掉他,当前版似乎立刻从“更差”变成“更好”。已经按用户计算误差,为什么结论还会这么脆弱?
按用户聚合保留了依赖结构;大样本近似还需要足够分散的独立信息。本篇只讲用户影响诊断(User Influence Diagnostics):把“请求多”“主导残差”和“删掉后改变结论”拆开,并用一个恒等式连接它们。例子全部为合成数据;封面是装饰性隐喻,表格承担定量教学。
01 请求占比很大,为什么还不足以判断影响?#
沿用上一篇冻结的入口名单、完整七天观察窗和双版本影子回放。第 位用户有 条请求,当前版失败 次,基线版失败 次。每条请求的两版标签均完整,先按用户键连接,再形成有符号计数差 。
用户向量 独立同分布(Independent and Identically Distributed,IID),用户内部允许相关。目标仍是固定旧版流量轨迹上的请求失败率差:
对入口用户的完整轨迹取期望; 是请求总数, 是净失败次数差。 表示当前版失败更多,乘 100 后以百分点报告。三个输入向量 a[N]、b[N]、m[N] 都是计数;相减后 d[N] 可以为负。
把请求份额(Request Share)定义为 ,把用户自身的净差比例定义为 ,则
是用户残差,单位为净失败次数,且 。请求很多但自身比例恰好等于总体的用户,残差为零;请求少但自身比例偏离很大的用户,也可能有明显残差。
沿用上篇的线性化方差,令 :
因而当残差平方和为正时,可以报告残差平方贡献份额(Squared Residual Share):
将当前样本的线性化方差分子逐人分账;它不是“该用户导致总体错误的概率”。某个 很大,说明观测到的误差估计集中在少数贡献上,值得检查近似是否由一两人支撑。所有残差为零时, 无定义,应返回状态,不能填成“人人贡献为零且总体确定”。
02 删掉一人,为什么必须连分母一起重算?#
删一用户敏感性(Leave-one-user-out Sensitivity)保留其他所有用户,整组去掉第 人的当前失败、基线失败和请求数。删后比率为
将它减去完整估计,通分得到精确恒等式:
是删后变化,单位为比例差。正残差表示该用户把当前版失败差往上推,删除后估计下降,所以前面有负号。 是删除大份额后剩余分母收缩产生的放大,不是可随意省去的小样本校正。
当 很小时,局部近似为 。从影响函数(Influence Function)看,比例泛函 在分布 中混入微小质量的用户 时,其一阶导数为
这是分子、分母一起求导的商法则。用经验分布代替 ,得到 ;再乘删除的负质量约 ,就是 。删除一位大份额用户已经超出“小扰动”直觉,应使用上面的精确比率。
这里没有重新训练模型,变动的是评估名单上的统计汇总。若线上删除用户会改变路由负载、其他人的回答或后续行为,这些系统反馈不在这项敏感性计算内。
冻结用户键、完整请求清单、双版本与标签规则
→ 按键生成同行 A[N], B[N], M[N]
→ 转为有符号数,形成 D[N]
→ 汇总 U、T,计算完整比率
→ 同时计算请求份额 h[N] 和残差 r[N]
→ 一次向量运算得到全部删后比率与变化
→ 保存全部用户诊断,按预定规则排查日志与样本结构text03 四位用户:增加 9.09 个百分点,怎样变成减少 100 个百分点?#
重度用户 H 有八条请求,其余三人各一条。以下失败次数能由合法的二值配对标签产生。
| 用户 | ||||||||
|---|---|---|---|---|---|---|---|---|
| H | 8 | 4 | 0 | 4 | 8/11 | 36/11 | 3/4 | −1 |
| L1 | 1 | 0 | 1 | −1 | 1/11 | −12/11 | 1/12 | 1/5 |
| L2 | 1 | 0 | 1 | −1 | 1/11 | −12/11 | 1/12 | 1/5 |
| L3 | 1 | 0 | 1 | −1 | 1/11 | −12/11 | 1/12 | 1/5 |
完整样本 、,所以 ,当前版增加约 9.09 个百分点。删 H 后,剩余三人当前版都成功、基线版都失败,比率变成 :
从“增加 9.09”到“减少 100”,变化是下降约 109.09 个百分点。两个比例差各自都在 ,它们之间的变化可以超过 100 个百分点,不能因此把变化截断到 。
局部近似却只给 。乘上 ,才恢复精确变化 。删任意一位轻度用户后, 从 1 变 2、 从 11 变 10,估计上升为 。
只扣掉 H 的分子,保留 11 条请求作分母,会得到什么?
会得到 。这个数把已经删除的八条请求继续留在分母中,相当于给它们补了零净差,未执行“去掉整位用户”的操作。正确分母是 。代码同时输出直接重算和残差恒等式,可以快速发现这种不一致。
再看请求份额与影响的区别:令 m=[8,1,1]、d=[0,1,-1]。H 占 80% 请求,但总体差和 H 自身差都是零,因此 ,删除 H 仍得到零;其他两人的残差平方份额各为一半。高请求份额提示潜在放大能力,实际移动还取决于残差。
04 Python:不循环重建名单,一次算完全部用户#
以下实现的输入是同序的一维整数向量 [N],、、。输出含一个完整估计和若干 [N] 诊断数组,数组位置沿用输入用户顺序。真实工程必须另存对应用户键;“长度相同”不能证明连接正确。
验证后先转 float64,避免无符号整数执行 a-b 时负差下溢。教学上限让计数总和低于 ,可由双精度精确表达整数;比例仍有浮点舍入,等式用容差核验。残差先用 Python 整数精确计算 ,再除以 ,避免两个接近的大浮点数相减抹掉微小残差。
import numpy as np
def user_influence(a, b, m):
a, b, m = np.asarray(a), np.asarray(b), np.asarray(m)
if (m.ndim != 1 or a.shape != m.shape or b.shape != m.shape
or m.size < 2 or any(x.dtype.kind not in 'iu' for x in (a, b, m))
or np.any(m < 1) or np.any(a < 0) or np.any(b < 0)
or np.any(a > m) or np.any(b > m)):
raise ValueError('same-order integers: 0<=a,b<=m, m>=1, N>=2')
if m.size > 1_000_000 or np.any(m > 1_000_000_000):
raise ValueError('teaching implementation count limit exceeded')
a, b, m = a.astype(np.float64), b.astype(np.float64), m.astype(np.float64)
d = a - b
total_m, total_d = int(m.sum()), int(d.sum())
estimate = float(total_d / total_m)
share = m / total_m
numerators = [total_m * int(di) - total_d * int(mi)
for di, mi in zip(d, m)]
residual = np.asarray(numerators, dtype=np.float64) / total_m
remaining = total_m - m
deleted = (total_d - d) / remaining
shift = -residual / remaining
local_shift = -residual / total_m
# Exact integer cross-products detect proportional counts.
degenerate = all(v == 0 for v in numerators)
energy = np.sum(residual**2)
residual_share = None if degenerate else residual**2 / energy
assert np.allclose(deleted - estimate, shift, atol=1e-12, rtol=1e-10)
return dict(estimate=estimate, request_share=share, residual=residual,
residual_share=residual_share, deleted_estimate=deleted,
shift=shift, local_shift=local_shift,
status='observed-degenerate' if degenerate else 'diagnostics-only')
if __name__ == '__main__':
out = user_influence([4, 0, 0, 0], [0, 1, 1, 1], [8, 1, 1, 1])
print('full:', round(out['estimate'], 6))
for key in ('request_share', 'residual_share', 'deleted_estimate',
'shift', 'local_shift'):
print(key + ':', np.round(out[key], 6).tolist())
neutral = user_influence([0, 1, 0], [0, 0, 1], [8, 1, 1])
print('80% user shift:', neutral['shift'][0])
same = user_influence([0, 1], [0, 1], [2, 2])
print('same versions:', same['status'], same['residual_share'])pythonfull: 0.090909
request_share: [0.727273, 0.090909, 0.090909, 0.090909]
residual_share: [0.75, 0.083333, 0.083333, 0.083333]
deleted_estimate: [-1.0, 0.2, 0.2, 0.2]
shift: [-1.090909, 0.109091, 0.109091, 0.109091]
local_shift: [-0.297521, 0.099174, 0.099174, 0.099174]
80% user shift: -0.0
same versions: observed-degenerate Nonetextnp.asarray ↗保留输入形状供检查;np.sum ↗汇总分子、分母;np.allclose ↗同时按绝对与相对容差核对恒等式。接口按 NumPy 官方文档核实。输出状态 diagnostics-only 表示已完成诊断运算,未给出统计覆盖承诺;此处没有训练过程,推断对象是固定模型在固定轨迹上的计数比率。
计算全部删除结果只需 时间和工作内存。逐人复制剩余数组、重新聚合需要 ;逐人重新调用模型更加昂贵,也改变了原来冻结预测的分析任务。分布式场景可先归并 ,再广播两个总量,逐用户计算诊断;用户拆散到不同分片时必须先完成用户聚合。
05 发现一位主导用户,接下来查什么?#
| 观测或方法 | 回答的问题 | 下一步 |
|---|---|---|
| 请求份额 很大 | 删除时分母会缩小多少? | 核对窗口、用户键、重试与机器人流量定义 |
| 残差平方份额 很大 | 当前线性化方差是否集中? | 回看该用户的两版标签和请求类型,审查独立信息量 |
| 精确删后变化 很大 | 整组去掉此人,估计会移动多少? | 保留完整结果,报告敏感性并寻找原因 |
| 整用户 Bootstrap | 同一抽样近似下,比率怎样波动? | 保留用户依赖,检查重度簇和退化重复 |
| 杰克刀方差 | 删除重复怎样组合成误差估计? | 另定抽样设计、中心和系数,不能把删除范围当区间 |
先排数据错误:按用户键检查合并是否重复;核对请求键唯一、幂等重试是否被多次计数;检查完整观察窗是否混入一个更长窗口;逐条对齐双版本终态。若确认是错误,按预定去重或清洗规则修正并生成新数据版本。高影响本身不是错误证据。
若用户轨迹真实,保留主分析,并报告最大请求份额、最大残差平方份额、最大绝对删后变化及对应用户的匿名审计键。可把变化与事前确定的实际重要差异门槛比较;不存在一条普遍有效的“份额低于 10% 就安全”定理。按结果挑出最影响结论的人再删除,会引入选择;此时剩余名单也不再是原始完整入口样本。
把所有删后估计的最小值和最大值作为 95% 置信区间,可以吗?
这只是当前样本的单用户删除敏感性范围,没有 95% 的覆盖推导。它也不包含未来未见用户类型、共同时间冲击或标签系统偏差。杰克刀方差需要明确的中心和系数;置信区间还需对应近似条件。本站此前的校准杰克刀课程还要逐轮重新拟合权重,而本篇只有冻结计数的比率,二者重复的是不同程序。
该诊断在少数用户承担极大请求量、用户二阶矩不稳定、平台事件让很多用户共同波动时尤其有用,但不能自行修复这些条件。有限样本中的低集中度同样不能证明总体尾部温和。可结合冻结的流量机制、更多独立批次和真实规模模拟评估误差方法;复制已有用户不会增加独立信息。
请求级目标本就让重度用户贡献更多请求。把每用户只留前十条或把 截断,需要先明确新估计目标和处理规则;单纯裁剪权重后仍称其为原始全请求失败率,会改变问题。高影响也不是因果影响:删除计算描述当前报表的敏感性,未实施用户干预。
思考练习#
- 不看代码,推导 ,手算 H 的精确变化和局部近似。证明当 时所有删除分母为正;解释为什么 可以小于 −1。
- 构造一位占 90% 请求但残差为零的用户,再构造请求份额相同而残差很大的情形。比较 ,说明只按请求数排查会遗漏什么。
- 用显式删行重算作为参照,检查所有用户的输出;交换当前版和基线版,验证点估计、残差与删后变化变号,两个份额不变。再将每位用户的三列计数同时乘 10,说明哪些结果应保持不变,为什么这不等于新增用户。
相关工作#
- Hampel (1974), The Influence Curve and its Role in Robust Estimation ↗:以分布的局部扰动研究估计的稳健性,为本篇的影响函数解释提供基础。
- Deng, Knoblich & Lu (2018), Applying the Delta Method in Metric Analytics: A Practical Guide with Novel Ideas ↗:讨论指标聚合层级、比率和 Delta 方法,连接用户残差与线上度量。
- Efron (1979), Bootstrap Methods: Another Look at the Jackknife ↗:研究重采样与杰克刀的联系,帮助区分删除敏感性、方差估计和覆盖保证。
下一篇预告#
本篇把重度用户的作用定位到残差和分母,但尚未解决“一大批用户都受到同一天故障”的共同波动。下一篇从用户—日期两条索引出发,解释为什么单用户聚合仍可能漏掉跨用户相关性,以及按哪一层聚合才对应想推断的未来场景。