观文听傑

返回

黄铜圆环围住盛有多颗瓷珠的青色玻璃容器,其中一颗为琥珀色黄铜圆环围住盛有多颗瓷珠的青色玻璃容器,其中一颗为琥珀色

上一篇把核验预算写成了人数,隐含每位独立用户只提供一个请求。真实的模型服务里,重度用户一天会发来一百次请求。若这些请求都没有新增失败,就把样本数增加一百,上界会迅速变小;但一百次可能共享同一个用户的语言、设备、任务习惯和故障原因。

本篇处理一个核心问题:先定义用户内至少一次新增失败,再数独立用户。我们沿用已有二项上界,把重点放在它的输入究竟怎样产生。所有数值均为合成教学数据,封面是装饰性隐喻。

01 一个人的一串请求,怎样变成一个观测?#

先冻结一个确认计划:抽取 NN 位用户,每人从登记时刻起观察七天,旧版实际服务,当前版只做隔离的影子推理(Shadow Inference)。两版接收同一份已冻结上下文,失败标准和评审流程相同。这个设计评估旧版流量上的配对回放;真实部署后对话轨迹和使用次数可能变化,需要另外的在线验证。

用户 i=1,…,Ni=1,\ldots,N 在窗内有 Mi≥0M_i\ge0 个请求。第 rr 个请求的两版终态失败标签为 Fir(0),Fir(1)∈{0,1}F^{(0)}_{ir},F^{(1)}_{ir}\in\{0,1\},上标 0、1 分别为基线、当前版,1 表示失败。定义

Zir=1{Fir(0)=0, Fir(1)=1},Si=∑r=1MiZir,Ai=1{Si≥1}.\begin{aligned} Z_{ir}&=\mathbf1\{F^{(0)}_{ir}=0,\ F^{(1)}_{ir}=1\},\\ S_i&=\sum_{r=1}^{M_i}Z_{ir},\\ A_i&=\mathbf1\{S_i\ge1\}. \end{aligned}

1\mathbf1 是条件成立取 1 的指示函数(Indicator Function);ZirZ_{ir} 标记同一请求上的新增失败,SiS_i 数次数,AiA_i 表示这位用户至少遭遇过一次。空窗用户取 Si=Ai=0S_i=A_i=0,仍保留在登记用户分母中。

输入标签是每人 [M_i,2] 的不等长数组;聚合后得到用户向量 A[N]。同一用户内的请求可以任意相关。假设这些完整用户记录从目标登记人群中独立同分布(Independent and Identically Distributed,IID)抽取,则事件人数服从二项分布(Binomial Distribution):

huser=P(Ai=1),K=∑i=1NAi,K∼Binomial⁡(N,huser),h^user=K/N.\begin{aligned} h_{\mathrm{user}}&=P(A_i=1),\\ K&=\sum_{i=1}^{N}A_i,\\ K&\sim\operatorname{Binomial}(N,h_{\mathrm{user}}),\\ \widehat h_{\mathrm{user}}&=K/N. \end{aligned}

这一步把独立性放在整位用户上。若用户还共享企业账号、家庭或门店故障,需要把抽样和分析提升到对应独立层级,直接换一个用户 ID 无法消除依赖。记有请求用户数为 N+=∑i1{Mi>0}N_+=\sum_i\mathbf1\{M_i>0\},三种分母的区别如下。

数值分子分母业务问题
用户级至少一次风险有新增失败的用户数 KK登记用户数 NN一位登记用户七天内会不会遇到新增失败?
请求级观测比例新增失败请求总数 ∑iSi\sum_i S_i请求总数 ∑iMi\sum_i M_i这批流量里多少请求新增失败?
有请求用户的条件风险同一个 KKN+N_+一位有请求用户遇到新增失败的概率多大?

表中的三种门槛需要各自定义。请求级 1% 不能直接搬成用户级 1%;七天风险也不能与一天风险共用同一个目标名称。

02 四位用户手算:同样是 50%,含义为何不同?#

下表每个括号是一个请求的 (基线失败, 当前版失败),各人的七天窗口都已关闭,全部请求的评审都已完成。

用户配对请求MiM_iSiS_iAiA_i
A(0,0), (0,1), (1,1)311
B(0,0)100
C(0,1), (0,1)221
D空窗,已确认日志完整000

用户级风险是 2/4=50%2/4=50\%;请求级比例是 3/6=50%3/6=50\%;有请求用户条件风险为 2/32/3。前两者相等纯属这个例子的计数巧合。若给 B 增加 100 个两版都成功的请求,用户级仍为 2/42/4,请求级变成 3/106≈2.83%3/106\approx2.83\%,条件风险仍为 2/32/3。

另一个容易写错的地方是先对两版分别取 any,再比较用户标签。A 有一个两版共同失败的请求,所以两版的“是否曾失败”都是 1;但 A 仍有一个基线成功、当前版失败的请求。本文必须先在同一请求内比较,再在用户内取 any;两个操作交换顺序会改变事件。

同一用户的 100 次零事件,究竟能证明多少?

考虑最强的相关性反例:每位用户先抽一个隐藏的二元状态,其 100 个请求全都等于这个状态。一个用户的 100 次零事件,发生概率与一次零状态相同。它们仍只贡献一个独立用户观测。多看请求可以完善这位用户的窗内事件判定,独立用户数则由抽了多少人决定。

03 零事件上界仍然可用,但指数里必须是用户数#

在固定 NN 位独立同分布用户、完整观察窗、单次预定开封下,可以复用单侧精确二项上界。错误额度为 0<α<10<\alpha<1,零用户事件 K=0K=0 时,

P(K=0∣h)=(1−h)N,Uuser=1−α1/N.\begin{aligned} P(K=0\mid h)&=(1-h)^N,\\ U_{\mathrm{user}}&=1-\alpha^{1/N}. \end{aligned}

例如 100 位用户各有 100 次请求且全部零事件。取 α=0.05\alpha=0.05,正确的用户级上界约为 2.951%2.951\%。若把 10000 个相关请求误作 10000 位用户,就会写出约 0.030%0.030\%,数量级已完全不同。后一个公式只有在其独立二项条件成立时,才可能描述相应的请求级目标。

当 K>0K>0,求满足 Ph=U(K′≤K)=αP_{h=U}(K'\le K)=\alpha 的上端点,K′K' 是假想重复抽样的事件人数;K=NK=N 时上端点为 1。这里的 95% 是整个上界程序的长期覆盖承诺。

完整观察还包含两件事:七天已经结束,以及窗内每个应评审的请求都有双版本终态标签。第一天没出问题不能当七天零事件;窗口已结束但某条标签未回也不能填 0。对整个预登记队列等待完整批次后再开封,避免只保留“先完成的用户”。若需要在不同完成时刻查看,需另行设计此前讲过的时间一致程序。

04 Python:完整名单、请求清单和配对标签逐层核对#

代码输入 roster[N] 是开封前登记的用户名单;requests 保存每位用户在完整窗口内的请求 ID 清单,来自请求日志而非标签表;labels[R] 以请求 ID 为键保存 (基线,当前版),R=∑iMiR=\sum_iM_i。closed[N] 是上游根据每位用户的观察起止时间与日志水位生成的关闭状态。代码拒绝重复请求、少标签、多标签和未关闭窗口,不会默默删行。

登记用户名单与七天观察规则 → 双版影子推理 → 盲评终态标签
等待全部窗口关闭,核对请求日志清单与标签键完全一致
逐请求:Z = (基线成功 且 当前版失败)
逐用户:A = any(Z),包括已完整确认的空窗用户
累计 K、N → 单侧二项上界 → 按用户级预设门槛报告
text

binomtest(..., alternative="less") 的结果调用 proportion_ci(..., method="exact").high,得到单侧上端点;expm1 稳定计算接近零的指数差。接口核实于 SciPy binomtest 官方文档 ↗、区间文档 ↗与 Python math ↗。

[('A', 3, 1, 1), ('B', 1, 0, 0), ('C', 2, 2, 1), ('D', 0, 0, 0)]
users=4, affected=2, risk=0.500, upper=0.902389
100 zero-event upper=2.951%
10000 zero-event upper=0.030%
text

执行不涉及训练:模型版本和评审标准在上游固定,函数只做审计推断。时间、空间均为 O(N+R)O(N+R);生产可保留清单哈希并分批聚合,但仍需能重放 ID 去重与完成性校验。closed=True 需要真实日志水位支持,函数无法从一个布尔值证明上游没有漏记请求。

05 调试时,先追问哪个单位被重复计算#

先把每位用户的 Mi,Si,AiM_i,S_i,A_i 导出,验证 0≤Si≤Mi0\le S_i\le M_i、Ai=1{Si>0}A_i=\mathbf1\{S_i>0\},以及 ∑iMi=R\sum_iM_i=R。将一个已有成功请求重复导入应报错;给同一用户添加一个全新成功请求,用户事件不应改变;把 A 的共同失败请求删去,A 的新增失败事件仍应为 1。

窗口长度、身份合并、用户注销和零请求的处理都需要在开封前固定。设备 ID 轮换会把一个人拆成多个“独立用户”;共享账号则可能把多人揉成一个单位。若对话上下文的回放泄漏了新版实际输出,原本声称的旧版轨迹目标也会变动。

已发生过一次新增失败的用户,可以马上标成终态吗?

在事件定义固定时,已经观察到的 1 不会被后续成功请求改回 0;但本篇仍等待整批预登记窗口完成后统一开封。若把先确定为 1 的用户即时纳入,却只让已完整结束的 0 纳入,就会形成结果相关的到达顺序,当前前缀不再是本篇固定批次的二项样本。

用户内取 any 适合“这位用户是否曾遇到新增失败”的护栏,会丢掉发生次数和严重程度;一百次与一次都记 1。它也随观察窗长度和使用频率变化。若业务关心流量中的请求风险,可以保留请求级目标,同时让不确定性计算尊重整用户的相关结构,下一篇就处理这条路径。

思考练习#

  1. 给 B 增加 100 个全新成功请求,运行代码并重算三种分母。哪一个指标变化?为什么用户级上界保持不变?
  2. 构造一位用户的两个请求,使“先按请求配对再 any”为 1,而“先按版本 any 再配对”为 0。解释两个事件各在问什么。
  3. 原计划 300 位登记用户,有 20 位七天无请求、10 位仍缺评审标签。怎样记录前者与后者?为什么不能统一从分母删除或填 0?

相关工作#

  1. Hurlbert(1984),Pseudoreplication and the Design of Ecological Field Experiments ↗:伪重复(Pseudoreplication)与独立重复单位的经典讨论;本文将这一原则用于重复请求。
  2. Clopper 与 Pearson(1934),The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial ↗:在独立用户二项模型上使用的精确区间基础。
  3. Hanley 与 Lippman-Hand(1983),If Nothing Goes Wrong, Is Everything All Right? Interpreting Zero Numerators ↗:零事件仍需量化不确定性的经典工作;单位与观察窗需要由具体设计定义。

下一篇预告#

如果产品真正关心“全部流量中多少请求新增失败”,把每人压成 0 或 1 会丢掉目标信息。下一篇保留请求总数作分母,整用户重采样,推导每一轮为何必须同时重算分子与分母。

同一用户发来一百次请求,算一百个样本吗?用户级新增失败与完整观察窗
https://zwjcode.cn/blog/user-level-any-new-failure-window
作者 傑
发布于 2026年11月15日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。