同一用户发来一百次请求,算一百个样本吗?用户级新增失败与完整观察窗
把重复请求先聚合为用户内至少一次新增失败,明确用户、请求和观察窗的不同分母,再用完整用户名单计算可复核的风险上界。
上一篇把核验预算写成了人数,隐含每位独立用户只提供一个请求。真实的模型服务里,重度用户一天会发来一百次请求。若这些请求都没有新增失败,就把样本数增加一百,上界会迅速变小;但一百次可能共享同一个用户的语言、设备、任务习惯和故障原因。
本篇处理一个核心问题:先定义用户内至少一次新增失败,再数独立用户。我们沿用已有二项上界,把重点放在它的输入究竟怎样产生。所有数值均为合成教学数据,封面是装饰性隐喻。
01 一个人的一串请求,怎样变成一个观测?#
先冻结一个确认计划:抽取 位用户,每人从登记时刻起观察七天,旧版实际服务,当前版只做隔离的影子推理(Shadow Inference)。两版接收同一份已冻结上下文,失败标准和评审流程相同。这个设计评估旧版流量上的配对回放;真实部署后对话轨迹和使用次数可能变化,需要另外的在线验证。
用户 在窗内有 个请求。第 个请求的两版终态失败标签为 ,上标 0、1 分别为基线、当前版,1 表示失败。定义
是条件成立取 1 的指示函数(Indicator Function); 标记同一请求上的新增失败, 数次数, 表示这位用户至少遭遇过一次。空窗用户取 ,仍保留在登记用户分母中。
输入标签是每人 [M_i,2] 的不等长数组;聚合后得到用户向量 A[N]。同一用户内的请求可以任意相关。假设这些完整用户记录从目标登记人群中独立同分布(Independent and Identically Distributed,IID)抽取,则事件人数服从二项分布(Binomial Distribution):
这一步把独立性放在整位用户上。若用户还共享企业账号、家庭或门店故障,需要把抽样和分析提升到对应独立层级,直接换一个用户 ID 无法消除依赖。记有请求用户数为 ,三种分母的区别如下。
| 数值 | 分子 | 分母 | 业务问题 |
|---|---|---|---|
| 用户级至少一次风险 | 有新增失败的用户数 | 登记用户数 | 一位登记用户七天内会不会遇到新增失败? |
| 请求级观测比例 | 新增失败请求总数 | 请求总数 | 这批流量里多少请求新增失败? |
| 有请求用户的条件风险 | 同一个 | 一位有请求用户遇到新增失败的概率多大? |
表中的三种门槛需要各自定义。请求级 1% 不能直接搬成用户级 1%;七天风险也不能与一天风险共用同一个目标名称。
02 四位用户手算:同样是 50%,含义为何不同?#
下表每个括号是一个请求的 (基线失败, 当前版失败),各人的七天窗口都已关闭,全部请求的评审都已完成。
| 用户 | 配对请求 | |||
|---|---|---|---|---|
| A | (0,0), (0,1), (1,1) | 3 | 1 | 1 |
| B | (0,0) | 1 | 0 | 0 |
| C | (0,1), (0,1) | 2 | 2 | 1 |
| D | 空窗,已确认日志完整 | 0 | 0 | 0 |
用户级风险是 ;请求级比例是 ;有请求用户条件风险为 。前两者相等纯属这个例子的计数巧合。若给 B 增加 100 个两版都成功的请求,用户级仍为 ,请求级变成 ,条件风险仍为 。
另一个容易写错的地方是先对两版分别取 any,再比较用户标签。A 有一个两版共同失败的请求,所以两版的“是否曾失败”都是 1;但 A 仍有一个基线成功、当前版失败的请求。本文必须先在同一请求内比较,再在用户内取 any;两个操作交换顺序会改变事件。
同一用户的 100 次零事件,究竟能证明多少?
考虑最强的相关性反例:每位用户先抽一个隐藏的二元状态,其 100 个请求全都等于这个状态。一个用户的 100 次零事件,发生概率与一次零状态相同。它们仍只贡献一个独立用户观测。多看请求可以完善这位用户的窗内事件判定,独立用户数则由抽了多少人决定。
03 零事件上界仍然可用,但指数里必须是用户数#
在固定 位独立同分布用户、完整观察窗、单次预定开封下,可以复用单侧精确二项上界。错误额度为 ,零用户事件 时,
例如 100 位用户各有 100 次请求且全部零事件。取 ,正确的用户级上界约为 。若把 10000 个相关请求误作 10000 位用户,就会写出约 ,数量级已完全不同。后一个公式只有在其独立二项条件成立时,才可能描述相应的请求级目标。
当 ,求满足 的上端点, 是假想重复抽样的事件人数; 时上端点为 1。这里的 95% 是整个上界程序的长期覆盖承诺。
完整观察还包含两件事:七天已经结束,以及窗内每个应评审的请求都有双版本终态标签。第一天没出问题不能当七天零事件;窗口已结束但某条标签未回也不能填 0。对整个预登记队列等待完整批次后再开封,避免只保留“先完成的用户”。若需要在不同完成时刻查看,需另行设计此前讲过的时间一致程序。
04 Python:完整名单、请求清单和配对标签逐层核对#
代码输入 roster[N] 是开封前登记的用户名单;requests 保存每位用户在完整窗口内的请求 ID 清单,来自请求日志而非标签表;labels[R] 以请求 ID 为键保存 (基线,当前版),。closed[N] 是上游根据每位用户的观察起止时间与日志水位生成的关闭状态。代码拒绝重复请求、少标签、多标签和未关闭窗口,不会默默删行。
登记用户名单与七天观察规则 → 双版影子推理 → 盲评终态标签
等待全部窗口关闭,核对请求日志清单与标签键完全一致
逐请求:Z = (基线成功 且 当前版失败)
逐用户:A = any(Z),包括已完整确认的空窗用户
累计 K、N → 单侧二项上界 → 按用户级预设门槛报告textfrom math import expm1, isfinite, log
from scipy.stats import binomtest
def user_report(roster, requests, labels, closed, alpha=0.05):
roster = tuple(roster)
if (not roster or any(not isinstance(u, str) or not u for u in roster)
or len(set(roster)) != len(roster)
or not isfinite(alpha) or not 1e-12 <= alpha < 1):
raise ValueError("invalid roster or error budget")
users = set(roster)
if set(requests) != users or set(closed) != users:
raise ValueError("all enrolled users must be retained")
if any(closed[u] is not True for u in roster):
raise ValueError("wait for every complete observation window")
manifest = {u: tuple(requests[u]) for u in roster}
ids = [r for u in roster for r in manifest[u]]
if (any(not isinstance(r, str) or not r for r in ids)
or len(set(ids)) != len(ids) or set(labels) != set(ids)):
raise ValueError("request IDs must be unique and labels complete")
for pair in labels.values():
if (len(pair) != 2
or any(type(f) is not int or f not in (0, 1) for f in pair)):
raise ValueError("terminal binary labels required")
rows = []
for u in roster:
s = sum(labels[r][0] == 0 and labels[r][1] == 1
for r in manifest[u])
rows.append((u, len(manifest[u]), s, int(s > 0)))
n = len(rows)
k = sum(a for _, _, _, a in rows)
upper = (-expm1(log(alpha) / n) if k == 0 else
float(binomtest(k, n, alternative="less").proportion_ci(
confidence_level=1-alpha, method="exact").high))
return {"rows": rows, "n": n, "k": k, "risk": k/n, "upper": upper}
if __name__ == "__main__":
roster = ["A", "B", "C", "D"]
requests = {"A": ["a1", "a2", "a3"], "B": ["b1"],
"C": ["c1", "c2"], "D": []}
labels = {"a1": (0, 0), "a2": (0, 1), "a3": (1, 1),
"b1": (0, 0), "c1": (0, 1), "c2": (0, 1)}
result = user_report(roster, requests, labels, dict.fromkeys(roster, True))
print(result["rows"])
print(f"users={result['n']}, affected={result['k']}, "
f"risk={result['risk']:.3f}, upper={result['upper']:.6f}")
for n in (100, 10000):
print(n, f"zero-event upper={100*(-expm1(log(0.05)/n)):.3f}%")pythonbinomtest(..., alternative="less") 的结果调用 proportion_ci(..., method="exact").high,得到单侧上端点;expm1 稳定计算接近零的指数差。接口核实于 SciPy binomtest 官方文档 ↗、区间文档 ↗与 Python math ↗。
[('A', 3, 1, 1), ('B', 1, 0, 0), ('C', 2, 2, 1), ('D', 0, 0, 0)]
users=4, affected=2, risk=0.500, upper=0.902389
100 zero-event upper=2.951%
10000 zero-event upper=0.030%text执行不涉及训练:模型版本和评审标准在上游固定,函数只做审计推断。时间、空间均为 ;生产可保留清单哈希并分批聚合,但仍需能重放 ID 去重与完成性校验。closed=True 需要真实日志水位支持,函数无法从一个布尔值证明上游没有漏记请求。
05 调试时,先追问哪个单位被重复计算#
先把每位用户的 导出,验证 、,以及 。将一个已有成功请求重复导入应报错;给同一用户添加一个全新成功请求,用户事件不应改变;把 A 的共同失败请求删去,A 的新增失败事件仍应为 1。
窗口长度、身份合并、用户注销和零请求的处理都需要在开封前固定。设备 ID 轮换会把一个人拆成多个“独立用户”;共享账号则可能把多人揉成一个单位。若对话上下文的回放泄漏了新版实际输出,原本声称的旧版轨迹目标也会变动。
已发生过一次新增失败的用户,可以马上标成终态吗?
在事件定义固定时,已经观察到的 1 不会被后续成功请求改回 0;但本篇仍等待整批预登记窗口完成后统一开封。若把先确定为 1 的用户即时纳入,却只让已完整结束的 0 纳入,就会形成结果相关的到达顺序,当前前缀不再是本篇固定批次的二项样本。
用户内取 any 适合“这位用户是否曾遇到新增失败”的护栏,会丢掉发生次数和严重程度;一百次与一次都记 1。它也随观察窗长度和使用频率变化。若业务关心流量中的请求风险,可以保留请求级目标,同时让不确定性计算尊重整用户的相关结构,下一篇就处理这条路径。
思考练习#
- 给 B 增加 100 个全新成功请求,运行代码并重算三种分母。哪一个指标变化?为什么用户级上界保持不变?
- 构造一位用户的两个请求,使“先按请求配对再 any”为 1,而“先按版本 any 再配对”为 0。解释两个事件各在问什么。
- 原计划 300 位登记用户,有 20 位七天无请求、10 位仍缺评审标签。怎样记录前者与后者?为什么不能统一从分母删除或填 0?
相关工作#
- Hurlbert(1984),Pseudoreplication and the Design of Ecological Field Experiments ↗:伪重复(Pseudoreplication)与独立重复单位的经典讨论;本文将这一原则用于重复请求。
- Clopper 与 Pearson(1934),The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial ↗:在独立用户二项模型上使用的精确区间基础。
- Hanley 与 Lippman-Hand(1983),If Nothing Goes Wrong, Is Everything All Right? Interpreting Zero Numerators ↗:零事件仍需量化不确定性的经典工作;单位与观察窗需要由具体设计定义。
下一篇预告#
如果产品真正关心“全部流量中多少请求新增失败”,把每人压成 0 或 1 会丢掉目标信息。下一篇保留请求总数作分母,整用户重采样,推导每一轮为何必须同时重算分子与分母。