观文听傑

返回

青色与象牙色圆片依次经过琥珀色检查门,放大镜检查其中一对圆片青色与象牙色圆片依次经过琥珀色检查门,放大镜检查其中一对圆片

在不一致对的频率与方向分解中,失败率净差是 Δ=p10−p01\Delta=p_{10}-p_{01}。如果新版弄坏 10% 的请求,同时修好另外 10%,净差为 0。对一项强调兼容性的模型更新,团队可能更关心:原本能成功的请求,有多少会被这次更新弄坏?

本篇只讲新增失败概率的单侧上界(One-Sided Upper Confidence Bound),连接事件定义、二项尾部反演和固定样本发布门槛。全部数值为合成设定;封面是装饰隐喻。这里的“新增伤害”严格指冻结评审指标上的配对退化事件,真实用户后果仍须由相应线上设计验证。

01 先冻结分母:全体请求上的新增失败概率#

沿用独立确认设计,开封前冻结一个切片、当前版与基线版、标签规则、用户级样本量 nn、错误额度 α\alpha 和允许上限 ε\varepsilon。每位用户贡献一个确认请求,确认名单中的全部终态标签齐备后读数。条件于发现历史,标签对独立同分布(Independent and Identically Distributed, IID)。

每行标签 (Yi,c,Yi,b)∈{0,1}2(Y_{i,c},Y_{i,b})\in\{0,1\}^2 来自形状 [n,2] 的矩阵,1 为失败。定义

Zi=1[Yi,c=1, Yi,b=0],h=P(Zi=1)=p10,K=∑i=1nZi.Z_i=\mathbb 1[Y_{i,c}=1,\ Y_{i,b}=0],\qquad h=P(Z_i=1)=p_{10},\qquad K=\sum_{i=1}^nZ_i.

ZZ 形状 [n],KK 是整数标量,hh 是相对于全部目标请求的新增失败概率。取 ε=0.01\varepsilon=0.01 意味着至多允许 1% 的全部请求出现此类退化。条件概率 P(Yc=1∣Yb=0)P(Y_c=1\mid Y_b=0) 则以基线成功请求为分母,它等于 h/P(Yb=0)h/P(Y_b=0);两个目标不能共用同一门槛。若业务选择后者,应预先设计其条件抽样与分母。

用户当前失败 YcY_c基线失败 YbY_b新增失败 ZZ净差 D=Yc−YbD=Y_c-Y_b
甲101+1
乙010−1
丙0000
丁1100

手算得 K/n=1/4K/n=1/4,净差为 0。改善对可以抵消净差,却不从新增失败数里扣除。这个护栏更严格,也可能拒绝净收益为正的更新;门槛应对应业务愿意承担的迁移风险。

02 零事件为什么仍对应正的上界?#

在固定样本模型下,K∼Binomial⁡(n,h)K\sim\operatorname{Binomial}(n,h)。若观察到 K=0K=0,给定真实风险 hh 时的概率为

Ph(K=0)=(1−h)n.P_h(K=0)=(1-h)^n.

寻找让零事件概率恰好为 α\alpha 的风险值,得到单侧 1−α1-\alpha 置信上界

U(0,n;α)=1−α1/n.U(0,n;\alpha)=1-\alpha^{1/n}.

例如 n=100,α=0.05n=100,\alpha=0.05 时,上界约 2.95%;真实风险若为 1%,100 次全部未发现新增失败的概率仍为 0.99100≈36.6%0.99^{100}\approx36.6\%。因此零观察无法证明风险为零,也不足以满足 1% 的上限。

对一般 0≤k<n0\le k<n,上端点 UU 解方程

∑j=0k(nj)Uj(1−U)n−j=α.\sum_{j=0}^{k}{n\choose j}U^j(1-U)^{n-j}=\alpha.

jj 是尾部求和索引。左边是当真实风险为候选值 UU 时,观察到至多 kk 次事件的概率;它随 UU 增大而减小。若 k=nk=n,取 U=1U=1。逐个候选风险反演这些下尾检验,就得到对每个固定 hh 都满足 Ph(h≤U(K,n;α))≥1−αP_h(h\le U(K,n;\alpha))\ge1-\alpha 的上界。离散性使实际覆盖可能更高。

本课的放行条件是 U≤εU\le\varepsilon。若真实 h>εh>\varepsilon,错误放行必然发生在上界未覆盖 hh 的事件中,所以单次、单目标错误放行概率至多为 α\alpha。上界高于门槛时输出“尚未证明满足”,它也可能来自样本不足。

03 从三法则到样本量:299 对是有条件的预算#

零事件时,将 α1/n\alpha^{1/n} 写成 exp⁡(log⁡α/n)\exp(\log\alpha/n)。当指数绝对值小时,1−ex≈−x1-e^x\approx-x,因此

U≈−log⁡(α)/n.U\approx-\log(\alpha)/n.

在 95% 单侧置信水平,−log⁡(0.05)≈2.996-\log(0.05)\approx2.996,得到三法则(Rule of Three)U≈3/nU\approx3/n。这是便于心算的近似,代码使用精确端点。

要求零事件时 U≤εU\le\varepsilon,可反解

n≥log⁡αlog⁡(1−ε),nzero=⌈log⁡αlog⁡(1−ε)⌉.n\ge\frac{\log\alpha}{\log(1-\varepsilon)},\qquad n_{\mathrm{zero}}=\left\lceil\frac{\log\alpha}{\log(1-\varepsilon)}\right\rceil.

log⁡\log 是自然对数,分子分母都为负。α=0.05,ε=0.01\alpha=0.05,\varepsilon=0.01 给出 nzero=299n_{\mathrm{zero}}=299。这是“最终确实零事件时足以通过”的预算,和达到某个功效(Power)的样本量不同。若真实 h=0.005h=0.005,299 对观察到零事件的概率仅约 22.3%;这套只在零事件时通过的计划并不保证高概率通过。一般固定计划可预先确定允许事件数 kmax⁡k_{\max},先核对 U(kmax⁡,n;α)≤εU(k_{\max},n;\alpha)\le\varepsilon,再以二项累积概率计算目标风险下的通过概率。

一直测到凑满 299 个“没有新增失败”的请求,是否就够了?

固定样本量是事先选定的 299 个合格独立单位,包括其中所有新增失败。如果删去失败样本、失败后清零,或每增加一人都重新尝试放行,就改变了试验。持续查看应使用预先设计的序贯方法;重复模型版本与多个切片还需联合错误预算,沿用跨版本注册账本的思路。

04 Python:稳定的零事件公式与一般事件的官方反演#

推理阶段仍先对同一请求运行两版、按用户键收齐盲评结果,再生成 ZiZ_i。以下函数只接收已经核对完整名单的二值向量与冻结人数;计数相等无法替代上游用户去重、版本指纹和切片核对。

冻结 n、epsilon、alpha 与完整确认名单
运行两版 → 收齐终态标签 → 每行生成 Z
若人数或标签不合法,拒绝出报告
统计 k → 求单侧上界 U → 比较预设 epsilon
输出人数、事件数、上界和“满足/尚未证明满足”
text

log1p(x) 稳定计算 log⁡(1+x)\log(1+x),expm1(x) 稳定计算 ex−1e^x-1,减少极小风险下的相消误差。binomtest(..., alternative="less") 指定下尾检验方向,其 proportion_ci(..., method="exact") 返回对应单侧区间 [0,U],这里取 .high。默认双侧区间会把错误预算分到两尾,零事件时给出 1−(α/2)1/n1-(\alpha/2)^{1/n},不能混用。接口已核实于 SciPy 二项检验文档 ↗、区间文档 ↗及 Python math 文档 ↗。

zero-event planned n: 299
n=100, k=0, upper=2.951%, passes=False
n=299, k=0, upper=0.997%, passes=True
n=299, k=1, upper=1.577%, passes=False
n=500, k=1, upper=0.945%, passes=True
text

upper 用百分比显示,判断使用未舍入原值;先四舍五入再比较,可能把略超阈值的结果误判为通过。向量核验为 O(n)O(n) 时间,示例为便于重复读取保存元组而占 O(n)O(n) 空间;生产可对已完成、已去重的批次流式累计,同时保留可重放日志。

05 上界通过后,究竟能宣布什么?#

通过意味着:在冻结确认分布、评审定义与单次读数设计下,这个新增失败护栏获得相应置信保证。它只占发布决策的一项。因为 Δ=h−p01≤h\Delta=h-p_{01}\le h,它也保守约束净退化;反过来,净差区间通过不能保证新增失败很少。两版共同失败、延迟、成本和真实线上后果需要各自的指标与设计。

依据实际回答失败模式
没有显著差异相等原假设未被拒绝样本少也可能不显著,不能直接放行
净差上界过门槛改善抵消退化后的总量满足约束可以隐藏用户迁移损害
本篇新增失败上界全体请求上的退化事件概率满足约束保守,可能拒绝总体有益的更新
基线成功者中的退化率原本成功人群内的条件风险分母不同,不能套本篇 1% 门槛

调试从四处开始:检查列顺序是否把改善记成伤害;检查失败、未知和超时是否按冻结规则分开;检查 n 是否始终等于完整名单人数;检查每次报告是否属于同一个预定开封。若失败案例更难评审而被删去,上界就失去目标含义。若同一用户或门店重复出现,简单二项分布不再匹配独立单位;增加请求数无法自动补回独立信息。

能否把“通过概率 95%”写进发布报告?

本篇 95% 描述重复执行同样设计时上界的覆盖率,不能解释为当前模型以 95% 的概率安全。报告应写明切片、版本、确认日期、n、k、单侧置信水平、风险上界和预设门槛。通过概率属于功效规划,需要另外给定真实风险,例如前面的 h=0.005h=0.005。

思考练习#

  1. 用 α=0.05\alpha=0.05 分别规划零事件下 1%、0.5%、0.1% 上限的样本量,并验证少一个样本就不能通过。
  2. 构造净差为负但新增失败率为 10% 的四格表。解释哪种业务愿意采用净差门槛,哪种业务需要新增失败护栏。
  3. 固定 n=500n=500、ε=0.01\varepsilon=0.01,寻找满足门槛的最大 kk,再计算真实风险 h=0.002h=0.002 时这套固定计划的通过概率。为什么“允许最多几次”应在开封前确定?

相关工作#

  1. Clopper 与 Pearson(1934),The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial ↗:单侧与双侧二项精确区间的基础。
  2. Hanley 与 Lippman-Hand(1983),If Nothing Goes Wrong, Is Everything All Right? Interpreting Zero Numerators ↗:零事件推断与三法则的经典讨论;本文将其概率计算用于抽象模型评审事件。
  3. McNemar(1947),Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages ↗:理解两类不一致对的比较目标,可与本篇单类事件护栏对照。

下一篇预告#

单个切片的护栏已经可复核。如果整体通过,少数语言或设备切片却只有几个样本,该如何同时分配错误额度与核验人数?下一篇把各切片的风险上界接成一份预先冻结的联合验收计划。

测试中零次新增失败就能发布吗?单侧二项上界与新增伤害预算
https://zwjcode.cn/blog/zero-new-failure-release-bound
作者 傑
发布于 2026年11月14日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。