测试中零次新增失败就能发布吗?单侧二项上界与新增伤害预算
将只有新版失败定义为独立发布护栏,从零事件概率推导单侧精确上界、三法则与固定样本量,并解释改善为何不能抵消新增伤害。
在不一致对的频率与方向分解中,失败率净差是 。如果新版弄坏 10% 的请求,同时修好另外 10%,净差为 0。对一项强调兼容性的模型更新,团队可能更关心:原本能成功的请求,有多少会被这次更新弄坏?
本篇只讲新增失败概率的单侧上界(One-Sided Upper Confidence Bound),连接事件定义、二项尾部反演和固定样本发布门槛。全部数值为合成设定;封面是装饰隐喻。这里的“新增伤害”严格指冻结评审指标上的配对退化事件,真实用户后果仍须由相应线上设计验证。
01 先冻结分母:全体请求上的新增失败概率#
沿用独立确认设计,开封前冻结一个切片、当前版与基线版、标签规则、用户级样本量 、错误额度 和允许上限 。每位用户贡献一个确认请求,确认名单中的全部终态标签齐备后读数。条件于发现历史,标签对独立同分布(Independent and Identically Distributed, IID)。
每行标签 来自形状 [n,2] 的矩阵,1 为失败。定义
形状 [n], 是整数标量, 是相对于全部目标请求的新增失败概率。取 意味着至多允许 1% 的全部请求出现此类退化。条件概率 则以基线成功请求为分母,它等于 ;两个目标不能共用同一门槛。若业务选择后者,应预先设计其条件抽样与分母。
| 用户 | 当前失败 | 基线失败 | 新增失败 | 净差 |
|---|---|---|---|---|
| 甲 | 1 | 0 | 1 | +1 |
| 乙 | 0 | 1 | 0 | −1 |
| 丙 | 0 | 0 | 0 | 0 |
| 丁 | 1 | 1 | 0 | 0 |
手算得 ,净差为 0。改善对可以抵消净差,却不从新增失败数里扣除。这个护栏更严格,也可能拒绝净收益为正的更新;门槛应对应业务愿意承担的迁移风险。
02 零事件为什么仍对应正的上界?#
在固定样本模型下,。若观察到 ,给定真实风险 时的概率为
寻找让零事件概率恰好为 的风险值,得到单侧 置信上界
例如 时,上界约 2.95%;真实风险若为 1%,100 次全部未发现新增失败的概率仍为 。因此零观察无法证明风险为零,也不足以满足 1% 的上限。
对一般 ,上端点 解方程
是尾部求和索引。左边是当真实风险为候选值 时,观察到至多 次事件的概率;它随 增大而减小。若 ,取 。逐个候选风险反演这些下尾检验,就得到对每个固定 都满足 的上界。离散性使实际覆盖可能更高。
本课的放行条件是 。若真实 ,错误放行必然发生在上界未覆盖 的事件中,所以单次、单目标错误放行概率至多为 。上界高于门槛时输出“尚未证明满足”,它也可能来自样本不足。
03 从三法则到样本量:299 对是有条件的预算#
零事件时,将 写成 。当指数绝对值小时,,因此
在 95% 单侧置信水平,,得到三法则(Rule of Three)。这是便于心算的近似,代码使用精确端点。
要求零事件时 ,可反解
是自然对数,分子分母都为负。 给出 。这是“最终确实零事件时足以通过”的预算,和达到某个功效(Power)的样本量不同。若真实 ,299 对观察到零事件的概率仅约 22.3%;这套只在零事件时通过的计划并不保证高概率通过。一般固定计划可预先确定允许事件数 ,先核对 ,再以二项累积概率计算目标风险下的通过概率。
一直测到凑满 299 个“没有新增失败”的请求,是否就够了?
固定样本量是事先选定的 299 个合格独立单位,包括其中所有新增失败。如果删去失败样本、失败后清零,或每增加一人都重新尝试放行,就改变了试验。持续查看应使用预先设计的序贯方法;重复模型版本与多个切片还需联合错误预算,沿用跨版本注册账本的思路。
04 Python:稳定的零事件公式与一般事件的官方反演#
推理阶段仍先对同一请求运行两版、按用户键收齐盲评结果,再生成 。以下函数只接收已经核对完整名单的二值向量与冻结人数;计数相等无法替代上游用户去重、版本指纹和切片核对。
冻结 n、epsilon、alpha 与完整确认名单
运行两版 → 收齐终态标签 → 每行生成 Z
若人数或标签不合法,拒绝出报告
统计 k → 求单侧上界 U → 比较预设 epsilon
输出人数、事件数、上界和“满足/尚未证明满足”textfrom math import ceil, expm1, isfinite, log, log1p
from scipy.stats import binomtest
def zero_event_size(epsilon, alpha=0.05):
if (not isfinite(epsilon) or not 0 < epsilon < 1
or not isfinite(alpha) or not 0 < alpha < 1):
raise ValueError("epsilon and alpha must lie inside (0, 1)")
n = max(1, ceil(log(alpha) / log1p(-epsilon)))
# Recheck integer rounding against the original inequality.
while -expm1(log(alpha) / n) > epsilon:
n += 1
while n > 1 and -expm1(log(alpha) / (n - 1)) <= epsilon:
n -= 1
return n
def new_failure_gate(events, frozen_n, epsilon=0.01, alpha=0.05):
if type(frozen_n) is not int or frozen_n <= 0:
raise ValueError("frozen_n must be a positive integer")
if (not isfinite(epsilon) or not 0 < epsilon < 1
or not isfinite(alpha) or not 0 < alpha < 1):
raise ValueError("invalid risk threshold or error budget")
events = tuple(events)
if len(events) != frozen_n:
raise ValueError("the complete frozen batch is required")
if any(type(z) is not int or z not in (0, 1) for z in events):
raise ValueError("events need final integer 0/1 labels")
k = sum(events)
if k == 0:
upper = -expm1(log(alpha) / frozen_n)
else:
level = 1 - alpha
if not 0 < level < 1:
raise ValueError("budget is below floating-point precision")
upper = binomtest(k, frozen_n, alternative="less").proportion_ci(
confidence_level=level, method="exact").high
return {"n": frozen_n, "k": k, "estimate": k / frozen_n,
"upper": upper, "passes": upper <= epsilon}
if __name__ == "__main__":
print("zero-event planned n:", zero_event_size(0.01))
for n, k in ((100, 0), (299, 0), (299, 1), (500, 1)):
result = new_failure_gate([1] * k + [0] * (n - k), n)
print(f"n={n}, k={k}, upper={100 * result['upper']:.3f}%, "
f"passes={result['passes']}")pythonlog1p(x) 稳定计算 ,expm1(x) 稳定计算 ,减少极小风险下的相消误差。binomtest(..., alternative="less") 指定下尾检验方向,其 proportion_ci(..., method="exact") 返回对应单侧区间 [0,U],这里取 .high。默认双侧区间会把错误预算分到两尾,零事件时给出 ,不能混用。接口已核实于 SciPy 二项检验文档 ↗、区间文档 ↗及 Python math 文档 ↗。
zero-event planned n: 299
n=100, k=0, upper=2.951%, passes=False
n=299, k=0, upper=0.997%, passes=True
n=299, k=1, upper=1.577%, passes=False
n=500, k=1, upper=0.945%, passes=Truetextupper 用百分比显示,判断使用未舍入原值;先四舍五入再比较,可能把略超阈值的结果误判为通过。向量核验为 时间,示例为便于重复读取保存元组而占 空间;生产可对已完成、已去重的批次流式累计,同时保留可重放日志。
05 上界通过后,究竟能宣布什么?#
通过意味着:在冻结确认分布、评审定义与单次读数设计下,这个新增失败护栏获得相应置信保证。它只占发布决策的一项。因为 ,它也保守约束净退化;反过来,净差区间通过不能保证新增失败很少。两版共同失败、延迟、成本和真实线上后果需要各自的指标与设计。
| 依据 | 实际回答 | 失败模式 |
|---|---|---|
| 没有显著差异 | 相等原假设未被拒绝 | 样本少也可能不显著,不能直接放行 |
| 净差上界过门槛 | 改善抵消退化后的总量满足约束 | 可以隐藏用户迁移损害 |
| 本篇新增失败上界 | 全体请求上的退化事件概率满足约束 | 保守,可能拒绝总体有益的更新 |
| 基线成功者中的退化率 | 原本成功人群内的条件风险 | 分母不同,不能套本篇 1% 门槛 |
调试从四处开始:检查列顺序是否把改善记成伤害;检查失败、未知和超时是否按冻结规则分开;检查 n 是否始终等于完整名单人数;检查每次报告是否属于同一个预定开封。若失败案例更难评审而被删去,上界就失去目标含义。若同一用户或门店重复出现,简单二项分布不再匹配独立单位;增加请求数无法自动补回独立信息。
能否把“通过概率 95%”写进发布报告?
本篇 95% 描述重复执行同样设计时上界的覆盖率,不能解释为当前模型以 95% 的概率安全。报告应写明切片、版本、确认日期、n、k、单侧置信水平、风险上界和预设门槛。通过概率属于功效规划,需要另外给定真实风险,例如前面的 。
思考练习#
- 用 分别规划零事件下 1%、0.5%、0.1% 上限的样本量,并验证少一个样本就不能通过。
- 构造净差为负但新增失败率为 10% 的四格表。解释哪种业务愿意采用净差门槛,哪种业务需要新增失败护栏。
- 固定 、,寻找满足门槛的最大 ,再计算真实风险 时这套固定计划的通过概率。为什么“允许最多几次”应在开封前确定?
相关工作#
- Clopper 与 Pearson(1934),The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial ↗:单侧与双侧二项精确区间的基础。
- Hanley 与 Lippman-Hand(1983),If Nothing Goes Wrong, Is Everything All Right? Interpreting Zero Numerators ↗:零事件推断与三法则的经典讨论;本文将其概率计算用于抽象模型评审事件。
- McNemar(1947),Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages ↗:理解两类不一致对的比较目标,可与本篇单类事件护栏对照。
下一篇预告#
单个切片的护栏已经可复核。如果整体通过,少数语言或设备切片却只有几个样本,该如何同时分配错误额度与核验人数?下一篇把各切片的风险上界接成一份预先冻结的联合验收计划。