所有切片都通过才发布,还要除以切片数吗?交并检验与整体错误放行
从新增失败护栏出发,明确所有切片必须通过的交并逻辑,手算整体错误放行概率,并用显式二项下尾检验实现冻结名单的发布门。
上一篇限制了单个切片中“只有新版失败”的概率。现在团队把主语言、小语种和低端设备列成三项必过护栏:只有三项全部拿出证据,才允许这个版本发布。每项都按 5% 检验,整体错误放行是否就会膨胀到约 15%?
答案取决于决策里的“全部”。本篇讲交并检验(Intersection–Union Test,IUT):用每项都必须通过的逻辑,控制一次冻结发布计划的错误放行概率。核心只有三步:写清原假设、反演二项下尾、把局部结果用逻辑与连接。全部例子为合成数据,封面仅为装饰。
01 “至少一项不达标”为什么写成并集?#
开封前固定切片数 、切片定义、版本指纹、标签规则、各切片用户数 、允许新增失败率 和本次整体错误额度 。每个切片内,用户的新增失败标签独立同分布(Independent and Identically Distributed,IID);一位用户在同一切片只贡献一行。跨切片允许重叠与相关。
双版本影子推理先得到标签矩阵 ,列依次是新版、基线,1 表示失败。切片成员矩阵 来自冻结规则。第 位用户的新增失败事件为
是去重用户并集大小, 分别代表当前版和基线版, 是切片 的事件数。目标 是该切片全体请求上的新增失败概率,分母包含基线失败者。固定抽样计划须保证各 不随观察到的标签改变;完整终态标签到齐后开封一次。
局部原假设 表示这项护栏不满足严格门槛。发布要支持每个 ,所以整体假设是
“还没有证明不达标”无法替代“已证明低于门槛”。局部检验以不达标为原假设,证据足够小才将它拒绝。
| 环节 | 输入与形状 | 核心运算 | 输出 |
|---|---|---|---|
| 对齐与盲评 | 标签 [N,2]、成员 [N,J] | 按用户去重,生成新增失败 | 事件 [N] |
| 分切片计数 | 事件、成员与冻结人数 [J] | 切片内汇总,核对人数完整 | 计数 [J] |
| 局部证据 | 计算二项下尾 | 有效 p 值 [J] | |
| 整体决策 | 全部局部 p 值与同一 | 每项均不大于 | 发布/等待证据,标量 |
02 为什么每项可以用同一个 alpha?#
在 边界,。事件越少,越支持低于门槛,因此定义下尾 p 值
是求和用事件数, 是组合数。随着真实 增加,计数分布向右移动,低尾拒绝事件更难发生,所以这个 p 值对整个 都有效。因离散性,。
令 ,整体放行事件是 。在整体原假设下,至少存在一个真实不达标的固定索引 ;于是
表示给定真实风险向量 时的重复抽样概率。论证对每个这样的向量都成立;切片间是否独立没有进入证明。错误放行必须连那项真实不达标的护栏也一起错过,这正是逻辑与带来的约束。
相反,若系统会单独宣称每项通过、再挑任一通过项开展业务,错误事件就变成了某个局部误判的并集。那时应使用此前的 Holm 家族控制或相应同时推断设计。改变产品动作,统计问题也随之改变。
03 两个切片、每片两人,手算就能看见区别#
取 。当 ,,该项通过; 时 ,不通过。
两项真实风险都为 ,且两切片独立时,全部通过概率是 。若两切片完全重叠、标签完全相同,全部通过概率是 ,仍满足整体额度。若任一通过就发布,独立情况下错误概率却是 。
| 两片计数 | 局部结果 | 全部通过才放行 | 任一通过就放行 |
|---|---|---|---|
| 通过、通过 | 放行 | 放行 | |
| 通过、等待 | 等待 | 放行 | |
| 等待、通过 | 等待 | 放行 | |
| 等待、等待 | 等待 | 等待 |
这里的较大阈值方便手算;真实风险门槛由业务设定。对 1% 门槛与 ,每片固定 299 人且零事件时,局部 p 值约 0.04954,两片全部满足才通过。人数规划仅承诺零事件情形可过门,并非预期通过概率达到 95%。
切片越多,既然不用除以 J,样本代价是否也不增加?
每个必过切片都要独立取得足够证据,更多切片通常增加核验成本,也增加某项证据不足而整体等待的机会。IUT 控制的是错误放行;整体功效还取决于每片真实风险、人数和相关性。切片很小或难核验时,门槛可能长期无法通过。
04 Python:显式计数契约与逻辑与#
下面接收冻结计划 (切片ID, n, epsilon) 的列表,以及完整批次汇总后的事件数字典。上游仍须验证名单、去重键、标签质量和两版指纹;计数接口本身无法辨认重复用户。推断阶段不再训练模型。
开封前冻结全部必过切片与各自人数
双版本影子推理 → 完整盲评 → 按固定成员关系汇总
核对每个切片都有计数,且 0 <= k <= n
逐项计算下尾 p;每项都比较同一个 alpha
只有所有项通过才输出 PASS,其余输出 HOLDtextfrom math import isfinite
from scipy.stats import binomtest
def all_slices_gate(plans, counts, alpha=0.05):
if not isfinite(alpha) or not 0 < alpha < 1:
raise ValueError("invalid alpha")
plans = tuple(plans)
ids = [row[0] for row in plans]
if (not plans or any(not isinstance(s, str) or not s for s in ids)
or len(set(ids)) != len(ids) or set(counts) != set(ids)):
raise ValueError("the exact frozen slice family is required")
reports = []
for name, n, epsilon in plans:
k = counts[name]
if (type(n) is not int or n <= 0 or type(k) is not int
or not 0 <= k <= n or not isfinite(epsilon)
or not 0 < epsilon < 1):
raise ValueError("invalid frozen count or threshold")
p = float(binomtest(k, n, p=epsilon, alternative="less").pvalue)
reports.append({"slice": name, "n": n, "k": k,
"epsilon": epsilon, "p": p,
"passes": bool(p <= alpha)})
return {"alpha": alpha, "slices": reports,
"decision": "PASS" if all(r["passes"] for r in reports)
else "HOLD"}
if __name__ == "__main__":
plan = [("language", 299, 0.01), ("device", 299, 0.01)]
for counts in ({"language": 0, "device": 0},
{"language": 0, "device": 1}):
result = all_slices_gate(plan, counts)
print(result["decision"],
[round(r["p"], 6) for r in result["slices"]])pythonbinomtest(k,n,p=epsilon,alternative="less").pvalue 直接计算上式下尾,less 指真实事件概率低于指定原假设概率。接口已核对 SciPy 官方文档 ↗。判断使用未舍入值;输出中的舍入仅为阅读服务。这里没有把双侧相等性检验的“不显著”当成放行依据。
PASS [0.049536, 0.049536]
HOLD [0.049536, 0.199146]text输入已汇总时,外层处理时间和报告空间均为 ;二项尾概率由库的数值算法计算。原始成员矩阵可用稀疏成员列表替代,避免用户数乘切片数的稠密存储。报告还应保存抽样计划摘要、每片完整人数、计数、原始 p 值及未通过项,保证离线重放。
05 边界与调试:最危险的是放行规则被悄悄改掉#
先构造一个必过项缺失的字典,代码必须拒绝;再构造只有最后一项未通过的批次,整体必须 HOLD。切片顺序互换应不改变决策,全部切片的 增加不应使 HOLD 变成 PASS。最后检查线上调用者是否真的使用整体 decision,而非只取某个局部 passes。
固定样本覆盖适用于一次预定读数。若反复补样、任一次全部通过就停止,须预先设计时间一致或多次查看的预算;“每次都用 IUT”不能消除时间选择。多个候选版本里挑第一个过门,也要把版本选择纳入跨版本预算。确认阶段新加切片、放宽门槛或删掉难过项,应形成新的计划并重新取得相应证据。
同一用户在单个切片多次出现会破坏二项独立模型;错误参考标签会改变风险含义;上线后分布迁移也会使确认期保证失去适用范围。整体通过只针对已冻结护栏,遗漏的用户群仍可能受损。HOLD 表示这份计划未证成全部严格门槛,可以由样本不足或真实风险过高造成。
全部通过后,能把每个普通 95% 上界都称为“联合 95% 报告”吗?
整体放行控制的是一个布尔动作出错的概率。逐项普通上界全部覆盖真实风险,是另一件事件;即使本次没有任何发布动作,它也需要同时覆盖保证。若用户会拿报表任一行做后续决策,就应提前分配各行错误额度。本篇的简单包含关系没有自动给出全部数值上界同时覆盖。
思考练习#
- 枚举两片各两人的全部二元结果,验证独立边界情形下 AND 与 OR 的错误率分别为 和 。再令第二片完全复制第一片。
- 一片真实不达标,另两片真实风险为零。解释为什么错误放行仍不超过单片额度,而不是把三片额度相加。
- 有人提出“先删掉人数不足的切片,再要求剩余切片全部通过”。这改变了哪个冻结对象?怎样保留原发布承诺?
相关工作#
- Berger 与 Hsu(1996),Bioequivalence Trials, Intersection–Union Tests and Equivalence Confidence Sets ↗:交并检验与置信集合关系的经典研究;本篇采用其检验逻辑处理抽象模型护栏。
- Clopper 与 Pearson(1934),The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial ↗:二项精确尾部反演的基础。
- Holm(1979),A Simple Sequentially Rejective Multiple Test Procedure ↗:控制任意一个错误局部拒绝,可对照本篇整体逻辑与的目标。
下一篇预告#
发布门的真假已经明确。若同时交付一张可逐行使用的风险上界报表,错误预算和核验人数该怎样共同规划?下一篇从零事件条件出发,枚举开封前的预算菜单,算出各切片人数与总成本。