观文听傑

返回

三条带独立放大镜的青色通道汇入同一座黄铜检查门三条带独立放大镜的青色通道汇入同一座黄铜检查门

上一篇限制了单个切片中“只有新版失败”的概率。现在团队把主语言、小语种和低端设备列成三项必过护栏:只有三项全部拿出证据,才允许这个版本发布。每项都按 5% 检验,整体错误放行是否就会膨胀到约 15%?

答案取决于决策里的“全部”。本篇讲交并检验(Intersection–Union Test,IUT):用每项都必须通过的逻辑,控制一次冻结发布计划的错误放行概率。核心只有三步:写清原假设、反演二项下尾、把局部结果用逻辑与连接。全部例子为合成数据,封面仅为装饰。

01 “至少一项不达标”为什么写成并集?#

开封前固定切片数 JJ、切片定义、版本指纹、标签规则、各切片用户数 njn_j、允许新增失败率 εj\varepsilon_j 和本次整体错误额度 α\alpha。每个切片内,用户的新增失败标签独立同分布(Independent and Identically Distributed,IID);一位用户在同一切片只贡献一行。跨切片允许重叠与相关。

双版本影子推理先得到标签矩阵 Y∈{0,1}N×2Y\in\{0,1\}^{N\times2},列依次是新版、基线,1 表示失败。切片成员矩阵 M∈{0,1}N×JM\in\{0,1\}^{N\times J} 来自冻结规则。第 ii 位用户的新增失败事件为

Zi=1[Yi,c=1,Yi,b=0],Kj=∑iMijZi,nj=∑iMij.Z_i=\mathbb 1[Y_{i,c}=1,Y_{i,b}=0],\qquad K_j=\sum_i M_{ij}Z_i,\qquad n_j=\sum_i M_{ij}.

NN 是去重用户并集大小,c,bc,b 分别代表当前版和基线版,KjK_j 是切片 jj 的事件数。目标 hj=P(Z=1∣j)h_j=P(Z=1\mid j) 是该切片全体请求上的新增失败概率,分母包含基线失败者。固定抽样计划须保证各 njn_j 不随观察到的标签改变;完整终态标签到齐后开封一次。

局部原假设 H0j:hj≥εjH_{0j}:h_j\ge\varepsilon_j 表示这项护栏不满足严格门槛。发布要支持每个 hj<εjh_j<\varepsilon_j,所以整体假设是

H0=⋃j=1JH0j,H1=⋂j=1J{hj<εj}.H_0=\bigcup_{j=1}^J H_{0j},\qquad H_1=\bigcap_{j=1}^J\{h_j<\varepsilon_j\}.

“还没有证明不达标”无法替代“已证明低于门槛”。局部检验以不达标为原假设,证据足够小才将它拒绝。

环节输入与形状核心运算输出
对齐与盲评标签 [N,2]、成员 [N,J]按用户去重,生成新增失败事件 [N]
分切片计数事件、成员与冻结人数 [J]切片内汇总,核对人数完整计数 [J]
局部证据Kj,nj,εjK_j,n_j,\varepsilon_j计算二项下尾有效 p 值 [J]
整体决策全部局部 p 值与同一 α\alpha每项均不大于 α\alpha发布/等待证据,标量

02 为什么每项可以用同一个 alpha?#

在 hj=εjh_j=\varepsilon_j 边界,Kj∼Binomial⁡(nj,εj)K_j\sim\operatorname{Binomial}(n_j,\varepsilon_j)。事件越少,越支持低于门槛,因此定义下尾 p 值

pj=∑r=0Kj(njr)εjr(1−εj)nj−r.p_j=\sum_{r=0}^{K_j}\binom{n_j}{r} \varepsilon_j^r(1-\varepsilon_j)^{n_j-r}.

rr 是求和用事件数,(njr)\binom{n_j}{r} 是组合数。随着真实 hjh_j 增加,计数分布向右移动,低尾拒绝事件更难发生,所以这个 p 值对整个 hj≥εjh_j\ge\varepsilon_j 都有效。因离散性,P(pj≤α)≤αP(p_j\le\alpha)\le\alpha。

令 Rj={pj≤α}R_j=\{p_j\le\alpha\},整体放行事件是 R=⋂jRjR=\bigcap_j R_j。在整体原假设下,至少存在一个真实不达标的固定索引 j∗j_*;于是

Ph(R)≤Ph(Rj∗)≤α.P_h(R)\le P_h(R_{j_*})\le\alpha.

PhP_h 表示给定真实风险向量 h=(h1,…,hJ)h=(h_1,\ldots,h_J) 时的重复抽样概率。论证对每个这样的向量都成立;切片间是否独立没有进入证明。错误放行必须连那项真实不达标的护栏也一起错过,这正是逻辑与带来的约束。

相反,若系统会单独宣称每项通过、再挑任一通过项开展业务,错误事件就变成了某个局部误判的并集。那时应使用此前的 Holm 家族控制或相应同时推断设计。改变产品动作,统计问题也随之改变。

03 两个切片、每片两人,手算就能看见区别#

取 J=2,n1=n2=2,ε1=ε2=1/2,α=1/4J=2,n_1=n_2=2,\varepsilon_1=\varepsilon_2=1/2,\alpha=1/4。当 Kj=0K_j=0,pj=(1/2)2=1/4p_j=(1/2)^2=1/4,该项通过;Kj=1K_j=1 时 pj=3/4p_j=3/4,不通过。

两项真实风险都为 1/21/2,且两切片独立时,全部通过概率是 (1/4)2=1/16(1/4)^2=1/16。若两切片完全重叠、标签完全相同,全部通过概率是 1/41/4,仍满足整体额度。若任一通过就发布,独立情况下错误概率却是 1−(3/4)2=7/161-(3/4)^2=7/16。

两片计数 (K1,K2)(K_1,K_2)局部结果全部通过才放行任一通过就放行
(0,0)(0,0)通过、通过放行放行
(0,1)(0,1)通过、等待等待放行
(1,0)(1,0)等待、通过等待放行
(1,1)(1,1)等待、等待等待等待

这里的较大阈值方便手算;真实风险门槛由业务设定。对 1% 门槛与 α=0.05\alpha=0.05,每片固定 299 人且零事件时,局部 p 值约 0.04954,两片全部满足才通过。人数规划仅承诺零事件情形可过门,并非预期通过概率达到 95%。

切片越多,既然不用除以 J,样本代价是否也不增加?

每个必过切片都要独立取得足够证据,更多切片通常增加核验成本,也增加某项证据不足而整体等待的机会。IUT 控制的是错误放行;整体功效还取决于每片真实风险、人数和相关性。切片很小或难核验时,门槛可能长期无法通过。

04 Python:显式计数契约与逻辑与#

下面接收冻结计划 (切片ID, n, epsilon) 的列表,以及完整批次汇总后的事件数字典。上游仍须验证名单、去重键、标签质量和两版指纹;计数接口本身无法辨认重复用户。推断阶段不再训练模型。

开封前冻结全部必过切片与各自人数
双版本影子推理 → 完整盲评 → 按固定成员关系汇总
核对每个切片都有计数,且 0 <= k <= n
逐项计算下尾 p;每项都比较同一个 alpha
只有所有项通过才输出 PASS,其余输出 HOLD
text

binomtest(k,n,p=epsilon,alternative="less").pvalue 直接计算上式下尾,less 指真实事件概率低于指定原假设概率。接口已核对 SciPy 官方文档 ↗。判断使用未舍入值;输出中的舍入仅为阅读服务。这里没有把双侧相等性检验的“不显著”当成放行依据。

PASS [0.049536, 0.049536]
HOLD [0.049536, 0.199146]
text

输入已汇总时,外层处理时间和报告空间均为 O(J)O(J);二项尾概率由库的数值算法计算。原始成员矩阵可用稀疏成员列表替代,避免用户数乘切片数的稠密存储。报告还应保存抽样计划摘要、每片完整人数、计数、原始 p 值及未通过项,保证离线重放。

05 边界与调试:最危险的是放行规则被悄悄改掉#

先构造一个必过项缺失的字典,代码必须拒绝;再构造只有最后一项未通过的批次,整体必须 HOLD。切片顺序互换应不改变决策,全部切片的 kk 增加不应使 HOLD 变成 PASS。最后检查线上调用者是否真的使用整体 decision,而非只取某个局部 passes。

固定样本覆盖适用于一次预定读数。若反复补样、任一次全部通过就停止,须预先设计时间一致或多次查看的预算;“每次都用 IUT”不能消除时间选择。多个候选版本里挑第一个过门,也要把版本选择纳入跨版本预算。确认阶段新加切片、放宽门槛或删掉难过项,应形成新的计划并重新取得相应证据。

同一用户在单个切片多次出现会破坏二项独立模型;错误参考标签会改变风险含义;上线后分布迁移也会使确认期保证失去适用范围。整体通过只针对已冻结护栏,遗漏的用户群仍可能受损。HOLD 表示这份计划未证成全部严格门槛,可以由样本不足或真实风险过高造成。

全部通过后,能把每个普通 95% 上界都称为“联合 95% 报告”吗?

整体放行控制的是一个布尔动作出错的概率。逐项普通上界全部覆盖真实风险,是另一件事件;即使本次没有任何发布动作,它也需要同时覆盖保证。若用户会拿报表任一行做后续决策,就应提前分配各行错误额度。本篇的简单包含关系没有自动给出全部数值上界同时覆盖。

思考练习#

  1. 枚举两片各两人的全部二元结果,验证独立边界情形下 AND 与 OR 的错误率分别为 1/161/16 和 7/167/16。再令第二片完全复制第一片。
  2. 一片真实不达标,另两片真实风险为零。解释为什么错误放行仍不超过单片额度,而不是把三片额度相加。
  3. 有人提出“先删掉人数不足的切片,再要求剩余切片全部通过”。这改变了哪个冻结对象?怎样保留原发布承诺?

相关工作#

  1. Berger 与 Hsu(1996),Bioequivalence Trials, Intersection–Union Tests and Equivalence Confidence Sets ↗:交并检验与置信集合关系的经典研究;本篇采用其检验逻辑处理抽象模型护栏。
  2. Clopper 与 Pearson(1934),The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial ↗:二项精确尾部反演的基础。
  3. Holm(1979),A Simple Sequentially Rejective Multiple Test Procedure ↗:控制任意一个错误局部拒绝,可对照本篇整体逻辑与的目标。

下一篇预告#

发布门的真假已经明确。若同时交付一张可逐行使用的风险上界报表,错误预算和核验人数该怎样共同规划?下一篇从零事件条件出发,枚举开封前的预算菜单,算出各切片人数与总成本。

所有切片都通过才发布,还要除以切片数吗?交并检验与整体错误放行
https://zwjcode.cn/blog/all-slices-release-intersection-union
作者 傑
发布于 2026年11月14日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。