观文听傑

返回

黄铜天平将青色与琥珀色圆片分配到两只有不同格子的象牙色托盘黄铜天平将青色与琥珀色圆片分配到两只有不同格子的象牙色托盘

上一篇要求全部切片都过门,才允许一次发布。现在产品经理还想交付一张报表:任一行的新增失败风险上界都可以拿去制定该切片的运行规则。此时需要保护整张报表里的数值承诺;普通逐项 95% 上界无法直接组成联合 95% 结论。

本篇聚焦同时覆盖(Simultaneous Coverage)下的零事件样本规划:先分配错误额度,再反解人数,最后从有限菜单中选成本最低的完整计划。这个目标与先前的条件方差配额不同;我们规划稀有新增失败的精确上界,而非加权均值的方差。所有数值为合成设定,封面仅作装饰。

01 先写整张报表的承诺,再决定花多少错误额度#

切片 j=1,…,Jj=1,\ldots,J 内,新增失败事件 Zij=1Z_{ij}=1 表示当前版失败且基线成功。每片固定 njn_j 位用户,每位只贡献一个请求;事件向量形状 [n_j],来自双版本终态标签 [n_j,2]。用户在片内独立同分布(Independent and Identically Distributed,IID),Kj=∑iZijK_j=\sum_i Z_{ij},真实概率为 hjh_j。跨片可相关,重叠用户仅在各自片内计一次。

给片 jj 分配错误额度 αj>0\alpha_j>0,约束 ∑jαj≤α\sum_j\alpha_j\le\alpha。若上界 UjU_j 对任何真实 hjh_j 都满足 P(hj>Uj)≤αjP(h_j>U_j)\le\alpha_j,则由并集界,也称 Bonferroni 界(Bonferroni Bound),

P(∀j: hj≤Uj)=1−P(⋃j{hj>Uj})≥1−∑jαj≥1−α.P\left(\forall j:\ h_j\le U_j\right) =1-P\left(\bigcup_j\{h_j>U_j\}\right) \ge1-\sum_j\alpha_j\ge1-\alpha.

∀\forall 表示所有切片同时成立,UjU_j 是随样本变化的随机上界。这个证明不要求切片间独立。预算必须在本次确认标签开封前固定;用当前观察到的 KjK_j 反过来挑一套更易通过的普通预算,已经改变了覆盖程序。

输出目标要控制的错误事件预算规则数据开封后的动作
上篇整体发布门至少一片不达标却全部通过每片可使用同一整体 α\alpha只按冻结 AND 规则决定发布
本篇数值报表任一行真实风险超过该行上界∑jαj≤α\sum_j\alpha_j\le\alpha保留全部行与各自上界
看数据后挑最窄报表多套候选推断中择优需为实际选择设计联合保证不能直接复用前两行额度

02 零事件条件,怎样变成整数人数?#

采用单侧精确二项上界(One-Sided Exact Binomial Upper Bound)。当 Kj=0K_j=0,边界满足

(1−Uj)nj=αj,Uj=1−αj1/nj.(1-U_j)^{n_j}=\alpha_j,\qquad U_j=1-\alpha_j^{1/n_j}.

设允许上限 0<εj<10<\varepsilon_j<1,要求零事件时 Uj≤εjU_j\le\varepsilon_j,得到

nj≥log⁡αjlog⁡(1−εj),nj(0)=⌈log⁡αjlog⁡(1−εj)⌉.n_j\ge\frac{\log\alpha_j}{\log(1-\varepsilon_j)},\qquad n_j^{(0)}=\left\lceil \frac{\log\alpha_j}{\log(1-\varepsilon_j)}\right\rceil.

分母为负,移项时不等号翻转;上标 (0)(0) 提醒这是零事件规划。向上取整后还要代回原上界复核,避免浮点舍入刚好越过整数边界。有事件时仍须计算一般精确上界;不能因为预算人数到了,就把结果强制写成零事件公式。

这个人数没有指定通过功效(Statistical Power)。若真实风险为 hj>0h_j>0,零事件路径的概率只有 (1−hj)nj(1-h_j)^{n_j},人数越多这条路径反而越少见。实际允许一到数次事件的固定验收方案,需要进一步计算相应二项尾部通过概率。

03 两片各需三人:可以完全手算的预算#

令整体 α=1/4\alpha=1/4,两片都要求 ε=1/2\varepsilon=1/2,单人核验成本分别为 cA=3,cB=1c_A=3,c_B=1。平均分配 αA=αB=1/8\alpha_A=\alpha_B=1/8,则每片 n=3n=3,零事件上界为 1−(1/8)1/3=1/21-(1/8)^{1/3}=1/2,总成本 3×3+1×3=123\times3+1\times3=12。

若按 3:1 分配额度,αA=3/16,αB=1/16\alpha_A=3/16,\alpha_B=1/16:A 两人时上界约 0.567,大于 0.5;三人约 0.428,足够。B 需要四人,所以成本为 3×3+1×4=133\times3+1\times4=13。给昂贵切片更多错误额度,因整数取整未省下一人,反而让总计划更贵。

较实际的例子取 α=0.05\alpha=0.05,A 门槛 1%、每人 3 分钟,B 门槛 2%、每人 1 分钟。在标签开封前,只比较三套额度比例:

额度比例 A:B(αA,αB)(\alpha_A,\alpha_B)零事件人数 (nA,nB)(n_A,n_B)总核验分钟
1:1(0.025,0.025)(0.025,0.025)(368,183)(368,183)1287
3:1(0.0375,0.0125)(0.0375,0.0125)(327,217)(327,217)1198
9:1(0.045,0.005)(0.045,0.005)(309,263)(309,263)1190

选择第三套,只能称为这份菜单中的最低成本计划。菜单外可能有更优配置。cjc_j 是开封前给定的每人预留分钟,目标成本 C=∑jcjnjC=\sum_j c_jn_j 假定各片分开核验、成本可相加;若跨片共用一次评审,仍有同时覆盖,但这个成本模型要重写。

为什么不直接把所有错误额度给最贵的一片?

每一行都要上界,其他片的额度必须为正。额度越接近零,所需人数按对数增长;给一片更多额度也会让其他片更贵。最佳取舍同时取决于门槛、单人成本与人数取整,不能只按切片流量或成本排序。

04 Python:规划只读门槛和成本,推断才读取标签#

下面把预算权重菜单 [L,J] 转成额度与人数,LL 是候选计划数。choose_plan 不接收标签;输出包含完整候选方案与冻结方案。随后 simultaneous_report 才读取各片事件数 [J]。代码不训练模型,标签由上游冻结版本的配对影子推理和盲评产生。

开封前:固定切片、门槛、成本与候选权重菜单
逐候选:alpha_j = alpha * weight_j / sum(weights)
反解每片零事件人数 → 向上取整 → 原不等式复核
计算完整成本,按成本和原菜单次序选一套并冻结
按该方案收齐终态标签 → 用每片额度求精确上界
报告所有行,包括未达门槛的行,不再改额度
text

log1p(-epsilon) 与 expm1(log(a)/n) 分别稳定计算接近 1 的对数和小指数差;fsum 减少求和舍入。示例限定门槛至少 10−910^{-9}、局部额度至少 10−1210^{-12},更极端配置需单独做数值验证。官方接口见 Python math ↗ 和 SciPy proportion_ci ↗。alternative="less" 配合 method="exact" 给出单侧 [0,U],.high 是上端点;双侧默认值会把额度拆到两尾。

0 [368, 183] 1287.0
1 [327, 217] 1198.0
2 [309, 263] 1190.0
chosen: 2
A upper=0.999% True
B upper=1.994% True
text

规划外层时间为 O(LJ)O(LJ)、保存完整菜单占 O(LJ)O(LJ) 空间,整数复核通常只调整邻近人数。若候选很多,可只保留最佳方案与逐候选审计日志。simultaneous_report 的 rows 必须直接来自已冻结的 chosen,完整名单验证由上游完成;不能在读到事件后重新调用规划器换计划。

05 预算不足或出现事件时,怎样继续而不改写原承诺?#

若只有 1000 分钟,这三套计划都无法满足原零事件目标。应在抽样前明确扩大预算、改变目标,或记录本轮无法形成这份确认报告。先做 1000 分钟、再从结果里挑“看起来足够”的行,会同时改变家族和覆盖含义。未完成名单的标签不能计为 0,报告应等待完整终态或采用另行预定的缺失界限。

调试时,对每片检查 njn_j 下的零事件上界符合门槛,而 nj−1n_j-1 时不符合;核对额度和不超过整体额度;同一计划下把任一 KjK_j 增加,上界应不下降。再将菜单顺序互换,确认成本不同的最优方案不受排列影响;并列时保留预设次序。

出现事件会使上界变宽。固定计划仍可出具有效报表,并如实保留未达标行;临时追加样本直到通过,会改变停止规则。若后续确实需要逐人查看,应在开始前采用此前的时间一致证据或多次查看预算。选计划所用的成本也应来自外部资料、历史或独立先导批次;把当前确认标签一并拿来估成本和挑计划,需要重新处理选择。

能把“观察到零事件”当条件,只在这样的批次报告 95% 吗?

精确程序在每种计数下都定义上界,覆盖保证针对完整重复抽样过程。只保留零事件批次再解释条件覆盖率,并不继承同一数字。工程上应为所有已完成批次保留结果与失败状态;零事件公式负责规划,完整程序负责推断。

样本单位相关、评审标准错误或确认人群迁移,都会破坏这里的二项目标。Bonferroni 同时覆盖通常保守;菜单搜索也只解决已声明候选方案的成本比较。它没有承诺全局最优预算、一般事件下的功效或真实用户后果,应在计划中分别记录这些目标。

思考练习#

  1. 完成三人手算例,解释为什么给昂贵 A 更多额度后,总成本仍从 12 升为 13。试着增加一套菜单,检查是否可能更便宜。
  2. 对真实设定的选中计划,把 A 的事件数改为 1、B 保持 0。运行报告器,解释为什么整张上界报表仍有效,而零事件规划的过门结果已经改变。
  3. 新增一片以后,原来的 αA+αB=0.05\alpha_A+\alpha_B=0.05 已用满。为什么不能直接再加一条普通 95% 上界?在标签开封前怎样重写计划?

相关工作#

  1. Clopper 与 Pearson(1934),The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial ↗:精确二项上界及其离散覆盖性质。
  2. Hanley 与 Lippman-Hand(1983),If Nothing Goes Wrong, Is Everything All Right? Interpreting Zero Numerators ↗:零事件证据与三法则的经典讨论;本篇使用精确公式做多切片规划。
  3. Holm(1979),A Simple Sequentially Rejective Multiple Test Procedure ↗:逐步检验家族控制;可比较它与本篇固定预算同时上界的输出目标。有限菜单的成本枚举是本篇教学实现。

下一篇预告#

核验人数与数值报告已经冻结。下一篇处理同一用户多次请求:怎样先在用户内定义“至少一次新增失败”,再进行独立用户级核验,并解释它与请求级风险为何不能共用分母和门槛?

每个切片都要一条可信上界,核验人数怎样分?零事件预算菜单与同时覆盖
https://zwjcode.cn/blog/zero-event-simultaneous-sample-menu
作者 傑
发布于 2026年11月15日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。