每个切片都要一条可信上界,核验人数怎样分?零事件预算菜单与同时覆盖
将逐行可用的风险上界报表写成同时覆盖目标,从零事件精确上界反解人数,再在开封前枚举错误额度菜单,比较完整计划的整数成本。
上一篇要求全部切片都过门,才允许一次发布。现在产品经理还想交付一张报表:任一行的新增失败风险上界都可以拿去制定该切片的运行规则。此时需要保护整张报表里的数值承诺;普通逐项 95% 上界无法直接组成联合 95% 结论。
本篇聚焦同时覆盖(Simultaneous Coverage)下的零事件样本规划:先分配错误额度,再反解人数,最后从有限菜单中选成本最低的完整计划。这个目标与先前的条件方差配额不同;我们规划稀有新增失败的精确上界,而非加权均值的方差。所有数值为合成设定,封面仅作装饰。
01 先写整张报表的承诺,再决定花多少错误额度#
切片 内,新增失败事件 表示当前版失败且基线成功。每片固定 位用户,每位只贡献一个请求;事件向量形状 [n_j],来自双版本终态标签 [n_j,2]。用户在片内独立同分布(Independent and Identically Distributed,IID),,真实概率为 。跨片可相关,重叠用户仅在各自片内计一次。
给片 分配错误额度 ,约束 。若上界 对任何真实 都满足 ,则由并集界,也称 Bonferroni 界(Bonferroni Bound),
表示所有切片同时成立, 是随样本变化的随机上界。这个证明不要求切片间独立。预算必须在本次确认标签开封前固定;用当前观察到的 反过来挑一套更易通过的普通预算,已经改变了覆盖程序。
| 输出目标 | 要控制的错误事件 | 预算规则 | 数据开封后的动作 |
|---|---|---|---|
| 上篇整体发布门 | 至少一片不达标却全部通过 | 每片可使用同一整体 | 只按冻结 AND 规则决定发布 |
| 本篇数值报表 | 任一行真实风险超过该行上界 | 保留全部行与各自上界 | |
| 看数据后挑最窄报表 | 多套候选推断中择优 | 需为实际选择设计联合保证 | 不能直接复用前两行额度 |
02 零事件条件,怎样变成整数人数?#
采用单侧精确二项上界(One-Sided Exact Binomial Upper Bound)。当 ,边界满足
设允许上限 ,要求零事件时 ,得到
分母为负,移项时不等号翻转;上标 提醒这是零事件规划。向上取整后还要代回原上界复核,避免浮点舍入刚好越过整数边界。有事件时仍须计算一般精确上界;不能因为预算人数到了,就把结果强制写成零事件公式。
这个人数没有指定通过功效(Statistical Power)。若真实风险为 ,零事件路径的概率只有 ,人数越多这条路径反而越少见。实际允许一到数次事件的固定验收方案,需要进一步计算相应二项尾部通过概率。
03 两片各需三人:可以完全手算的预算#
令整体 ,两片都要求 ,单人核验成本分别为 。平均分配 ,则每片 ,零事件上界为 ,总成本 。
若按 3:1 分配额度,:A 两人时上界约 0.567,大于 0.5;三人约 0.428,足够。B 需要四人,所以成本为 。给昂贵切片更多错误额度,因整数取整未省下一人,反而让总计划更贵。
较实际的例子取 ,A 门槛 1%、每人 3 分钟,B 门槛 2%、每人 1 分钟。在标签开封前,只比较三套额度比例:
| 额度比例 A:B | 零事件人数 | 总核验分钟 | |
|---|---|---|---|
| 1:1 | 1287 | ||
| 3:1 | 1198 | ||
| 9:1 | 1190 |
选择第三套,只能称为这份菜单中的最低成本计划。菜单外可能有更优配置。 是开封前给定的每人预留分钟,目标成本 假定各片分开核验、成本可相加;若跨片共用一次评审,仍有同时覆盖,但这个成本模型要重写。
为什么不直接把所有错误额度给最贵的一片?
每一行都要上界,其他片的额度必须为正。额度越接近零,所需人数按对数增长;给一片更多额度也会让其他片更贵。最佳取舍同时取决于门槛、单人成本与人数取整,不能只按切片流量或成本排序。
04 Python:规划只读门槛和成本,推断才读取标签#
下面把预算权重菜单 [L,J] 转成额度与人数, 是候选计划数。choose_plan 不接收标签;输出包含完整候选方案与冻结方案。随后 simultaneous_report 才读取各片事件数 [J]。代码不训练模型,标签由上游冻结版本的配对影子推理和盲评产生。
开封前:固定切片、门槛、成本与候选权重菜单
逐候选:alpha_j = alpha * weight_j / sum(weights)
反解每片零事件人数 → 向上取整 → 原不等式复核
计算完整成本,按成本和原菜单次序选一套并冻结
按该方案收齐终态标签 → 用每片额度求精确上界
报告所有行,包括未达门槛的行,不再改额度textfrom math import ceil, expm1, fsum, isfinite, log, log1p
from scipy.stats import binomtest
def zero_size(epsilon, alpha):
if (not isfinite(epsilon) or not 1e-9 <= epsilon < 1
or not isfinite(alpha) or not 1e-12 <= alpha < 1):
raise ValueError("planning range: epsilon>=1e-9, alpha>=1e-12")
n = max(1, ceil(log(alpha) / log1p(-epsilon)))
while -expm1(log(alpha) / n) > epsilon:
n += 1
while n > 1 and -expm1(log(alpha) / (n - 1)) <= epsilon:
n -= 1
return n
def choose_plan(specs, menu, alpha=0.05):
specs, menu = tuple(specs), tuple(tuple(w) for w in menu)
ids = [s[0] for s in specs]
if (not specs or not menu or len(set(ids)) != len(ids)
or any(not isinstance(s, str) or not s for s in ids)
or not isfinite(alpha) or not 0 < alpha < 1):
raise ValueError("invalid frozen family or total budget")
if any(not isfinite(c) or c <= 0 for _, _, c in specs):
raise ValueError("costs must be positive")
candidates = []
for index, weights in enumerate(menu):
if (len(weights) != len(specs)
or any(not isfinite(w) or w <= 0 for w in weights)):
raise ValueError("one positive weight per slice is required")
total = fsum(weights)
budgets = [alpha * (w / total) for w in weights]
# Leave a tiny unused reserve if floating-point addition overshoots.
if fsum(budgets) > alpha:
budgets = [a * (1 - 1e-14) for a in budgets]
if fsum(budgets) > alpha:
raise ValueError("floating-point budget overflow")
rows = []
for (name, epsilon, cost), a in zip(specs, budgets):
n = zero_size(epsilon, a)
rows.append((name, n, epsilon, a, cost))
candidates.append({"index": index, "rows": tuple(rows),
"cost": fsum(n * c for _, n, _, _, c in rows)})
chosen = min(candidates, key=lambda x: (x["cost"], x["index"]))
return chosen, candidates
def simultaneous_report(rows, counts):
if set(counts) != {r[0] for r in rows}:
raise ValueError("complete frozen slice counts are required")
reports = []
for name, n, epsilon, a, _ in rows:
k = counts[name]
if type(k) is not int or not 0 <= k <= n:
raise ValueError("invalid complete-batch count")
upper = (-expm1(log(a) / n) if k == 0 else
binomtest(k, n, alternative="less").proportion_ci(
confidence_level=1 - a, method="exact").high)
reports.append({"slice": name, "n": n, "k": k, "alpha": a,
"upper": upper, "within": bool(upper <= epsilon)})
return reports
if __name__ == "__main__":
specs = [("A", 0.01, 3.0), ("B", 0.02, 1.0)]
chosen, candidates = choose_plan(specs, [(1, 1), (3, 1), (9, 1)])
for p in candidates:
print(p["index"], [r[1] for r in p["rows"]], p["cost"])
print("chosen:", chosen["index"])
for r in simultaneous_report(chosen["rows"], {"A": 0, "B": 0}):
print(r["slice"], f"upper={100*r['upper']:.3f}%", r["within"])pythonlog1p(-epsilon) 与 expm1(log(a)/n) 分别稳定计算接近 1 的对数和小指数差;fsum 减少求和舍入。示例限定门槛至少 、局部额度至少 ,更极端配置需单独做数值验证。官方接口见 Python math ↗ 和 SciPy proportion_ci ↗。alternative="less" 配合 method="exact" 给出单侧 [0,U],.high 是上端点;双侧默认值会把额度拆到两尾。
0 [368, 183] 1287.0
1 [327, 217] 1198.0
2 [309, 263] 1190.0
chosen: 2
A upper=0.999% True
B upper=1.994% Truetext规划外层时间为 、保存完整菜单占 空间,整数复核通常只调整邻近人数。若候选很多,可只保留最佳方案与逐候选审计日志。simultaneous_report 的 rows 必须直接来自已冻结的 chosen,完整名单验证由上游完成;不能在读到事件后重新调用规划器换计划。
05 预算不足或出现事件时,怎样继续而不改写原承诺?#
若只有 1000 分钟,这三套计划都无法满足原零事件目标。应在抽样前明确扩大预算、改变目标,或记录本轮无法形成这份确认报告。先做 1000 分钟、再从结果里挑“看起来足够”的行,会同时改变家族和覆盖含义。未完成名单的标签不能计为 0,报告应等待完整终态或采用另行预定的缺失界限。
调试时,对每片检查 下的零事件上界符合门槛,而 时不符合;核对额度和不超过整体额度;同一计划下把任一 增加,上界应不下降。再将菜单顺序互换,确认成本不同的最优方案不受排列影响;并列时保留预设次序。
出现事件会使上界变宽。固定计划仍可出具有效报表,并如实保留未达标行;临时追加样本直到通过,会改变停止规则。若后续确实需要逐人查看,应在开始前采用此前的时间一致证据或多次查看预算。选计划所用的成本也应来自外部资料、历史或独立先导批次;把当前确认标签一并拿来估成本和挑计划,需要重新处理选择。
能把“观察到零事件”当条件,只在这样的批次报告 95% 吗?
精确程序在每种计数下都定义上界,覆盖保证针对完整重复抽样过程。只保留零事件批次再解释条件覆盖率,并不继承同一数字。工程上应为所有已完成批次保留结果与失败状态;零事件公式负责规划,完整程序负责推断。
样本单位相关、评审标准错误或确认人群迁移,都会破坏这里的二项目标。Bonferroni 同时覆盖通常保守;菜单搜索也只解决已声明候选方案的成本比较。它没有承诺全局最优预算、一般事件下的功效或真实用户后果,应在计划中分别记录这些目标。
思考练习#
- 完成三人手算例,解释为什么给昂贵 A 更多额度后,总成本仍从 12 升为 13。试着增加一套菜单,检查是否可能更便宜。
- 对真实设定的选中计划,把 A 的事件数改为 1、B 保持 0。运行报告器,解释为什么整张上界报表仍有效,而零事件规划的过门结果已经改变。
- 新增一片以后,原来的 已用满。为什么不能直接再加一条普通 95% 上界?在标签开封前怎样重写计划?
相关工作#
- Clopper 与 Pearson(1934),The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial ↗:精确二项上界及其离散覆盖性质。
- Hanley 与 Lippman-Hand(1983),If Nothing Goes Wrong, Is Everything All Right? Interpreting Zero Numerators ↗:零事件证据与三法则的经典讨论;本篇使用精确公式做多切片规划。
- Holm(1979),A Simple Sequentially Rejective Multiple Test Procedure ↗:逐步检验家族控制;可比较它与本篇固定预算同时上界的输出目标。有限菜单的成本枚举是本篇教学实现。
下一篇预告#
核验人数与数值报告已经冻结。下一篇处理同一用户多次请求:怎样先在用户内定义“至少一次新增失败”,再进行独立用户级核验,并解释它与请求级风险为何不能共用分母和门槛?