标签边补边看,何时可以停?六路审计证据的置信序列
把一份总体错误预算分配给六条证据流与无限多个样本时刻,用 Hoeffding 界构造时间一致的置信序列,再投影为错分差距区间,区分可选停止与选择性补标。
上一篇联合置信盒与错分差距投影让六路固定样本共享一份错误预算。审计团队随后改了流程:每天补一些可信标签,看到 A 组真实比例差的下界大于零就停止。单次区间覆盖有效,为什么这样的停止规则仍可能让误报累积?
本篇只讲透时间一致的置信序列(Time-Uniform Confidence Sequence)怎样支持持续查看与可选停止(Optional Stopping)。围绕三个相连环节展开:把预算分给所有时刻、将六路保证传到差距、在数据流和停止规则中守住假设。全部例子是合成教学数据;封面为装饰隐喻,没有画实测结果。
01 固定时刻的 95%,缺了哪个量词?#
记固定目标差距 ,组内机制仍是 ,。 是真实正类比例, 是参考正类比例, 分别为敏感度与特异度。六个参数按 排列,形状 [6],含义沿用上一篇。
单次置信区间保证的是,对每个预先固定的样本量 ,有 。它没有同时保证
后一句约束整条区间路径,才是置信序列的要求。任意多个固定时刻分别有 95% 覆盖,不代表整条路径有 95% 覆盖;只挑第一次跨过决策阈值的时刻报告,会把查看过程带进选择。
这与早先的两次预定查看共享“为多个机会分配错误预算”的思想。本篇把查看机会扩展到无限多个样本量,并把六个原始参数经过同一错分机制投影为差距,而非重新推导某个均值检验。
02 一张可求和的账单,怎样覆盖无限个时刻?#
把第 路第 个二元成功指标记为 。路内序列独立同分布,均值 固定,。每路可想象有一个预先随机排列、持续揭示的无限候选流。六路可以异步更新;每次从哪一路拿下一个样本,可以依据已看见的历史决定,但不能偷看该候选结果后才决定是否将其计入。
在第 路已有 个样本时,给这个“路、样本量”组合分配
因为 ,所以
在每个固定 使用 Hoeffding 双侧界,得到半径
是该路前 个样本的成功比例;所有量无量纲, 以案例计数。系数 12 来自 Hoeffding 的双侧系数 2 乘以六条证据路。 时直接返回 [0,1],尚未观察数据就不消耗任何虚构信息。
对全部“路、样本量”用可数并集界,得
这是同时覆盖六路所有前缀的事件。不同路之间可以有依赖,证明不乘它们的覆盖概率;每个固定前缀仍须满足其边际 Hoeffding 假设。这里采用易证明的独立同分布设置,复杂依赖或条件均值模型需要另行建立适用界。
时间预算的手算账单如下:
| 本路样本数 | 该时刻预算 | 本路累计预算 | 保留给后续时刻的预算 |
|---|---|---|---|
每路最终最多花 。这里的预算是预先用于证明的漏覆盖上界,不是看到数据后动态扣减的概率余额;同一 刷新十次页面不会产生十份新证据,也不需要十次重新收费。
03 异步流,怎样共用同一个差距保证?#
日历时刻 ,第 路已有 条合法前缀记录。六路样本量形状为 [2,3],当前计数为 [2,3,2],区间端点组成 [2,3,2] 的盒。对每组,把自己的 区间与方程及 求交;然后按上一篇的独立通道模型求差距投影。
在“所有路、所有前缀都覆盖”的事件上,无论 多不相同,真实六参数始终在当前盒里;真实差距因而始终在投影区间里。于是对于任意依据已观察历史选出的有限停止时刻 ,
这支持“区间一旦排除阈值就停止”的规则。若过程可能永不停,规则应设最大预算并报告“未决”;覆盖保证不承诺一定能给出方向。研究目标、组别定义、六路身份、参考版本和总体预算在过程中固定。任意停止不授权任意更换目标或追加一批未经预算覆盖的子组。
投影仍使用上一篇的解析条件:整盒 时计算端点,弱通道或不兼容时保留组内诊断并保守回退 [-1,1]。代码未施加跨组共享或差异容差,因此对受约束模型是一个外包区间。想收紧它,可对每个当前盒再保留正确的跨组约束做联合优化;时间一致性由同一个同时覆盖事件继续传递。
| 阶段 | 输入与更新 | 计算 | 记录与动作 |
|---|---|---|---|
| 接收 | 预随机顺序下的下一个合法样本 | 当前路成功数与人数各更新一次 | 不重复、不跳过未完成的前缀 |
| 构盒 | 当前六路前缀计数 | 使用各自 与同一总 | 六个半径、区间、路身份 |
| 投影 | 当前联合盒与错分方程 | 单组比例范围、再求差距 | 区间、弱通道/不兼容状态 |
| 决策 | 预先定义的阈值 | 检查 或 | 方向结论,或继续/预算耗尽未决 |
可以先看哪一路区间最宽,再优先给那一路补样本吗?
在本篇设定下可以:每路自身的所有前缀已同时覆盖,选择下一条证据流不改变该流下一个样本的来源。你可以依据历史选流,却不能在所选流中按尚未纳入的结果挑人,也不能改掉协议或跳过难查案例。提高哪一路的样本量与改变这一路抽样分布,是不同操作。
04 小到能手算的例子,大到能看见代价的路径#
先看最小前缀。总预算 、某路 ,该时刻预算为 ,半径为 。无论第一次成功或失败,与 [0,1] 求交后的区间都是全范围。只有一个观测时,没有凭它作出方向结论的捷径。
再固定六路展示路径:A 成功比例依次为 0.4、0.8、0.9,B 为 0.3、0.8、0.9;下表在相同人数的几个前缀展示算法值。它是人为保持比例的数值演示,不是一条随机试验,也不用于估计实际覆盖率。
| 每路人数 | 差距区间 | 阈值 下的动作 |
|---|---|---|
| 仍未决,解析投影有效但范围很宽 | ||
| 继续收集或预算停止 | ||
| 继续收集或预算停止 | ||
| 高于阈值,可按规则停止 |
第一行仍为 ok:整盒正向,但每组比例投影均覆盖 0 到 1,所以差距是全范围;不能仅凭区间很宽就断言状态一定为 weak_channel。
与上一篇固定 的区间 比,时间一致区间更宽,当前尚不能宣布正方向。额外半径来自对所有前缀都负责:固定样本用 ,本篇用 。代价是此透明构造的半径为 ;更精细的混合或拼接置信序列可以改善时间代价,文末 Howard 等人的论文提供系统方法。
05 Python:按本路计数更新,不按报表刷新次数更新#
将上一篇完整程序保存为同目录的 fixed.py,再将下段保存为 sequential.py,运行 python3 sequential.py。导入的 budget 校验总错误预算,project_gap 实现前文已经展开的盒投影,所有机制计算都能在上一篇逐行检查。这里新增的只有时间预算半径和停止决策,依赖 Python 标准库 math.log 与 sqrt ↗,不需要安装机器学习库。
uniform_interval 接收一对成功数/总数 [2],也接受合法空前缀 (0,0);anytime_gap 接收完整 [2,3,2] 快照;decision 返回四种动作字符串。alpha 在每次调用中必须保持同一预先登记值,它表示覆盖六路全部时刻的总预算,不是每路预算。
启动时冻结:六路抽样定义、总 alpha、目标差距、阈值和最大预算
每到一个合法新样本:只更新对应证据流的成功数与人数
按每路自己的 n 计算 log(12*n*(n+1)/alpha) 半径,空路为 [0,1]
将当前六路区间交给上一篇的错分投影器
成功投影且下界 > 阈值:声明高于阈值并停止
成功投影且上界 < 阈值:声明低于阈值并停止
否则继续;预算耗尽时保留未决或诊断状态textfrom math import log, sqrt
from fixed import budget, project_gap
def uniform_interval(pair, alpha):
alpha = budget(alpha)
if not isinstance(pair, (tuple, list)) or len(pair) != 2:
raise ValueError("expected (successes, total)")
k, n = pair
if type(k) is not int or type(n) is not int or n < 0 or not 0 <= k <= n:
raise ValueError("need integer 0 <= successes <= total")
if n == 0:
return 0.0, 1.0
# log(12*n*(n+1)/alpha), computed without multiplying large counts.
radius = sqrt((log(12) + log(n) + log(n + 1) - log(alpha)) / (2 * n))
return max(0.0, k / n - radius), min(1.0, k / n + radius)
def anytime_gap(counts, alpha=0.05):
alpha = budget(alpha)
if not isinstance(counts, (tuple, list)) or len(counts) != 2:
raise ValueError("expected two groups")
if any(not isinstance(row, (tuple, list)) or len(row) != 3 for row in counts):
raise ValueError("each group needs q, sensitivity, specificity counts")
boxes = tuple(tuple(uniform_interval(pair, alpha) for pair in row) for row in counts)
return dict(**project_gap(boxes), boxes=boxes, alpha=alpha)
def decision(result, threshold=0.0):
threshold = float(threshold)
if not -1 <= threshold <= 1:
raise ValueError("threshold must be finite and in [-1, 1]")
lower, upper = result["interval"]
if result["status"] != "ok":
return "collect_or_diagnose"
if lower > threshold:
return "above_threshold"
if upper < threshold:
return "below_threshold"
return "collect_or_budget_stop"
if __name__ == "__main__":
for n in (100, 1000, 10000, 100000):
counts = (((4 * n // 10, n), (8 * n // 10, n), (9 * n // 10, n)),
((3 * n // 10, n), (8 * n // 10, n), (9 * n // 10, n)))
result = anytime_gap(counts)
print(n, tuple(round(x, 6) for x in result["interval"]), decision(result))
empty = tuple(tuple((0, 0) for _ in range(3)) for _ in range(2))
assert anytime_gap(empty)["interval"] == (-1.0, 1.0)python输出与上表四行一致,动作依次是三次 collect_or_budget_stop 和一次 above_threshold。等号不算严格超过阈值;诊断状态返回 collect_or_diagnose,避免弱通道下误触发方向结论。若业务定义要保住至少 2 个百分点,可分析前设置 threshold=0.02;它是实际差距门槛,不是显著性概率。
对已聚合计数,每次更新与投影为 时间和内存,状态只需六对整数。原始事件仍需持久保存以供去重和重放。半径用对数相加计算,不先乘 ,减少大整数转浮点时的溢出风险。程序是双精度教学实现,临界端点的严格数值保证应使用向外舍入等经过验证的数值运算。
实现可选地把每路历史区间做运行交集,使区间嵌套;同时覆盖事件上,交集仍含真值。本程序直接使用当前区间,没有维护历史交集,区间端点因成功比例变化可能向两侧移动。“人数更多,当前区间必然包含在上一次里面”不是本实现的正确性条件。
06 可选停止保得住,选择性到达仍会坏在哪里?#
最容易漏掉的环节是补标顺序。假设预随机名单中的困难案例三天才确认,简单案例当天就回传;若每天只把已经回传的标签算进当前前缀,当前成功率可能偏向简单案例。置信序列控制的是合法样本流上的查看和停止,不能把结果依赖的缺失机制变成独立同分布抽样。
一种清楚的实现是预先随机排序,维护“已经完整确认的最长前缀”;暂未完成的案例会阻塞后续已完成案例进入该流统计。这样损失时效但保留本篇前缀定义。若业务必须按到达顺序纳入,应建立适合延迟、删失、响应权重或鞅条件的专门推断,重新证明其保证。它与此前延迟标签成熟窗口的版本管理衔接,但时间一致区间不能代替数据成熟检查。
| 场景或相近方法 | 可否直接使用本篇保证? | 先做的检查 |
|---|---|---|
| 依据历史选择下一条证据流 | 可,保持每路合法前缀 | 下一候选不能因其结果被替换 |
| 看到满意区间就停止 | 可,使用同一总预算与固定目标 | 停止规则保留日志,预算耗尽允许未决 |
| 每次重新用固定样本 95% 区间 | 不直接支持反复停止 | 改为时间一致区间或预定查看预算 |
| 只补模型最不确定的案例 | 一般不可当作目标随机样本 | 建立选择机制与权重相匹配的推断 |
| 回改旧标签、重复纳入案例 | 不满足当前累积流 | 按不可变事件身份核对,另建修订分析 |
| 模型或标签协议半途更新 | 参数可能不再固定 | 分版本定义新目标,并管理跨分析预算 |
| 混合/拼接置信序列 | 是更紧的替代构造 | 核对其分布条件、边界和实现语义 |
追加日志至少记录 stream_id、案例键、预随机位置、结果、成熟状态、模型/协议版本,以及当前六路计数、总体 、半径、区间和动作。案例键幂等去重;重启从同一前缀恢复;累计计数不能静默减少。六路异步可以,跨版本拼接和结果筛选不可以。
调试应先把同一事件流离线重放,确认一次性聚合和逐条追加得到同一计数;再验证每个相同前缀无论何时刷新都给出同一区间。交换 A、B 后差距端点取负反序;未知流回退全范围;非有限预算、负人数、成功数超过人数直接拒绝。若实现了历史交集,必须额外保存交集状态,不能只从最终计数重建它。
这个教学预算对所有整数样本量收费,即使只在每天一次查看也会较保守。若查看计划确实预定,可只给这些查看时刻分配预算;若改用更紧的置信序列,仍要把六路覆盖接到同一个投影证明。固定总体与正确错分机制始终是前提;时间保证本身不解决群体迁移、真值偏差或因果解释问题。
预算用完仍跨零,能否把 alpha 改成 0.1,直到下界变正?
不能再把这样的选择报告为预定 95% 保证。改变总预算会缩小区间,也改变长期漏覆盖上界;事后挑选置信水平需要明确报告其选择方式。预先登记最大样本预算,结束时按原定标准报告“未决”,是这套流程允许的有效结果。
思考练习#
- 用望远镜求和验证前 个时刻的本路预算为 。若只覆盖两路参数,半径对数里的 12 应改成多少?说明双侧系数的来源。
- A 的三路人数分别为 1000、100、10000,B 分别为 10000、1000、100。用合法整数成功数运行一次异步投影,解释为什么不能统一用总人数或日历天数作分母。
- 设计一个“困难失败案例回传更慢”的五人名单,比较按到达顺序和完整随机前缀的成功率。指出哪一步违反本篇假设,并写出需要保存在事件账本中的成熟状态。
相关工作#
- Hoeffding (1963), Probability Inequalities for Sums of Bounded Random Variables ↗:每个固定前缀的有界均值浓缩基础。
- Darling & Robbins (1967), Confidence Sequences for Mean, Variance, and Median ↗,开放全文 ↗:置信序列的早期代表工作。
- Howard, Ramdas, McAuliffe & Sekhon (2021), Time-Uniform, Nonparametric, Nonasymptotic Confidence Sequences ↗,作者预印本 ↗:系统介绍更紧的时间一致边界;本篇的可数并集构造用于透明教学,不复现其混合或拼接算法。
下一篇预告#
持续补标可以随时停,但“等哪个标签到齐”仍可能决定当前看到谁。下一篇回到审计事件流,具体拆解预随机名单的完整前缀、回传延迟与重复修订,说明怎样让实际报表中的计数满足置信序列使用的抽样契约。