审计换版本后还能用 5% 吗?用注册账本分配跨版本误报预算
区分进程恢复与正式检验重启,在新版本取数前登记目标、起点与错误额度,用可重放 Python 账本维护跨版本误报上界。
上一篇起点混合变化检测让一条失败流可以持续监看。上线后出现了两种“重启”。周一工作进程崩溃,从同一份日志恢复。周三业务修改了失败定义,需要从新口径收集标签。如果两次都把证据清零、各自重新给 5%,整条审计时间线就多了两次报警机会。
本篇讲一个机制:用跨轮错误预算分配(Alpha Spending)管理正式检验的重开。每次开轮前冻结目标、批准额度和后续取数起点。进程恢复只重放原轮,正式切换才登记新轮。数字与版本均为教学设定。
01 同一轮由统计契约和数据边界决定#
设 为审计系列中第几次正式开轮,从 1 开始。第 轮的契约(Audit Contract)冻结来源切片、服务与模型版本、失败定义、排序及成熟条件、启用截点、检测器版本和参数 。 是允许的条件失败率上界, 是瞄准的变化幅度对应的失败率。两者是无量纲概率,满足 。
是该轮按冻结顺序的第 个最终标签。 数正式注册次数, 数本轮合格案例,事件序号另算。可以把每轮回放视作形状为 [T_j] 的向量。各轮长度 可不同,不能用一个全局计数替代本轮顺序。
| 操作 | 契约与数据边界 | 检测器状态 | 预算 |
|---|---|---|---|
| 进程崩溃后从日志恢复 | 原契约、原截点、原顺序 | 重放,恢复累计证据和首次跨线 | 继续使用原额度 |
| 改模型、来源或标签规则 | 登记新契约,限定启用后的新样本 | 从初始证据 1 开始 | 领取下一轮额度 |
| 同口径下有意停止后再开 | 保留目标含义,另设新轮截点 | 从初始证据 1 开始 | 仍须领取下一轮额度 |
| 更换仪表盘样式 | 原契约与顺序 | 继续推进 | 继续使用原额度 |
运行键(Run ID)区分注册实例,契约键区分不可变配置。生产中可用规范化配置的摘要作为契约键,并绑定启用后的数据边界。仅改名称无法保证已见标签与新一轮隔离。历史样本可用于设计契约和阈值目标,正式检测从事先限定的新数据开始。
02 一份总体预算,给未来每一轮留位置#
要控制家族错误率(Family-Wise Error Rate,FWER),这里的事件是整个审计家族中至少有一轮在其原假设成立时发出正式报警。令总预算为 ,第 轮可用
每个 支付本轮全部查看时刻,前篇中的起点权重负责本轮的多个候选起点。跨轮的 与轮内起点 有各自的账本。
令 为开启第 轮时的历史,包含之前的报警、冻结的配置和取数截点。若该轮的原假设成立,未来样本在包含 的信息流下仍满足条件失败率上界,则前篇的证明可从开轮时开始,给出条件误报上界 。先对开轮历史取期望,再对各轮用并集界(Union Bound):
未开启的轮没有报警。可以依据旧轮的历史决定是否开新轮,各轮无需彼此独立。关键在于新轮在给定启动历史之后仍有合法的条件保证。若从已经看过的标签中挑一段“表现最差的”,再作为新一轮样本,预分配额度也无法恢复这个条件。
前一轮提前结束而且从未报警,额度可以退回吗?
本课的账本在注册时预留额度,结束后保留这笔记录。该轮曾有机会触发报警,简单退回后再次下注会脱离预算证明。更高效的在线分配方法需要自己的假设、分配规则和证明。
03 手算两次切换与一次恢复#
总预算取 。第一轮用原定义监看,进程恢复时仍处于第 1 轮。随后启用新定义,注册第 2 轮。第 3 轮在表中只是展示预留规则。
| 事件 | 分配额度 | 本轮证据门槛 | 分配后剩余 |
|---|---|---|---|
| 开启第 1 轮 | 40 | ||
| 恢复第 1 轮进程 | 无新增 | 40 | |
| 开启第 2 轮 | 120 | ||
| 预演开启第 3 轮 | 240 |
让第 1 轮只收到 [0, 1, 1]。重放后仍有三个案例,证据是 ,门槛 40。新一轮取新的案例,设其 ,且前八条都失败。第 7 条后的证据约为 78.656,第 8 条后约为 157.201,所以首次在第 8 条跨过 120。这个结论绑定第 2 轮的口径与新数据截点。
作一个对照。假设两轮检验独立,每轮原假设都成立,且每轮实际误报率恰好为 5%,则至少一轮误报的概率为 。固定总预算要控制的正是这个跨轮事件。
04 用注册事件锁定额度,用标签事件推进状态#
保存上一篇的代码为 change.py,将下面保存为 registry.py,运行 python3 registry.py。只使用标准库与上一篇的检测器,无需重训模型。输入是连续的全局事件序号及一份注册或标签载荷。输出是注册序号、额度,或检测器的本地计数、对数证据和首次报警。额度用 Fraction 精确记账,传入检测器时转成浮点数;显示与临界报警沿用上一篇的数值处理。冻结数据类便于把每个事件当作值重放。 Python fractions 文档 ↗ · Python dataclasses 文档 ↗
示例只允许一个活动轮。开新轮时把上一轮退出活动状态。已注册键保留在账本中,最后一条完全相同的重投幂等。标签事件带运行键、契约键和本轮位置,调用方先从完整前缀账本输出事件。真实系统要在同一事务中持久化注册、额度与截点;以唯一键串行化注册,把报警写进同一事务的待发记录,再由下游幂等投递。
收到事件 → 校验全局序号及载荷
注册 → 核对新运行键 → 按轮号预留额度 → 创建空检测器
标签 → 核对活动运行、契约和下一个位置 → 推进原检测器
恢复 → 按原顺序重放原日志 → 恢复额度与已报警位置textfrom dataclasses import dataclass
from fractions import Fraction
from change import ChangeMonitor
@dataclass(frozen=True)
class OpenRun:
run: str
contract: str
p0: float
p1: float
@dataclass(frozen=True)
class Label:
run: str
contract: str
position: int
bit: int
class Registry:
def __init__(self, total):
if type(total) is not Fraction or not 0 < total < 1:
raise ValueError("supply a total probability as Fraction")
self.total = total
self.runs = {}
self.active = None
self.monitor = None
self.last_seq = 0
self.last_event = None
self.last_result = None
@property
def remaining(self):
return self.total / (len(self.runs) + 1)
def apply(self, seq, event):
if type(seq) is not int or seq < 1:
raise ValueError("need a positive event sequence")
if type(event) not in (OpenRun, Label):
raise ValueError("unknown event")
if any(type(key) is not str or not key for key in (event.run, event.contract)):
raise ValueError("need immutable run and contract keys")
if type(event) is Label and (
type(event.position) is not int or event.position < 1
or type(event.bit) is not int or event.bit not in (0, 1)
):
raise ValueError("invalid position or finalized bit")
if type(event) is OpenRun and (
type(event.p0) is not float or type(event.p1) is not float
or not 0 < event.p0 < event.p1 < 1
):
raise ValueError("need ordered floating-point probabilities")
if seq == self.last_seq and event == self.last_event:
return self.last_result
if seq != self.last_seq + 1:
raise ValueError("sequence gap, stale event, or conflicting retry")
if type(event) is OpenRun:
if event.run in self.runs:
raise ValueError("run key already registered")
j = len(self.runs) + 1
alpha = self.total / (j * (j + 1))
monitor = ChangeMonitor(event.p0, event.p1, float(alpha))
self.runs[event.run] = (event, alpha)
self.active = event
self.monitor = monitor
result = ("opened", j, alpha)
else:
if self.active is None or (event.run, event.contract) != (
self.active.run, self.active.contract
):
raise ValueError("label belongs to another run or contract")
if event.position != self.monitor.count + 1:
raise ValueError("label is outside the next complete prefix")
result = ("observed", event.run, *self.monitor.update(event.bit))
self.last_seq, self.last_event, self.last_result = seq, event, result
return result
if __name__ == "__main__":
from math import exp
ledger = Registry(Fraction(1, 20))
v1 = OpenRun("run-1", "definition-v1", 0.25, 0.5)
v2 = OpenRun("run-2", "definition-v2", 0.25, 0.5)
events = [v1, Label(v1.run, v1.contract, 1, 0)]
events += [Label(v1.run, v1.contract, i, 1) for i in (2, 3)]
events += [v2]
events += [Label(v2.run, v2.contract, i, 1) for i in range(1, 9)]
for seq, event in enumerate(events, start=1):
result = ledger.apply(seq, event)
if type(event) is OpenRun:
print(result[0], result[1], str(result[2]), str(ledger.remaining))
print(result[1], result[2], round(exp(result[3]), 3), result[4])
replay = Registry(Fraction(1, 20))
for seq, event in enumerate(events, start=1):
recovered = replay.apply(seq, event)
assert recovered == result
assert replay.apply(seq, event) == result
assert replay.runs == ledger.runspython输出:
opened 1 1/40 1/40
opened 2 1/120 1/60
run-2 8 157.201 8text注册和更新各做常数次记录操作,额度的分数运算成本随整数位数增长。示例在内存保留注册键,事件日志由外部存储负责。正式系统应对旧事件重投建立完整索引。这里的最近一次重试保护演示了最小接口,无法代替持久化、多写者协调或数据资格验证。
05 先核对错误家族,再解释警报#
重放时先对比注册顺序和剩余额度,再对比活动轮的本地案例位置与首次报警。测试同序异载荷、跳号、旧契约迟到和运行键重用,错误输入应在任何更新前被拒绝。迟到旧标签保留在原始账本用于调查;它无法进入新轮。上游要核对真实案例键和启用截点,本例仅核对标签事件上已附的身份和位置。
新增一个切片或另一种正式报警规则也会扩大错误家族。若仪表盘要求对“任一切片或任一规则误报”给出同一总体保证,就要让这些报警共用预算,并给并行检测分别登记额度。若同时报告六路审计区间覆盖,先写清是否还要对漏覆盖与误报的并集作保证。用于正式决策的事件集合决定应合并哪些预算。更晚的轮获得较小额度,检测延迟可能增加;若业务只允许预定的有限轮数,可在开始前设计与该计划相符的额度表。
和前面实验的组序贯预算或 Holm 检验有什么区别?
组序贯预算为同一检验的预设查看点控制误报。本篇每次注册得到一条已能持续查看的检测曲线,预算用于新开的整轮。Holm 检验对一组已收集的有效检验结果排序。本课的分配在下一轮结果到来前确定,可以覆盖尚不知总数的注册序列。
思考练习#
- 总预算仍为 ,手算第 4 轮的额度和累计分配后剩余。若重放两次第 2 轮开轮事件,分别在哪些序号下返回原状态或拒绝?
- 在示例最后插入旧契约的第 4 个标签,断言账本和新轮证据完全相同。再插入一个合法的新轮第 9 个标签,核对首次跨线序号。
- 设计一个根据旧轮报警决定新切片的例子。说明如何冻结启用截点,并给出一个相关数据跨轮泄漏的机制,指出条件误报证明在哪一步失效。
相关工作#
- Tian 与 Ramdas(2021)研究在线检验序列的家族错误率控制,并给出更高效的适应性分配方法。 Online Control of the Familywise Error Rate ↗
- Johari、Koomen、Pekelis 与 Walsh(2022)解释持续查看下有效的序贯推断,并讨论在线实验实现。 Always Valid Inference: Continuous Monitoring of A/B Tests ↗
- Howard、Ramdas、McAuliffe 与 Sekhon(2020)用非负超鞅推导时间一致界,为本课单轮报警保证提供理论基础。 Time-uniform Chernoff Bounds via Nonnegative Supermartingales ↗
下一篇预告#
报警账本保留了何时、按何种口径首次跨线。下一篇用新采集的确认样本区分“发现异常”与“量化变化”,并处理报警后再挑切片带来的选择问题。