近期失败增多,何时该报警?起点混合与全程误报控制
为每个可能的变化起点分配初始证据,推导二元失败流的单步似然比、常数状态递推和全程误报界,附手算与可运行 Python。
上线六周后,客服复核发现连续几条路由失败。若从上线首日累计,早期的大量正常案例会稀释近期信号。若每天挑一段最异常的窗口做一次 5% 检验,窗口越多,误报机会越多。上一篇的历史置信交集针对固定参数积累约束。这里换一个问题:一条固定口径的失败流是否持续偏离允许上限?
核心机制是起点混合(Start-Time Mixture)。给每个可能的起点留一份初始证据,从对应案例起更新,再用同一个门槛监看总证据。以下数字都是教学设定。
01 先定义报警针对什么#
从固定切片的核验队列取二元序列 。每次输入是一个标量,1 表示按冻结协议确认的失败,0 表示确认的成功。长度为 的回放形状是 [T]。 是合格案例的预定顺序,单位是案例数。队列来源、服务版本、纳入规则、失败定义和顺序在运行前冻结。
写 为本次观察前用于推断的历史信息。原假设要求每一步的条件失败率(Conditional Failure Rate)都不超过事先约定的 :
这个条件容许某些依赖,只要上界逐步成立。即使全月平均失败率为 5%,如果已知某些班次通常为 15%,以 5% 作为各班次共用条件上界仍可能不合理。示例中的 是服务事先承诺的上限。若改用历史样本估计,估计误差需要进入检验设计。另一常数 是检测器瞄准的失败率,取值会影响检测速度;两者均为无量纲概率。
对新案例使用似然比(Likelihood Ratio)因子 :
失败时乘大于 1 的数,成功时乘小于 1 的数。设当步真实条件率为 ,条件期望是 。它随 增大,在 恰好等于 1,所以在原假设下至多为 1。这一步解释了公式为何能约束误报,也解释了为何不能看到本条标签后再挑 。
02 每个起点先存证据,再同时更新#
候选起点 的证据 在 时等于 1,在 时等于 。它从 1 起步,每一步非负且下一步条件期望不超过当前值,这样的过程称为非负超鞅(Nonnegative Supermartingale)。起点共有无限多个,为 留下 ,即 ,因此权重总和恰好是 1。
混合后的标量 仍是同类过程,且 。令 为已启动起点的加权证据之和。第 条标签到来时,刚启动的起点加入 ,所有已启动项都乘同一个因子。未启动的权重总和仍为 :
因此只保存 就能推进证据,外加一个报警状态用于记住首次跨线。对一轮误报预算 ,Ville 不等式(Ville’s Inequality)给出
证明的直觉是把过程停在首次跨线或一个固定截点,停止时的期望最多为初始值 1,而已跨线的路径在停止时至少值 。让截点趋于无穷,就得到全程的概率界。这里的事件是“一轮内至少一次误报”,对应每个可能时刻都可看同一条曲线。
合格案例按冻结顺序定序 → 最终标签形成连续前缀
↓
失败位 X[t] → 因子 L[t]
↓
旧已启动证据 A[t-1] + 新起点权重 w[t] → 乘 L[t] → A[t]
↓
A[t] + 未启动储备 → E[t] → 首次报警text03 手算五个标签,检查储备如何流动#
取 ,失败乘 2,成功乘 。教学预算 的门槛是 5。输入 [0, 1, 1, 1, 1]。
| 案例序号 | 失败位 | 新起点权重 | 已启动证据 | 储备 | 总证据 |
|---|---|---|---|---|---|
| 0 | — | — | 0 | 1 | 1 |
| 1 | 0 | ||||
| 2 | 1 | 1 | |||
| 3 | 1 | ||||
| 4 | 1 | ||||
| 5 | 1 |
为什么第一次报警在第 5 条,虽然第 4 条已有一个很大的窗口值?
第 4 条时,从第 2 条起的未加权窗口证据是 ,但这个起点只领取 ,所以它贡献 。报警依据是所有加权项与储备之和 。下一条更新后才跨线。最强窗口只适合作为调查线索,它的起点由数据挑出。
04 用 Python 在对数域逐条推断#
下面保存为 change.py,运行 python3 change.py。冻结模型后进行的是在线统计推断,没有梯度更新。输入是合格前缀中的单个 0 或 1,输出是当前序号、对数证据和首次跨线序号三个标量。长序列的连乘容易下溢或上溢。代码用对数求和指数(Log-Sum-Exp)计算 ,先取较大值再计算小差值的指数。标准库的 log1p 能在加数接近零时准确计算自然对数。 Python math 文档 ↗
初始化 t=0、log(A)=-∞、首次报警为空
对每个完整前缀的下一个失败位:
合并旧 log(A) 和本次起点权重的对数
加上本次因子的对数
与未启动储备做对数求和,得到 log(E)
若第一次达到对数门槛,记录本次序号textfrom math import exp, log, log1p
def log_add(left, right):
if left < right:
left, right = right, left
if right == float("-inf"):
return left
return left + log1p(exp(right - left))
class ChangeMonitor:
def __init__(self, p0, p1, alpha):
if any(type(value) not in (int, float) for value in (p0, p1, alpha)):
raise ValueError("expected numeric probabilities")
if not (0 < p0 < p1 < 1 and 0 < alpha < 1):
raise ValueError("expected 0 < p0 < p1 < 1 and 0 < alpha < 1")
self.log_factor = (log1p(-p1) - log1p(-p0), log(p1) - log(p0))
self.log_threshold = -log(alpha)
self.count = 0
self.log_active = float("-inf")
self.first_alarm = None
def update(self, bit):
if type(bit) is not int or bit not in (0, 1):
raise ValueError("need a finalized failure bit, 0 or 1")
self.count += 1
t = self.count
log_weight = -log(t) - log(t + 1)
self.log_active = log_add(self.log_active, log_weight) + self.log_factor[bit]
log_evidence = log_add(self.log_active, -log(t + 1))
if self.first_alarm is None and log_evidence >= self.log_threshold:
self.first_alarm = t
return t, log_evidence, self.first_alarm
if __name__ == "__main__":
monitor = ChangeMonitor(0.25, 0.5, 0.2)
for bit in [0, 1, 1, 1, 1]:
t, log_evidence, alarm = monitor.update(bit)
print(t, round(exp(log_evidence), 4), alarm)python输出:
1 0.8333 None
2 1.3333 None
3 2.4167 None
4 4.6333 None
5 9.1 5text每条只做常数次浮点运算、保存常数个字段。回放可先用短序列的显式加权乘积作对照,再验证任意分块重放与逐条更新一致。报表只在安全范围内取指数,超大证据可直接显示自然对数。正式系统在非常接近门槛时应以可验证的数值精度复核边界,展示舍入留在最后一步。
05 什么时候该等待,什么时候该调查?#
| 看到的情况 | 首先核对 | 对检测的影响 |
|---|---|---|
| 好查的标签最先回传 | 对比发出顺序与连续终态前缀 | 等前缀补齐,避免按结果可见性挑样本 |
| 重投后曲线跳升 | 对比案例键、序号与日志截点 | 去重后重放,两个重投不等于两条失败 |
| 单个班次集中失败 | 核对条件上界对该班次是否合理 | 检查口径、来源与故障证据再解释报警 |
| 很晚才变化或只小幅升高 | 检查起点权重与目标 | 晚起点预算较小,偏离瞄准幅度时功效可能降低 |
若回传延迟和标签有关,沿用完整前缀账本,每次用冻结顺序的下一条终态标签推进。固定完整流的同时跨线界也覆盖停在某个已知完整前缀的观察方式。若业务用前缀外已知结果来重排未来输入或动态修改模型,必须重新检查条件上界。未回传样本保持等待状态,不能记为 0。报警后保存首次跨线对应的前缀、服务版本和质量核对线索,等待负责团队调查。拒绝这个条件上界只说明证据指向该口径下的超限,故障成因和效应大小需要额外分析。
瞄准的幅度也影响功效。若变化后长期保持失败率 ,单个已启动起点每步的平均对数增量为 。在手算配置下,要到 才为正。真实失败率从 0.25 升到 0.30 时已经超限,却低于这个检测器的对数增长拐点。
和此前的 CUSUM 漂移告警有什么区别?
累积和控制图(CUSUM)保留最强的近期累积偏离,适合围绕正常运行时长和变化后检测延迟调门槛。本篇保留预分配的全部起点权重,并计算有限或无限监看中至少一次跨线的概率。平均误报等待时长和全程误报概率是两个不同的指标。起点权重很小时,长期监看可能付出额外检测延迟。
思考练习#
- 将第 5 个失败改成成功,手算 和 。如果已经报警后再来成功,首次跨线序号应怎样保存?
- 用显式乘积枚举前六条的所有二元前缀,逐项复核代码输出。将未启动储备删掉会怎样改变初始值和手算结果?
- 设定周一和周末有不同的已知条件上界。讨论怎样预先确定每个案例的 和 ,并写出该情况下单步条件期望的上界。
相关工作#
- Page(1954)提出经典累积和控制图,为顺序变化检测给出基础。 Continuous Inspection Schemes ↗
- Howard、Ramdas、McAuliffe 与 Sekhon(2020)用非负超鞅统一推导时间一致尾界。 Time-uniform Chernoff Bounds via Nonnegative Supermartingales ↗
- Shin、Ramdas 与 Rinaldo(2024)用连续起点的证据过程构造以平均运行长度为误报指标的检测器。 E-detectors: A Nonparametric Framework for Sequential Change Detection ↗
下一篇预告#
更换核验协议或目标人群时,这条曲线要从新目标重新开始。下一篇用一份跨版本预算和可重放的注册账本,区分服务重启、协议切换与正式检验的新一轮。