模型没有报错却在变差:如何用监控基线、分片和阈值找到第一处异常
将线上预测流转成可追溯的窗口、基线和分片证据,识别数据漂移并避免噪声告警。
上一篇用回放记录证明同一历史请求在线下与线上会产生同一特征。但服务返回 200 不等于仍适用于今天:客户端、地区网络或用户群变化,都可能让输入分布移动。Monitoring Baseline(监控基线)要回答的不是数值有没有波动,而是哪个切片从何时开始偏离正常范围。本篇建立窗口、基线、分片、阈值和处置的证据链;下一篇会把确认的异常接入标签质量与回滚。
01 总体平均值为什么会掩盖事故?#
每小时窗口 有 条请求,预测概率 。总体平均 仍是 0.12;但移动端从 0.08 变成 0.20、网页端从 0.16 降至 0.04,恰好抵消。Slice(切片)是渠道、地区、模型版本等低基数、可解释字段筛出的子集,不能把用户 ID 放进监控标签。
flowchart LR
R[请求日志\nraw x, prediction, version] --> W[时间窗口 W_t]
W --> A[总体聚合]
W --> S[切片聚合\nchannel / region]
B[冻结基线 B] --> C{比较统计量}
A --> C
S --> C
C -->|正常| G[记录趋势]
C -->|连续越界| E[告警 + 证据包]
E --> I[回放 / 排查 / 缓解]mermaid02 极小手算:把一小时变成分布比较#
训练基线的三桶计数 ,当前小时 ,各有 100 条。加平滑 后,Population Stability Index(总体稳定性指数,PSI)为
第三桶贡献 ,高消费样本明显增加。连续特征必须在训练期固定桶边界;每小时按当前分位数重分桶,相当于尺子也在移动。
| 信号 | 输入形状 | 能发现 | 不能单独证明 |
|---|---|---|---|
| PSI | 当前/基线计数 | 边缘分布迁移 | AUC 已下降 |
| 分数分位数 | 阈值附近输出拥挤 | 真实精确率变化 | |
| 延迟 AUC | 成熟标签上的排序退化 | 未标注人群表现 |
03 可追溯基线与实现#
基线不能只是昨天的值。它要冻结模型与特征版本、时间段、分桶边界、切片定义、样本数和聚合代码版本。函数输入 values 形状为 、训练期边界 edges 形状为 ,输出 counts 形状为 。
import numpy as np
def histogram(values: np.ndarray, edges: np.ndarray) -> np.ndarray:
if values.ndim != 1 or edges.ndim != 1 or np.any(np.diff(edges) <= 0):
raise ValueError('invalid histogram contract')
bucket = np.searchsorted(edges, values, side='right') # int64 [N]
return np.bincount(bucket, minlength=len(edges) + 1).astype(np.int64)
def psi(current: np.ndarray, baseline: np.ndarray, eps=1e-6) -> float:
if current.shape != baseline.shape or not current.sum() or not baseline.sum():
raise ValueError('incompatible or empty histograms')
q = np.maximum(current / current.sum(), eps)
r = np.maximum(baseline / baseline.sum(), eps)
return float(np.sum((q-r) * np.log(q/r)))
edges = np.array([10., 50.], dtype=np.float32)
print(psi(histogram(np.array([5., 20., 70.], np.float32), edges),
np.array([2, 1, 0], dtype=np.int64))) # 4.374python小样本不能由 epsilon 修复:当 应记录不足数据,等下一窗口。还要监测缺失率、解析失败、去重后请求量;异常可能来自日志采样而非模型。
04 阈值必须连着处置动作#
单次 PSI 超过 0.2 就分页会制造低流量告警风暴;只看日平均又会错过突发事故。可审计策略是:样本至少 1000、PSI 超过警告阈值 0.2 且连续两个窗口才告警;超过紧急阈值 0.5 立即升级。数值要用历史噪声、误报成本和风险预算校准。
for each window and slice:
metrics = aggregate(versioned_logs, fixed_bucket_contract)
if metrics.n < min_n: store('insufficient_data'); continue
breaches = breaches + 1 if metrics.psi > warning else 0
if metrics.psi > critical or breaches >= 2:
emit_alert(metric, slice, baseline_id, sample_ids, feature_revision)text告警的 Evidence Bundle(证据包)应带窗口、当前与基线直方图、分片条件、请求量、模型和特征版本、匿名样本 ID。先检查是否只有一个 SDK 或日志分区、缺失率是否跳变、回放同批样本是否一致;确认后才考虑冻结自动决策、降级规则或回滚。监控进程不能自行重训发布。
手机与键盘端的仪表盘不能只靠红绿颜色:提供文本严重度、可聚焦筛选器和表格摘要;深浅主题下阈值线也要保持对比度。
05 容易失败的地方#
- 重分桶会掩盖漂移;桶边界随基线版本冻结。
- 辛普森悖论会让总体正常、关键渠道异常;预先登记高风险切片。
- 用未成熟标签计算 AUC 会误导;记录 label maturity(标签成熟度)。
- 按 URL 或设备 ID 全量分片会爆炸;白名单维度、Top-K 加 other。
数据契约检查字段能否被理解;分布监控检查可理解的字段是否正在改变。复杂漂移检测器也绕不开基线、最小样本量与回放证据。
思考练习#
- 移动端 PSI 超阈但仅有 80 条请求,你会如何显示、何时升级、还缺什么证据?
- 为审批模型设计同时考虑分数漂移、拒绝率和 14 天标签成熟度的三层告警。
- 为什么模型版本切换后的第一天不能直接沿用旧阈值?列出三项应冻结的元数据。