观文听傑

返回

蓝色数据流经过模型后与基线直方图比较,橙色阈值和告警将异常送往放大镜分析蓝色数据流经过模型后与基线直方图比较,橙色阈值和告警将异常送往放大镜分析

上一篇用回放记录证明同一历史请求在线下与线上会产生同一特征。但服务返回 200 不等于仍适用于今天:客户端、地区网络或用户群变化,都可能让输入分布移动。Monitoring Baseline(监控基线)要回答的不是数值有没有波动,而是哪个切片从何时开始偏离正常范围。本篇建立窗口、基线、分片、阈值和处置的证据链;下一篇会把确认的异常接入标签质量与回滚。

01 总体平均值为什么会掩盖事故?#

每小时窗口 WtW_t 有 NN 条请求,预测概率 p∈RNp\in\mathbb{R}^{N}。总体平均 pˉ=1N∑ipi\bar p=\frac1N\sum_i p_i 仍是 0.12;但移动端从 0.08 变成 0.20、网页端从 0.16 降至 0.04,恰好抵消。Slice(切片)是渠道、地区、模型版本等低基数、可解释字段筛出的子集,不能把用户 ID 放进监控标签。

flowchart LR
  R[请求日志\nraw x, prediction, version] --> W[时间窗口 W_t]
  W --> A[总体聚合]
  W --> S[切片聚合\nchannel / region]
  B[冻结基线 B] --> C{比较统计量}
  A --> C
  S --> C
  C -->|正常| G[记录趋势]
  C -->|连续越界| E[告警 + 证据包]
  E --> I[回放 / 排查 / 缓解]
mermaid

02 极小手算:把一小时变成分布比较#

训练基线的三桶计数 b=[50,40,10]b=[50,40,10],当前小时 c=[20,40,40]c=[20,40,40],各有 100 条。加平滑 ϵ=10−6\epsilon=10^{-6} 后,Population Stability Index(总体稳定性指数,PSI)为

PSI⁡(c,b)=∑k=13(qk−rk)ln⁡qkrk,q=c/100,;r=b/100.\operatorname{PSI}(c,b)=\sum_{k=1}^{3}(q_k-r_k)\ln\frac{q_k}{r_k},\qquad q=c/100,;r=b/100.

第三桶贡献 (0.4−0.1)ln⁡4≈0.416(0.4-0.1)\ln4\approx0.416,高消费样本明显增加。连续特征必须在训练期固定桶边界;每小时按当前分位数重分桶,相当于尺子也在移动。

信号输入形状能发现不能单独证明
PSI当前/基线计数 [K][K]边缘分布迁移AUC 已下降
分数分位数p:[N]p:[N]阈值附近输出拥挤真实精确率变化
延迟 AUC(p,y):[N](p,y):[N]成熟标签上的排序退化未标注人群表现

03 可追溯基线与实现#

基线不能只是昨天的值。它要冻结模型与特征版本、时间段、分桶边界、切片定义、样本数和聚合代码版本。函数输入 values 形状为 [N][N]、训练期边界 edges 形状为 [K−1][K-1],输出 counts 形状为 [K][K]。

小样本不能由 epsilon 修复:当 N<NminN<N_{min} 应记录不足数据,等下一窗口。还要监测缺失率、解析失败、去重后请求量;异常可能来自日志采样而非模型。

04 阈值必须连着处置动作#

单次 PSI 超过 0.2 就分页会制造低流量告警风暴;只看日平均又会错过突发事故。可审计策略是:样本至少 1000、PSI 超过警告阈值 0.2 且连续两个窗口才告警;超过紧急阈值 0.5 立即升级。数值要用历史噪声、误报成本和风险预算校准。

for each window and slice:
  metrics = aggregate(versioned_logs, fixed_bucket_contract)
  if metrics.n < min_n: store('insufficient_data'); continue
  breaches = breaches + 1 if metrics.psi > warning else 0
  if metrics.psi > critical or breaches >= 2:
      emit_alert(metric, slice, baseline_id, sample_ids, feature_revision)
text

告警的 Evidence Bundle(证据包)应带窗口、当前与基线直方图、分片条件、请求量、模型和特征版本、匿名样本 ID。先检查是否只有一个 SDK 或日志分区、缺失率是否跳变、回放同批样本是否一致;确认后才考虑冻结自动决策、降级规则或回滚。监控进程不能自行重训发布。

手机与键盘端的仪表盘不能只靠红绿颜色:提供文本严重度、可聚焦筛选器和表格摘要;深浅主题下阈值线也要保持对比度。

05 容易失败的地方#

  • 重分桶会掩盖漂移;桶边界随基线版本冻结。
  • 辛普森悖论会让总体正常、关键渠道异常;预先登记高风险切片。
  • 用未成熟标签计算 AUC 会误导;记录 label maturity(标签成熟度)。
  • 按 URL 或设备 ID 全量分片会爆炸;白名单维度、Top-K 加 other。

数据契约检查字段能否被理解;分布监控检查可理解的字段是否正在改变。复杂漂移检测器也绕不开基线、最小样本量与回放证据。

思考练习#

  1. 移动端 PSI 超阈但仅有 80 条请求,你会如何显示、何时升级、还缺什么证据?
  2. 为审批模型设计同时考虑分数漂移、拒绝率和 14 天标签成熟度的三层告警。
  3. 为什么模型版本切换后的第一天不能直接沿用旧阈值?列出三项应冻结的元数据。

延伸阅读#

模型没有报错却在变差:如何用监控基线、分片和阈值找到第一处异常
https://zwjcode.cn/blog/model-monitoring-baseline-slices-thresholds
作者 傑
发布于 2026年10月1日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。