观文听傑

返回

红色异常流被防护边界阻断,蓝色中央控制节点同时编排回滚、降级与证据保全路径红色异常流被防护边界阻断,蓝色中央控制节点同时编排回滚、降级与证据保全路径

上一篇用 Drift Monitoring(漂移监控)发现了“代码任务质量正在持续下降”。Pager 响起后,值班同学最容易犯两个相反的错误:一头扎进日志寻找完美根因,任由用户继续受损;或看到一条相关曲线便全量回滚,结果旧版已无法读取新版写入的数据。

ML Incident Response(机器学习事故响应)的目标不是最快证明谁错了,而是限制损害、恢复安全服务、保存足够证据,再把未知逐步变成已知。本篇只讲透四件紧密相关的事:事故分级、止血动作、证据保全与受控恢复。

01 为什么 ML 事故比普通 500 更难确认?#

传统故障常有清楚的二值信号:请求成功或失败、实例存活或宕机。模型故障则可能同时具有:

  • 输出语法正确,但事实、合规性或任务完成率下降;
  • 只影响某种语言、长上下文、工具路径或租户;
  • 真值数小时后才返回,在线只能看代理指标;
  • 模型、Prompt、检索、路由、Judge 与输入分布都可能改变行为;
  • 同一回答存在随机性,单次重放未必逐字一致。

所以告警是 Incident Candidate(事故候选),不是根因判决。响应流程必须容纳不确定性,却不能用“不确定”作为拖延止血的理由。

flowchart LR
  A[质量/容量/安全告警] --> B{可信且有用户影响?}
  B -- 否 --> C[校验测量链与覆盖率]
  B -- 是 --> D[声明事故并冻结变更]
  D --> E[限制损害: 隔离/降级/回滚]
  E --> F[固定回放 + 线上健康窗口]
  F --> G{恢复门槛满足?}
  G -- 否 --> E
  G -- 是 --> H[受控恢复与复盘]
mermaid

02 事故分级:先量化影响,不先争论根因#

对时间窗 tt 和切片 ss,定义:

  • Nt,sN_{t,s}:符合评估条件的请求数;
  • At,sA_{t,s}:受异常路径影响的请求数;
  • Ft,sF_{t,s}:出现严重失败的请求数;
  • wsw_s:业务/安全权重,普通体验可取 1,数据破坏或安全风险必须显著更高。

影响率与严重失败率分别为

at,s=At,sNt,s,ft,s=Ft,sAt,s.a_{t,s}=\frac{A_{t,s}}{N_{t,s}},\qquad f_{t,s}=\frac{F_{t,s}}{A_{t,s}}.

一个透明的优先级分数可以写成

Rt=∑sNt,s at,s ft,s ws.R_t=\sum_s N_{t,s}\,a_{t,s}\,f_{t,s}\,w_s.

RtR_t 不是通用行业标准,而是把“多少用户 × 失败概率 × 后果”显式化的本地决策工具。真正的分级表还要加入增长速度、是否仍在扩大、是否可逆以及法规义务。

等级典型影响响应方式
SEV-1安全/隐私/资金/数据完整性风险,或大面积不可用立即指挥、止血、通知与高频更新
SEV-2核心任务显著回退,有替代路径冻结变更、限定降级或回滚
SEV-3小切片轻度下降,暂无扩大负责人调查、加密观察、设升级条件

03 极小手算:总体只有 0.6%,为何仍是 SEV-1?#

一分钟有 10,000 个请求,其中 5% 进入财务工具切片,即 Ntool=500N_{tool}=500。异常路由影响其中 20%,受影响请求里 60% 执行了错误写操作,权重设为 w=100w=100:

R=500×0.20×0.60×100=6000.R=500\times0.20\times0.60\times100=6000.

按全站请求计算,严重失败只有

500×0.20×0.6010000=0.6%.\frac{500\times0.20\times0.60}{10000}=0.6\%.

总体成功率会掩盖小切片中的不可逆损害。反过来,若 30% 请求只是回答变慢 200 ms、没有超出 SLO,权重和紧迫度都应更低。分级看的是后果,不是只看百分比大小。

事故响应桌面演练

调整影响、证据与回滚风险,观察为什么“先止血”不总等于“立刻回滚”。

分诊
止血
恢复

建议等级

04 第一原则:先止血,但动作必须可逆#

止血(Mitigation)是降低继续发生的用户损害,不等于修好根因。常见动作按侵入性从低到高排列:

  1. 冻结变更:暂停模型、Prompt、检索索引、路由与评测器发布,避免变量继续增加。
  2. 隔离切片:只挡住特定租户、工具、语言或模型 revision,保留健康路径。
  3. 安全降级:关闭高风险工具写入、改为只读检索、切换到规则模板或人工审核。
  4. 流量回退:把路由切回 Last Known Good(最后已知良好)版本。
  5. 停服/拒绝:当继续服务可能造成不可逆损害时,明确拒绝比“看似可用”更安全。

动作选择可写成约束优化:在候选动作 mm 中,选择预计剩余损害最小、又满足安全约束的动作

m∗=arg⁡min⁡m(E[H∣m]+Coperation(m)),m^*=\arg\min_m\left(\mathbb{E}[H\mid m]+C_{operation}(m)\right),

其中 HH 是继续损害,CoperationC_{operation} 是动作本身的代价。若旧模型与新数据 schema 不兼容,直接回滚的 CoperationC_{operation} 可能极高,此时关闭写路径或双读校验更安全。

05 为什么不能“先找到根因再动作”?#

设每分钟新增严重失败数为 r(t)r(t),从告警到止血的时间为 TmT_m,累计损害近似为

H=∫0Tmr(t) dt.H=\int_0^{T_m}r(t)\,dt.

当失败率近似恒定 rr 时,H≈rTmH\approx rT_m。如果每分钟 60 次错误写入,为追求完美根因多查 20 分钟,就新增约 1,200 次损害。

正确的并行分工是:Incident Commander(事故指挥)维持全局决策,Operations(操作负责人)只做批准过的生产变更,Investigation(调查负责人)构造和检验假设,Communications(沟通负责人)维护事实时间线。一个人可以兼任,但角色不能消失。

flowchart TB
  IC[Incident Commander<br/>目标、优先级、升级] --> OP[Operations<br/>一次只做一个生产动作]
  IC --> IN[Investigation<br/>固定证据,证伪假设]
  IC --> CO[Communications<br/>时间线、状态与影响]
  OP --> LOG[(Append-only 事件记录)]
  IN --> LOG
  CO --> LOG
mermaid

06 一次只改一个变量:事故中的因果纪律#

混乱响应常同时回滚模型、换 Prompt、刷新索引并重启服务。指标恢复了,却永远不知道哪个动作有效;若再次恶化,也没有明确撤销路径。

每个动作记录一个 Action Record:

action_id: A17
requested_at: 10:07:12+08:00
hypothesis: model-r42 causes tool-call argument corruption
change: route finance-tool traffic from r42 to r41
scope: finance-tool / 10% -> 100%
owner + approver: ops-1 + incident-commander
expected_signal: invalid_write_rate < 0.2% within 5 min
abort_condition: error_rate > 2% or schema_mismatch > 0
result: pending
text

这不是官僚表单,而是让系统在压力下仍保持可观测、可撤销、可交接。生产修改应串行化;证据采集和离线分析则可以并行。

07 证据保全:保存“能复现决策”的最小集合#

完整复制所有用户数据既昂贵又有隐私风险。应保存最小、受控、可审计的 Incident Bundle(事故证据包):

  • 告警规则、窗口、分母、覆盖率和原始聚合值;
  • model / tokenizer / prompt / retrieval index / tool schema / judge revision;
  • deployment、路由权重、Feature Flag 与配置快照;
  • 受影响与健康对照切片的脱敏请求 ID;
  • Trace ID、随机种子、采样参数和工具调用结果;
  • 每次操作的操作者、审批者、时间、范围与结果;
  • 数据保留期、访问权限与哈希校验。

对 BB 条重放样本,每条保存 Token ID 张量

X∈NB×L,X\in\mathbb{N}^{B\times L},

注意力掩码 M∈{0,1}B×LM\in\{0,1\}^{B\times L}、版本向量 v∈NBv\in\mathbb{N}^{B} 与期望检查 Q∈{0,1,unknown}B×KQ\in\{0,1,\text{unknown}\}^{B\times K}。不要只存渲染后的字符串:tokenizer、模板和截断边界都可能是根因。

08 一个最小、可测试的响应策略#

不要把处置知识只写在人的脑中。下面的纯 Python 策略明确区分影响等级、根因置信度和回滚风险:

输入是窗口聚合标量,不是模型输出张量。生产策略还要带业务权重、扩散速度、数据完整性、区域法规和人工 override;返回值必须经过权限控制与审批,不能让一个未经校准的 Judge 直接执行全量回滚。

09 回滚为什么可能失败?#

模型权重通常容易切换,模型周边状态却未必向后兼容:

变化直接回滚风险预先设计
Tokenizer / Chat Template同一输入产生不同 Token 边界版本绑定,保留旧模板与回放
向量索引 / Embedding维度或空间不兼容双索引、版本化 collection
工具参数 Schema旧模型生成新版无法解析的参数向后兼容、适配层、只读降级
特征或数据库写入旧代码无法读取新版状态expand–migrate–contract、双写审计
安全策略回滚同时撤销必要的新防护安全规则独立版本与拒绝兜底

因此 Runbook(运行手册)必须写清“何时不能回滚”。未演练的回滚只是一个愿望。至少在预发布环境定期验证权重可取、依赖可达、配置可解析、数据可读以及权限仍有效。

10 怎样证明已经恢复?#

“曲线向上”不是恢复标准。为每类事故预先定义 Exit Criteria(退出条件):

  1. 硬失败、安全与数据完整性检查恢复到阈值内;
  2. 受影响切片在固定回放集上通过,且健康对照未回退;
  3. 线上连续 WW 个成熟窗口满足门槛,覆盖率和标签延迟正常;
  4. 队列、缓存与降级路径没有留下次生故障;
  5. 证据、操作日志、用户影响与待办已记录。

例如要求 5 个连续 10 分钟窗口:

∀j∈{t−4,…,t},qj≥qmin, ej≤emax, cj≥cmin,\forall j\in\{t-4,\ldots,t\},\quad q_j\ge q_{min},\ e_j\le e_{max},\ c_j\ge c_{min},

其中 qjq_j 是质量、eje_j 是严重错误率、cjc_j 是标签覆盖率。任何一个窗口失败都重新计数,避免刚有一个好点就全量恢复。

恢复也应逐级:内部流量 → 1% → 5% → 25% → 100%,每级有观察窗、继续条件和自动停止条件。事故状态直到全部临时降级被清点、长期负责人接手后才关闭。

11 最短调试路径#

现象优先假设第一项验证
新版切片下降、旧版稳定模型/Prompt/路由变更固定输入配对回放
新旧版本同时下降输入、检索、工具或 Judge依赖 revision 与覆盖率
回滚后仍不恢复错误状态已持久化或根因不在模型数据写入、缓存、索引与成熟标签
只有长输入失败截断、OOM、路由边界Token 长度、finish reason、Trace
指标恢复但投诉继续上升代理指标漏检或标签延迟代表性样本人工复核
多人操作后状态更差修改冲突、无单一操作负责人Action Record 与审计日志

调试时从最新已知变化、影响切片和依赖边界提出可证伪假设。不要先在海量日志中漫游,也不要把相关性最高的曲线直接叫作根因。

12 常见错误与失败场景#

  • 严重度与根因置信度混为一谈:低置信度降低的是动作确定性,不是用户损害。
  • 告警自动触发破坏性动作:代理指标漂移可能误报,全量回滚需硬信号、兼容检查和权限门槛。
  • 只保存失败样本:没有同时间、同切片的健康对照,就难以分辨流量构成变化。
  • 过度收集证据:复制原始 Prompt 可能扩大隐私事故;优先脱敏 ID、统计量与受控抽样。
  • 修复与恢复同时全量发布:会把新补丁风险叠加到未稳定系统,先小流量验证。
  • 没有明确结束条件:团队因一条绿线过早解除响应,标签成熟后故障再次出现。
  • 复盘只找个人失误:人的一次操作通常穿过了缺少隔离、审核、测试或可逆设计的系统缺口。

13 ML 事故响应与相近机制的区别#

机制何时发生首要目标
Canary Analysis发布过程中限制候选版本的风险暴露
Drift Monitoring持续运行尽早发现过程偏离
Incident Response已有可信影响时限制损害并恢复安全服务
Root Cause Analysis止血之后解释因果链并预防复发
Disaster Recovery大范围失去能力恢复关键业务与数据

Canary 可能阻止事故,Drift 告警可能启动事故响应;但响应不能等根因分析完成。止血、恢复、复盘是相连但不同的阶段。

14 今天真正需要记住什么?#

  1. 事故等级由用户影响、后果和扩散速度决定,不由“是否已经证明根因”决定。
  2. 先冻结变量,再选可逆的隔离、降级或回滚;数据兼容性不明时,回滚本身也是风险。
  3. 保存能复现决策的最小证据包,并让每个生产动作有负责人、预期信号与停止条件。
  4. 恢复必须同时通过固定回放和连续线上成熟窗口,不能凭单点反弹宣布结束。

15 思考题与小练习#

  1. 某切片每分钟 2,000 请求,30% 受影响,其中 2% 为严重失败,业务权重为 20。计算 RR;若 8 分钟后才能止血,估计严重失败总数,并提出 SEV 等级。
  2. 新模型写入了旧模型无法读取的工具状态,但敏感写操作正在失败。设计一个不直接回滚模型的三步止血方案,并写出每步停止条件。
  3. 扩展 choose_action:加入 evidence_coverage 与 harm_reversible;覆盖率不足时不得自动回滚,但不可逆高危故障必须优先隔离。

相关工作#

  1. Google SRE, Managing Incidents ↗,系统说明事故指挥、操作、沟通与计划角色,以及先恢复服务和保全证据的原则。
  2. Google SRE, Effective Troubleshooting ↗,给出从分诊、止血到构造可证伪假设的调试方法。
  3. NIST, AI Risk Management Framework Core ↗,把上线后监控、事故响应、恢复与变更管理纳入 Manage 闭环。
  4. Sculley et al., Hidden Technical Debt in Machine Learning Systems ↗,解释数据依赖、反馈回路与系统耦合为何让 ML 故障跨越模型边界。
  5. Amershi et al., Software Engineering for Machine Learning: A Case Study ↗,总结工业 ML 系统中的数据发现、模型演化、测试与跨团队工程挑战。

16 下一篇预告#

事故响应回答“现在怎样把损害停下来”,却还没回答“这次故障为什么能穿过测试与发布防线”。下一篇将进入 Blameless Postmortem(无责复盘):怎样从时间线还原因果链,用 Five Whys 与屏障分析把一次事故转化为可验证的系统改进。

模型告警后先查根因还是先回滚?ML Incident Response 的分级、止血与证据保全
https://zwjcode.cn/blog/ml-incident-response-severity-mitigation-evidence
作者 傑
发布于 2026年9月28日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。