模型告警后先查根因还是先回滚?ML Incident Response 的分级、止血与证据保全
从一次 LLM 质量事故出发,用影响面、严重度与可逆性完成分级,设计冻结变更、降级、回滚、证据保全和受控恢复的事故响应闭环。
上一篇用 Drift Monitoring(漂移监控)发现了“代码任务质量正在持续下降”。Pager 响起后,值班同学最容易犯两个相反的错误:一头扎进日志寻找完美根因,任由用户继续受损;或看到一条相关曲线便全量回滚,结果旧版已无法读取新版写入的数据。
ML Incident Response(机器学习事故响应)的目标不是最快证明谁错了,而是限制损害、恢复安全服务、保存足够证据,再把未知逐步变成已知。本篇只讲透四件紧密相关的事:事故分级、止血动作、证据保全与受控恢复。
01 为什么 ML 事故比普通 500 更难确认?#
传统故障常有清楚的二值信号:请求成功或失败、实例存活或宕机。模型故障则可能同时具有:
- 输出语法正确,但事实、合规性或任务完成率下降;
- 只影响某种语言、长上下文、工具路径或租户;
- 真值数小时后才返回,在线只能看代理指标;
- 模型、Prompt、检索、路由、Judge 与输入分布都可能改变行为;
- 同一回答存在随机性,单次重放未必逐字一致。
所以告警是 Incident Candidate(事故候选),不是根因判决。响应流程必须容纳不确定性,却不能用“不确定”作为拖延止血的理由。
flowchart LR
A[质量/容量/安全告警] --> B{可信且有用户影响?}
B -- 否 --> C[校验测量链与覆盖率]
B -- 是 --> D[声明事故并冻结变更]
D --> E[限制损害: 隔离/降级/回滚]
E --> F[固定回放 + 线上健康窗口]
F --> G{恢复门槛满足?}
G -- 否 --> E
G -- 是 --> H[受控恢复与复盘]mermaid02 事故分级:先量化影响,不先争论根因#
对时间窗 和切片 ,定义:
- :符合评估条件的请求数;
- :受异常路径影响的请求数;
- :出现严重失败的请求数;
- :业务/安全权重,普通体验可取 1,数据破坏或安全风险必须显著更高。
影响率与严重失败率分别为
一个透明的优先级分数可以写成
不是通用行业标准,而是把“多少用户 × 失败概率 × 后果”显式化的本地决策工具。真正的分级表还要加入增长速度、是否仍在扩大、是否可逆以及法规义务。
| 等级 | 典型影响 | 响应方式 |
|---|---|---|
| SEV-1 | 安全/隐私/资金/数据完整性风险,或大面积不可用 | 立即指挥、止血、通知与高频更新 |
| SEV-2 | 核心任务显著回退,有替代路径 | 冻结变更、限定降级或回滚 |
| SEV-3 | 小切片轻度下降,暂无扩大 | 负责人调查、加密观察、设升级条件 |
03 极小手算:总体只有 0.6%,为何仍是 SEV-1?#
一分钟有 10,000 个请求,其中 5% 进入财务工具切片,即 。异常路由影响其中 20%,受影响请求里 60% 执行了错误写操作,权重设为 :
按全站请求计算,严重失败只有
总体成功率会掩盖小切片中的不可逆损害。反过来,若 30% 请求只是回答变慢 200 ms、没有超出 SLO,权重和紧迫度都应更低。分级看的是后果,不是只看百分比大小。
事故响应桌面演练
调整影响、证据与回滚风险,观察为什么“先止血”不总等于“立刻回滚”。
建议等级
04 第一原则:先止血,但动作必须可逆#
止血(Mitigation)是降低继续发生的用户损害,不等于修好根因。常见动作按侵入性从低到高排列:
- 冻结变更:暂停模型、Prompt、检索索引、路由与评测器发布,避免变量继续增加。
- 隔离切片:只挡住特定租户、工具、语言或模型 revision,保留健康路径。
- 安全降级:关闭高风险工具写入、改为只读检索、切换到规则模板或人工审核。
- 流量回退:把路由切回 Last Known Good(最后已知良好)版本。
- 停服/拒绝:当继续服务可能造成不可逆损害时,明确拒绝比“看似可用”更安全。
动作选择可写成约束优化:在候选动作 中,选择预计剩余损害最小、又满足安全约束的动作
其中 是继续损害, 是动作本身的代价。若旧模型与新数据 schema 不兼容,直接回滚的 可能极高,此时关闭写路径或双读校验更安全。
05 为什么不能“先找到根因再动作”?#
设每分钟新增严重失败数为 ,从告警到止血的时间为 ,累计损害近似为
当失败率近似恒定 时,。如果每分钟 60 次错误写入,为追求完美根因多查 20 分钟,就新增约 1,200 次损害。
正确的并行分工是:Incident Commander(事故指挥)维持全局决策,Operations(操作负责人)只做批准过的生产变更,Investigation(调查负责人)构造和检验假设,Communications(沟通负责人)维护事实时间线。一个人可以兼任,但角色不能消失。
flowchart TB
IC[Incident Commander<br/>目标、优先级、升级] --> OP[Operations<br/>一次只做一个生产动作]
IC --> IN[Investigation<br/>固定证据,证伪假设]
IC --> CO[Communications<br/>时间线、状态与影响]
OP --> LOG[(Append-only 事件记录)]
IN --> LOG
CO --> LOGmermaid06 一次只改一个变量:事故中的因果纪律#
混乱响应常同时回滚模型、换 Prompt、刷新索引并重启服务。指标恢复了,却永远不知道哪个动作有效;若再次恶化,也没有明确撤销路径。
每个动作记录一个 Action Record:
action_id: A17
requested_at: 10:07:12+08:00
hypothesis: model-r42 causes tool-call argument corruption
change: route finance-tool traffic from r42 to r41
scope: finance-tool / 10% -> 100%
owner + approver: ops-1 + incident-commander
expected_signal: invalid_write_rate < 0.2% within 5 min
abort_condition: error_rate > 2% or schema_mismatch > 0
result: pendingtext这不是官僚表单,而是让系统在压力下仍保持可观测、可撤销、可交接。生产修改应串行化;证据采集和离线分析则可以并行。
07 证据保全:保存“能复现决策”的最小集合#
完整复制所有用户数据既昂贵又有隐私风险。应保存最小、受控、可审计的 Incident Bundle(事故证据包):
- 告警规则、窗口、分母、覆盖率和原始聚合值;
- model / tokenizer / prompt / retrieval index / tool schema / judge revision;
- deployment、路由权重、Feature Flag 与配置快照;
- 受影响与健康对照切片的脱敏请求 ID;
- Trace ID、随机种子、采样参数和工具调用结果;
- 每次操作的操作者、审批者、时间、范围与结果;
- 数据保留期、访问权限与哈希校验。
对 条重放样本,每条保存 Token ID 张量
注意力掩码 、版本向量 与期望检查 。不要只存渲染后的字符串:tokenizer、模板和截断边界都可能是根因。
08 一个最小、可测试的响应策略#
不要把处置知识只写在人的脑中。下面的纯 Python 策略明确区分影响等级、根因置信度和回滚风险:
from dataclasses import dataclass
from enum import Enum
class Confidence(Enum):
LOW = "low"
MEDIUM = "medium"
HIGH = "high"
@dataclass(frozen=True)
class IncidentSignal:
affected_pct: float
severe_failure_pct: float
confidence: Confidence
rollback_breaks_compatibility: bool
def choose_action(signal: IncidentSignal) -> str:
if not 0 <= signal.affected_pct <= 100:
raise ValueError("affected_pct must be in [0, 100]")
if not 0 <= signal.severe_failure_pct <= 100:
raise ValueError("severe_failure_pct must be in [0, 100]")
score = signal.affected_pct * signal.severe_failure_pct
sev1 = score >= 300 or signal.severe_failure_pct >= 10
if sev1 and signal.rollback_breaks_compatibility:
return "isolate_write_path_and_degrade"
if sev1:
return "rollback_last_known_good"
if score >= 50 and signal.confidence is Confidence.HIGH:
return "scoped_rollback"
return "freeze_changes_collect_evidence"
case = IncidentSignal(20, 4, Confidence.HIGH, False)
print(choose_action(case)) # scoped_rollbackpython输入是窗口聚合标量,不是模型输出张量。生产策略还要带业务权重、扩散速度、数据完整性、区域法规和人工 override;返回值必须经过权限控制与审批,不能让一个未经校准的 Judge 直接执行全量回滚。
09 回滚为什么可能失败?#
模型权重通常容易切换,模型周边状态却未必向后兼容:
| 变化 | 直接回滚风险 | 预先设计 |
|---|---|---|
| Tokenizer / Chat Template | 同一输入产生不同 Token 边界 | 版本绑定,保留旧模板与回放 |
| 向量索引 / Embedding | 维度或空间不兼容 | 双索引、版本化 collection |
| 工具参数 Schema | 旧模型生成新版无法解析的参数 | 向后兼容、适配层、只读降级 |
| 特征或数据库写入 | 旧代码无法读取新版状态 | expand–migrate–contract、双写审计 |
| 安全策略 | 回滚同时撤销必要的新防护 | 安全规则独立版本与拒绝兜底 |
因此 Runbook(运行手册)必须写清“何时不能回滚”。未演练的回滚只是一个愿望。至少在预发布环境定期验证权重可取、依赖可达、配置可解析、数据可读以及权限仍有效。
10 怎样证明已经恢复?#
“曲线向上”不是恢复标准。为每类事故预先定义 Exit Criteria(退出条件):
- 硬失败、安全与数据完整性检查恢复到阈值内;
- 受影响切片在固定回放集上通过,且健康对照未回退;
- 线上连续 个成熟窗口满足门槛,覆盖率和标签延迟正常;
- 队列、缓存与降级路径没有留下次生故障;
- 证据、操作日志、用户影响与待办已记录。
例如要求 5 个连续 10 分钟窗口:
其中 是质量、 是严重错误率、 是标签覆盖率。任何一个窗口失败都重新计数,避免刚有一个好点就全量恢复。
恢复也应逐级:内部流量 → 1% → 5% → 25% → 100%,每级有观察窗、继续条件和自动停止条件。事故状态直到全部临时降级被清点、长期负责人接手后才关闭。
11 最短调试路径#
| 现象 | 优先假设 | 第一项验证 |
|---|---|---|
| 新版切片下降、旧版稳定 | 模型/Prompt/路由变更 | 固定输入配对回放 |
| 新旧版本同时下降 | 输入、检索、工具或 Judge | 依赖 revision 与覆盖率 |
| 回滚后仍不恢复 | 错误状态已持久化或根因不在模型 | 数据写入、缓存、索引与成熟标签 |
| 只有长输入失败 | 截断、OOM、路由边界 | Token 长度、finish reason、Trace |
| 指标恢复但投诉继续上升 | 代理指标漏检或标签延迟 | 代表性样本人工复核 |
| 多人操作后状态更差 | 修改冲突、无单一操作负责人 | Action Record 与审计日志 |
调试时从最新已知变化、影响切片和依赖边界提出可证伪假设。不要先在海量日志中漫游,也不要把相关性最高的曲线直接叫作根因。
12 常见错误与失败场景#
- 严重度与根因置信度混为一谈:低置信度降低的是动作确定性,不是用户损害。
- 告警自动触发破坏性动作:代理指标漂移可能误报,全量回滚需硬信号、兼容检查和权限门槛。
- 只保存失败样本:没有同时间、同切片的健康对照,就难以分辨流量构成变化。
- 过度收集证据:复制原始 Prompt 可能扩大隐私事故;优先脱敏 ID、统计量与受控抽样。
- 修复与恢复同时全量发布:会把新补丁风险叠加到未稳定系统,先小流量验证。
- 没有明确结束条件:团队因一条绿线过早解除响应,标签成熟后故障再次出现。
- 复盘只找个人失误:人的一次操作通常穿过了缺少隔离、审核、测试或可逆设计的系统缺口。
13 ML 事故响应与相近机制的区别#
| 机制 | 何时发生 | 首要目标 |
|---|---|---|
| Canary Analysis | 发布过程中 | 限制候选版本的风险暴露 |
| Drift Monitoring | 持续运行 | 尽早发现过程偏离 |
| Incident Response | 已有可信影响时 | 限制损害并恢复安全服务 |
| Root Cause Analysis | 止血之后 | 解释因果链并预防复发 |
| Disaster Recovery | 大范围失去能力 | 恢复关键业务与数据 |
Canary 可能阻止事故,Drift 告警可能启动事故响应;但响应不能等根因分析完成。止血、恢复、复盘是相连但不同的阶段。
14 今天真正需要记住什么?#
- 事故等级由用户影响、后果和扩散速度决定,不由“是否已经证明根因”决定。
- 先冻结变量,再选可逆的隔离、降级或回滚;数据兼容性不明时,回滚本身也是风险。
- 保存能复现决策的最小证据包,并让每个生产动作有负责人、预期信号与停止条件。
- 恢复必须同时通过固定回放和连续线上成熟窗口,不能凭单点反弹宣布结束。
15 思考题与小练习#
- 某切片每分钟 2,000 请求,30% 受影响,其中 2% 为严重失败,业务权重为 20。计算 ;若 8 分钟后才能止血,估计严重失败总数,并提出 SEV 等级。
- 新模型写入了旧模型无法读取的工具状态,但敏感写操作正在失败。设计一个不直接回滚模型的三步止血方案,并写出每步停止条件。
- 扩展
choose_action:加入evidence_coverage与harm_reversible;覆盖率不足时不得自动回滚,但不可逆高危故障必须优先隔离。
相关工作#
- Google SRE, Managing Incidents ↗,系统说明事故指挥、操作、沟通与计划角色,以及先恢复服务和保全证据的原则。
- Google SRE, Effective Troubleshooting ↗,给出从分诊、止血到构造可证伪假设的调试方法。
- NIST, AI Risk Management Framework Core ↗,把上线后监控、事故响应、恢复与变更管理纳入 Manage 闭环。
- Sculley et al., Hidden Technical Debt in Machine Learning Systems ↗,解释数据依赖、反馈回路与系统耦合为何让 ML 故障跨越模型边界。
- Amershi et al., Software Engineering for Machine Learning: A Case Study ↗,总结工业 ML 系统中的数据发现、模型演化、测试与跨团队工程挑战。
16 下一篇预告#
事故响应回答“现在怎样把损害停下来”,却还没回答“这次故障为什么能穿过测试与发布防线”。下一篇将进入 Blameless Postmortem(无责复盘):怎样从时间线还原因果链,用 Five Whys 与屏障分析把一次事故转化为可验证的系统改进。