事故已经恢复,怎样避免下次再来?无责复盘的因果时间线、屏障分析与行动项
从一场模型发布事故出发,把事件清单还原为因果链,用 Five Whys 与屏障分析识别系统条件,并把结论写成可验证、可追踪的改进项。
上一篇完成了事故分级、止血、证据保全与受控恢复。服务恢复并不等于工作结束:如果结论只是“值班同学误操作,以后要更仔细”,同样的模型、数据与发布条件仍然存在,下一位同学还会踩中它们。
Blameless Postmortem(无责复盘)不是“没有责任”,而是不把人的最后一个动作当作解释终点。本篇只讲四件紧密相关的事:事实时间线、因果链、屏障分析和可验证行动项。
01 复盘不是事故会议纪要#
一次有学习价值的复盘至少回答四个问题:
- 用户实际经历了什么,影响如何计算?
- 系统为何允许多个条件同时成立?
- 哪些本应阻止、检测或限制故障的屏障缺失或失效?
- 哪个改动能被测试,并显著降低剩余风险?
它不应该根据事后已知结果,把当时的合理决策写成“显然错误”。Hindsight Bias(后见之明偏差)会抹掉现场信息:10:07 时操作者只看到了总体错误率 0.3%,并不知道财务工具切片已经有 12% 错误写入。
flowchart LR
A[证据包] --> B[事实时间线]
B --> C[因果图: 条件 + 机制]
C --> D[屏障分析]
D --> E[行动项: owner + deadline + test]
E --> F[验证残余风险]
F -->|未达标| Dmermaid02 先分开事实、推断与决策#
每条时间线记录应保留三种字段:
| 字段 | 示例 | 不能写成 |
|---|---|---|
| 观察事实 | 10:03:12,tool_schema=r7 开始接收 10% 流量 | “错误 schema 上线了” |
| 当时推断 | 模型 m43 可能生成了旧版工具参数 | “大家已经知道是模型问题” |
| 决策与依据 | 10:07 暂停扩量,因为写入失败越过 2% 门槛 | “运维终于回滚” |
统一使用带时区时间,并记录时钟源。来自网关、调度器和模型服务的事件先换算为同一时间轴;若节点最大时钟偏差是 ,两个事件 只有在
时才能确信 先于 。否则应该标记“顺序不确定”,不能硬凑故事。
对每个事件保存:event_id、observed_at、source、actor/system、action、artifact_revision、evidence_link 和 confidence。这是事件表,不是模型训练张量;进入分析器时可表示为 ,其中 是事件数, 是结构化字段数,但原始证据仍须保留。
03 极小例子:四条记录不是一条因果链#
假设证据包中只有:
10:00 tool schema r7 已部署,声明向后兼容
10:02 model m43 开始接收 10% 流量
10:04 invalid_write_rate 从 0.1% 升到 4.8%
10:07 写路径切到只读,指标恢复text“m43 导致事故”是一个候选假设,不是由先后顺序自动证明的因果。至少要做两次可证伪检查:
- 固定同一批脱敏请求,
m42+r7正常而m43+r7复现失败; - 保持
m43不变,仅将工具适配器从r7切回r6,失败是否消失。
若结果是 m43+r6 和 m42+r7 都正常、只有 m43+r7 失败,根因不是某个单一版本,而是接口契约交互。这会直接改变行动项:只回滚模型不能防止下一次不兼容组合。
04 从“为什么”走向机制,而不是走向某个人#
Five Whys(五问法)不是必须问五次,也不是不断追问“谁批准的”。每一层都要给出可以验证的系统机制:
- 为什么发生错误写入?
m43生成了amount_cents,服务端按amount解释。 - 为什么协议不匹配仍被接受?工具参数只检查字段存在,未检查单位契约。
- 为什么预发布没有发现?测试集没有覆盖新模型 × 旧适配器的组合。
- 为什么发布允许这个组合?模型、Prompt 和工具 schema 独立晋级,没有兼容矩阵门禁。
- 为什么线上影响扩大?高风险写操作与只读工具共享同一发布开关。
每个“为什么”都能映射到一条证据和一个屏障。若一句话无法被日志、重放、配置或实验支持,就标为假设,不要写成 Root Cause(根因)。复杂 ML 系统通常是 Contributing Factors(促成因素)共同作用,而不是一根神奇的根因。
05 屏障分析:故障本该在哪里被拦住?#
把防线分成三类:
- Prevention(预防):schema 兼容检查、不可变版本绑定、双人审批;
- Detection(检测):Shadow 回放、Canary 护栏、切片告警;
- Mitigation(缓解):工具只读模式、限流、自动停止扩量、可兼容回滚。
flowchart LR
T[触发: m43 × schema r7] --> P{契约门禁}
P -- 漏过 --> D{Shadow/Canary 检测}
D -- 漏过 --> M{写路径隔离}
M -- 漏过 --> H[用户损害]
P -. 修复 .-> P2[单位 + 版本兼容测试]
D -. 修复 .-> D2[财务切片硬护栏]
M -. 修复 .-> M2[默认只读 + 独立授权]mermaid设触发概率为 ,第 道独立屏障的拦截概率为 ,单次影响为 ,则粗略剩余风险是
独立是假设,不是事实:如果契约测试和 Shadow 共用同一份漏标数据,它们会相关失效。公式的价值是迫使团队估计“行动项究竟降低了哪一项”,而不是制造精确幻觉。
手算一次屏障收益#
触发概率 、单次影响 。发布门禁拦截率 70%,写路径隔离再削减 80% 影响:
若只有“提醒大家注意”,即使乐观估计其稳定拦截率 20%,剩余风险仍为 。优先修改系统约束,而不是要求人在高压下永远完美。
复盘行动项实验台
调整发生概率、拦截率和影响,比较“提醒注意”与可验证屏障的风险降低量。
期望剩余风险
06 把因果图写成可检查的数据#
下面的纯 Python 用有向无环图(Directed Acyclic Graph, DAG)表达“条件如何到达损害”,并找出所有缺失屏障路径:
from collections import defaultdict
edges = {
"model_m43": ["schema_mismatch"],
"schema_r7": ["schema_mismatch"],
"schema_mismatch": ["contract_gate"],
"contract_gate": ["canary_guardrail"],
"canary_guardrail": ["write_isolation"],
"write_isolation": ["user_harm"],
}
failed = {"contract_gate", "canary_guardrail", "write_isolation"}
def open_paths(graph: dict[str, list[str]], start: str, goal: str) -> list[list[str]]:
found: list[list[str]] = []
stack = [(start, [start])]
while stack:
node, path = stack.pop()
if node == goal:
found.append(path)
continue
for nxt in graph.get(node, []):
if nxt not in path:
stack.append((nxt, path + [nxt]))
return found
for path in open_paths(edges, "model_m43", "user_harm"):
assert set(path) & failed, "harm path without an identified failed barrier"
print(" -> ".join(path))python输入 graph 是邻接表,输出是节点路径列表。真实复盘工具还要为边保存 evidence_id、置信度和反事实实验,拒绝没有证据的边进入“已确认”状态。
07 好行动项必须能被判定完成#
“加强监控”“完善测试”“提高意识”都没有可验收终点。行动项至少包含:
action_id: PM-042
barrier: tool-contract-promotion-gate
owner: ml-platform
deadline: 2026-10-12
change: reject model/schema pairs without unit-level compatibility tests
acceptance_test: replay 20 known-bad pairs; all must block before 1% traffic
success_metric: incompatible_pair_escape_rate = 0 for 30 days
rollback: feature flag gate.enforce=false
status: acceptedyaml优先级可以用预期风险降低量除以成本:
高严重度、低成本且能覆盖多条事故路径的屏障优先。每项只设一个直接负责的 Owner;“平台组/算法组共同负责”常等于无人负责。
08 复盘质量怎样调试?#
| 症状 | 可能问题 | 最短修正 |
|---|---|---|
| 时间线充满“导致、错误、疏忽” | 事实与判断混写 | 改为时间、来源、原始观察和证据链接 |
| 只有一个根因 | 过早停止追问 | 检查检测、缓解与组织条件三类屏障 |
| 所有行动项都是文档/培训 | 把人当作唯一屏障 | 至少加入一个自动门禁或影响隔离 |
| 行动项很多但长期未完成 | 无 Owner、期限或验收 | 删除无法验收的项,限制 WIP |
| 指标恢复就关闭复盘 | 未验证长期效果 | 为屏障安排故障注入与 30 天逃逸率 |
| 为了“无责”不讨论决策 | 混淆责任与惩罚 | 还原当时信息,检查决策边界是否合理 |
09 失败场景与边界#
- 证据已过期或采样偏差严重时,不要写确定因果;记录未知并补可观测性。
- 多团队政治冲突不能靠模板解决;主持人要把事实、决策权限和人员绩效流程分开。
- Five Whys 容易生成线性故事;并发、反馈回路和共同依赖应使用因果图或 STPA。
- 低频灾难无法只凭线上逃逸率验证,需桌面演练、Shadow 和故障注入。
- “无责”不免除故意绕过安全控制的问责;它要求工程学习过程不靠羞辱获取信息。
10 今天真正需要记住什么?#
- 时间线先记录当时可见的事实、推断与决策,不能用事后知识改写现场。
- 因果边需要证据或可证伪实验;复杂 ML 事故通常来自多项条件共同成立。
- 从预防、检测、缓解三层寻找失效屏障,优先改变系统约束。
- 行动项必须有 Owner、期限、验收测试、效果指标和回滚方式。
11 思考题与小练习#
- 某故障触发概率 10%,影响 50;测试门禁和 Canary 拦截率分别为 60% 与 50%。在独立假设下计算剩余风险。若两者使用同一漏标数据,为什么结果过于乐观?
- 把“工程师忘记更新 tokenizer”改写成至少三层系统因果链,并分别设计预防、检测和缓解屏障。
- 扩展
open_paths:每条边带置信度,输出路径置信度乘积;禁止无evidence_id的边参与最终报告。
相关工作#
- Google SRE, Postmortem Culture: Learning from Failure ↗,系统说明无责复盘、时间线与行动项文化。
- Dekker, The Field Guide to Understanding ‘Human Error’ ↗,解释为何“操作失误”通常是调查起点而非终点。
- Reason, Human Error: Models and Management ↗,提出系统防线与 Swiss Cheese Model(瑞士奶酪模型)。
- Leveson, Engineering a Safer World ↗,用系统约束与 STPA 分析复杂事故。
- Sculley et al., Hidden Technical Debt in Machine Learning Systems ↗,说明数据依赖、配置与反馈回路如何放大 ML 系统风险。
12 下一篇预告#
复盘已经指出“线上究竟运行了哪份数据、代码和模型”难以回答。下一篇将进入 ML Lineage(机器学习血缘):用不可变身份把数据快照、特征代码、训练运行、模型制品和部署串成可查询的 DAG,让复现与回滚不再依赖文件名和记忆。