观文听傑

返回

多条红色故障路径汇入事故时间线,随后被重建的蓝色系统屏障逐层拦截多条红色故障路径汇入事故时间线,随后被重建的蓝色系统屏障逐层拦截

上一篇完成了事故分级、止血、证据保全与受控恢复。服务恢复并不等于工作结束:如果结论只是“值班同学误操作,以后要更仔细”,同样的模型、数据与发布条件仍然存在,下一位同学还会踩中它们。

Blameless Postmortem(无责复盘)不是“没有责任”,而是不把人的最后一个动作当作解释终点。本篇只讲四件紧密相关的事:事实时间线、因果链、屏障分析和可验证行动项。

01 复盘不是事故会议纪要#

一次有学习价值的复盘至少回答四个问题:

  1. 用户实际经历了什么,影响如何计算?
  2. 系统为何允许多个条件同时成立?
  3. 哪些本应阻止、检测或限制故障的屏障缺失或失效?
  4. 哪个改动能被测试,并显著降低剩余风险?

它不应该根据事后已知结果,把当时的合理决策写成“显然错误”。Hindsight Bias(后见之明偏差)会抹掉现场信息:10:07 时操作者只看到了总体错误率 0.3%,并不知道财务工具切片已经有 12% 错误写入。

flowchart LR
  A[证据包] --> B[事实时间线]
  B --> C[因果图: 条件 + 机制]
  C --> D[屏障分析]
  D --> E[行动项: owner + deadline + test]
  E --> F[验证残余风险]
  F -->|未达标| D
mermaid

02 先分开事实、推断与决策#

每条时间线记录应保留三种字段:

字段示例不能写成
观察事实10:03:12,tool_schema=r7 开始接收 10% 流量“错误 schema 上线了”
当时推断模型 m43 可能生成了旧版工具参数“大家已经知道是模型问题”
决策与依据10:07 暂停扩量,因为写入失败越过 2% 门槛“运维终于回滚”

统一使用带时区时间,并记录时钟源。来自网关、调度器和模型服务的事件先换算为同一时间轴;若节点最大时钟偏差是 ϵi\epsilon_i,两个事件 a,ba,b 只有在

tb−ta>ϵa+ϵbt_b-t_a > \epsilon_a + \epsilon_b

时才能确信 aa 先于 bb。否则应该标记“顺序不确定”,不能硬凑故事。

对每个事件保存:event_id、observed_at、source、actor/system、action、artifact_revision、evidence_link 和 confidence。这是事件表,不是模型训练张量;进入分析器时可表示为 E∈RT×DE\in\mathbb{R}^{T\times D},其中 TT 是事件数,DD 是结构化字段数,但原始证据仍须保留。

03 极小例子:四条记录不是一条因果链#

假设证据包中只有:

10:00  tool schema r7 已部署,声明向后兼容
10:02  model m43 开始接收 10% 流量
10:04  invalid_write_rate 从 0.1% 升到 4.8%
10:07  写路径切到只读,指标恢复
text

“m43 导致事故”是一个候选假设,不是由先后顺序自动证明的因果。至少要做两次可证伪检查:

  • 固定同一批脱敏请求,m42+r7 正常而 m43+r7 复现失败;
  • 保持 m43 不变,仅将工具适配器从 r7 切回 r6,失败是否消失。

若结果是 m43+r6 和 m42+r7 都正常、只有 m43+r7 失败,根因不是某个单一版本,而是接口契约交互。这会直接改变行动项:只回滚模型不能防止下一次不兼容组合。

04 从“为什么”走向机制,而不是走向某个人#

Five Whys(五问法)不是必须问五次,也不是不断追问“谁批准的”。每一层都要给出可以验证的系统机制:

  1. 为什么发生错误写入?m43 生成了 amount_cents,服务端按 amount 解释。
  2. 为什么协议不匹配仍被接受?工具参数只检查字段存在,未检查单位契约。
  3. 为什么预发布没有发现?测试集没有覆盖新模型 × 旧适配器的组合。
  4. 为什么发布允许这个组合?模型、Prompt 和工具 schema 独立晋级,没有兼容矩阵门禁。
  5. 为什么线上影响扩大?高风险写操作与只读工具共享同一发布开关。

每个“为什么”都能映射到一条证据和一个屏障。若一句话无法被日志、重放、配置或实验支持,就标为假设,不要写成 Root Cause(根因)。复杂 ML 系统通常是 Contributing Factors(促成因素)共同作用,而不是一根神奇的根因。

05 屏障分析:故障本该在哪里被拦住?#

把防线分成三类:

  • Prevention(预防):schema 兼容检查、不可变版本绑定、双人审批;
  • Detection(检测):Shadow 回放、Canary 护栏、切片告警;
  • Mitigation(缓解):工具只读模式、限流、自动停止扩量、可兼容回滚。
flowchart LR
  T[触发: m43 × schema r7] --> P{契约门禁}
  P -- 漏过 --> D{Shadow/Canary 检测}
  D -- 漏过 --> M{写路径隔离}
  M -- 漏过 --> H[用户损害]
  P -. 修复 .-> P2[单位 + 版本兼容测试]
  D -. 修复 .-> D2[财务切片硬护栏]
  M -. 修复 .-> M2[默认只读 + 独立授权]
mermaid

设触发概率为 ptp_t,第 ii 道独立屏障的拦截概率为 did_i,单次影响为 II,则粗略剩余风险是

R=ptI∏i=1K(1−di).R=p_t I\prod_{i=1}^{K}(1-d_i).

独立是假设,不是事实:如果契约测试和 Shadow 共用同一份漏标数据,它们会相关失效。公式的价值是迫使团队估计“行动项究竟降低了哪一项”,而不是制造精确幻觉。

手算一次屏障收益#

触发概率 pt=0.2p_t=0.2、单次影响 I=10I=10。发布门禁拦截率 70%,写路径隔离再削减 80% 影响:

R=0.2×10×(1−0.7)×(1−0.8)=0.12.R=0.2\times10\times(1-0.7)\times(1-0.8)=0.12.

若只有“提醒大家注意”,即使乐观估计其稳定拦截率 20%,剩余风险仍为 1.61.6。优先修改系统约束,而不是要求人在高压下永远完美。

复盘行动项实验台

调整发生概率、拦截率和影响,比较“提醒注意”与可验证屏障的风险降低量。

行动项类型
触发源
检测门禁
影响隔离

期望剩余风险

06 把因果图写成可检查的数据#

下面的纯 Python 用有向无环图(Directed Acyclic Graph, DAG)表达“条件如何到达损害”,并找出所有缺失屏障路径:

输入 graph 是邻接表,输出是节点路径列表。真实复盘工具还要为边保存 evidence_id、置信度和反事实实验,拒绝没有证据的边进入“已确认”状态。

07 好行动项必须能被判定完成#

“加强监控”“完善测试”“提高意识”都没有可验收终点。行动项至少包含:

action_id: PM-042
barrier: tool-contract-promotion-gate
owner: ml-platform
deadline: 2026-10-12
change: reject model/schema pairs without unit-level compatibility tests
acceptance_test: replay 20 known-bad pairs; all must block before 1% traffic
success_metric: incompatible_pair_escape_rate = 0 for 30 days
rollback: feature flag gate.enforce=false
status: accepted
yaml

优先级可以用预期风险降低量除以成本:

Priority(a)=Rbefore−Rafter(a)Cost(a).Priority(a)=\frac{R_{before}-R_{after}(a)}{Cost(a)}.

高严重度、低成本且能覆盖多条事故路径的屏障优先。每项只设一个直接负责的 Owner;“平台组/算法组共同负责”常等于无人负责。

08 复盘质量怎样调试?#

症状可能问题最短修正
时间线充满“导致、错误、疏忽”事实与判断混写改为时间、来源、原始观察和证据链接
只有一个根因过早停止追问检查检测、缓解与组织条件三类屏障
所有行动项都是文档/培训把人当作唯一屏障至少加入一个自动门禁或影响隔离
行动项很多但长期未完成无 Owner、期限或验收删除无法验收的项,限制 WIP
指标恢复就关闭复盘未验证长期效果为屏障安排故障注入与 30 天逃逸率
为了“无责”不讨论决策混淆责任与惩罚还原当时信息,检查决策边界是否合理

09 失败场景与边界#

  • 证据已过期或采样偏差严重时,不要写确定因果;记录未知并补可观测性。
  • 多团队政治冲突不能靠模板解决;主持人要把事实、决策权限和人员绩效流程分开。
  • Five Whys 容易生成线性故事;并发、反馈回路和共同依赖应使用因果图或 STPA。
  • 低频灾难无法只凭线上逃逸率验证,需桌面演练、Shadow 和故障注入。
  • “无责”不免除故意绕过安全控制的问责;它要求工程学习过程不靠羞辱获取信息。

10 今天真正需要记住什么?#

  1. 时间线先记录当时可见的事实、推断与决策,不能用事后知识改写现场。
  2. 因果边需要证据或可证伪实验;复杂 ML 事故通常来自多项条件共同成立。
  3. 从预防、检测、缓解三层寻找失效屏障,优先改变系统约束。
  4. 行动项必须有 Owner、期限、验收测试、效果指标和回滚方式。

11 思考题与小练习#

  1. 某故障触发概率 10%,影响 50;测试门禁和 Canary 拦截率分别为 60% 与 50%。在独立假设下计算剩余风险。若两者使用同一漏标数据,为什么结果过于乐观?
  2. 把“工程师忘记更新 tokenizer”改写成至少三层系统因果链,并分别设计预防、检测和缓解屏障。
  3. 扩展 open_paths:每条边带置信度,输出路径置信度乘积;禁止无 evidence_id 的边参与最终报告。

相关工作#

  1. Google SRE, Postmortem Culture: Learning from Failure ↗,系统说明无责复盘、时间线与行动项文化。
  2. Dekker, The Field Guide to Understanding ‘Human Error’ ↗,解释为何“操作失误”通常是调查起点而非终点。
  3. Reason, Human Error: Models and Management ↗,提出系统防线与 Swiss Cheese Model(瑞士奶酪模型)。
  4. Leveson, Engineering a Safer World ↗,用系统约束与 STPA 分析复杂事故。
  5. Sculley et al., Hidden Technical Debt in Machine Learning Systems ↗,说明数据依赖、配置与反馈回路如何放大 ML 系统风险。

12 下一篇预告#

复盘已经指出“线上究竟运行了哪份数据、代码和模型”难以回答。下一篇将进入 ML Lineage(机器学习血缘):用不可变身份把数据快照、特征代码、训练运行、模型制品和部署串成可查询的 DAG,让复现与回滚不再依赖文件名和记忆。

事故已经恢复,怎样避免下次再来?无责复盘的因果时间线、屏障分析与行动项
https://zwjcode.cn/blog/ml-blameless-postmortem-causal-timeline-barrier-actions
作者 傑
发布于 2026年9月28日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。