观文听傑

返回

数据、特征、训练、模型和部署节点由蓝色血缘边连接,金色校验路径沿不可变摘要回溯数据、特征、训练、模型和部署节点由蓝色血缘边连接,金色校验路径沿不可变摘要回溯

上一篇的复盘发现:团队能找到 model-final.pkl,却无法证明它使用了哪天的数据、哪次特征代码和哪份训练配置。即使模型文件还能下载,也不能重建同一个决策过程。

ML Lineage(机器学习血缘)要回答的是:一个线上预测沿哪些输入、变换与运行产生;某个上游变化会影响哪些下游制品。本篇聚焦不可变身份、血缘 DAG、影响查询和可复现回滚。

01 文件路径为什么不是版本?#

下面这些记录看似完整,其实都指向可变状态:

s3://ml-data/train/latest.parquet
git branch: main
config: configs/prod.yaml
model: registry/churn/latest
text

明天再次读取,四者内容都可能改变。稳定身份至少包含:

  • 数据:不可变快照 ID 或内容摘要、查询文本、截止水位;
  • 代码:Git commit SHA,加上未提交补丁应为空;
  • 环境:锁文件摘要、容器镜像 digest,而非只有 python=3.12;
  • 配置:规范化后的完整配置摘要;
  • 模型:权重内容摘要、签名、训练 run ID;
  • 部署:模型 revision、服务配置、路由与时间窗。

地址回答“去哪里取”,Digest(内容摘要)回答“取到的是否还是同一份”。二者都要保存。

02 把 ML 系统表示成有向无环图#

令血缘图为 G=(V,E)G=(V,E)。节点 v∈Vv\in V 是不可变实体或一次运行,边 (u,v)∈E(u,v)\in E 表示 vv 消费了 uu:

flowchart LR
  R[(raw@91bf)] --> F[feature job@7ac9]
  C[code@4e21] --> F
  F --> S[(features@2d70)]
  S --> T[train run@r184]
  H[config@0aa3] --> T
  T --> M[(model@sha256:6c8e)]
  M --> D[deployment@prod-43]
  D --> P[(prediction batch@2026-09-29)]
mermaid

Entity(实体)是数据集或制品,Run(运行)是一次变换。不要把二者压成一个模糊的“pipeline version”:同一份代码可运行多次,同一次运行也可读取多个数据集并输出多个制品。

对训练输入 X∈RN×DX\in\mathbb{R}^{N\times D}、标签 y∈{0,1}Ny\in\{0,1\}^{N},血缘不应保存全部张量到元数据服务,而应保存:dataset_digest、N、D、schema、统计摘要、受控存储 URI 和访问策略。模型输出参数 θ∈RP\theta\in\mathbb{R}^{P} 同样以 artifact URI、digest、签名与 P 描述。

03 不可变身份怎样计算?#

一个简单的模型身份可以写成

Im=H(Id∥Ic∥Ie∥Ih∥Iw),I_m=H(I_d\Vert I_c\Vert I_e\Vert I_h\Vert I_w),

其中 IdI_d 是数据身份、IcI_c 是代码 SHA、IeI_e 是环境 digest、IhI_h 是超参数摘要、IwI_w 是权重摘要,HH 是抗碰撞哈希,∥\Vert 表示按稳定顺序拼接。

关键是 Canonicalization(规范化):JSON 键顺序、浮点表示、换行和时区必须固定,否则语义相同也会得到不同摘要。

输入是一个标量/对象元数据字典,输出是 64 位十六进制 SHA-256。大文件应流式读取分块哈希;目录需先固定相对路径排序,并明确是否包含权限、软链接和隐藏文件。

04 极小手算:一次数据修正会影响什么?#

图中有边:

raw-v1 -> features-v4 -> train-r8 -> model-m42 -> deploy-prod
raw-v1 -> audit-report-q3
text

现在发现 raw-v1 的年龄字段单位错误,并生成 raw-v2。从 raw-v1 做广度优先搜索,受影响下游共有 5 个:features-v4、train-r8、model-m42、deploy-prod、audit-report-q3。

但“受影响”不等于“必须重跑”:审计报告若只统计行数,单位变化可能不改变输出。血缘图告诉我们去哪里验证,语义契约才决定是否重算。

复杂度是 O(∣V∣+∣E∣)O(|V|+|E|);真实系统还要处理分页、跨命名空间权限和晚到事件。

血缘回滚查询器

选择线上版本和变更节点,观察可复现回滚必须锁定哪些身份。

→→→→

回放结论

05 数据流:记录事件,不在训练结束后猜历史#

最佳记录点在每个边界发生时:

  1. 读取输入前解析不可变 dataset revision;
  2. 运行开始时记录代码、配置、环境与 run ID;
  3. 输出提交后计算 digest,并原子写入 COMPLETE 事件;
  4. 模型晋级时把 model ID 绑定到 deployment revision;
  5. 推理日志只引用这些 ID,不复制敏感训练元数据。
sequenceDiagram
  participant O as Orchestrator
  participant J as Training Job
  participant A as Artifact Store
  participant L as Lineage Store
  O->>L: START(run_id, job, input IDs)
  O->>J: immutable input URIs + config digest
  J->>A: upload weights.tmp
  A-->>J: artifact digest
  J->>A: atomic promote weights.tmp -> weights@digest
  J->>L: COMPLETE(run_id, output ID, metrics)
mermaid

若任务崩溃,只发送 FAIL,不能把半写入制品标成输出。元数据事件应幂等:run_id + event_type + output_id 重试不能生成多个逻辑运行。

06 用当前 MLflow API 记录数据与模型输入#

MLflow 当前官方 API 用 mlflow.data.from_pandas() 创建带 source、name 与 digest 的 Dataset,再用 mlflow.log_input(..., context="training") 绑定到活动 run。下面显式记录数据、参数、代码 SHA 与模型;不把 fit() 当成不可解释黑盒:

X 输入形状是 [4,2],y 是 [4];模型输出 predict_proba(X) 是 [4,2]。MLflow Dataset digest 适合跟踪与比较,但关键数据仍应由底层版本化存储保证不可变,不能把元数据哈希当成完整备份。

07 用当前 OpenLineage API 表达跨系统 DAG#

当训练跨 Airflow、Spark、特征平台和模型注册表时,开放事件格式更容易连接边界。OpenLineage Python 客户端当前使用 RunEvent、Run、Job、InputDataset 与 OutputDataset:

START 与最终的 COMPLETE/FAIL/ABORT 必须共享同一个 runId。namespace + name 要形成稳定唯一身份;不要把访问令牌、原始 Prompt 或 PII 放进名称与 facet。

08 回滚不是把 alias 指回旧模型#

一个可复现回滚包至少包含:

层必须锁定仅回滚模型的失败方式
数据/特征snapshot、schema、transform SHA旧模型读取新单位或新类别编码
模型权重 digest、签名、tokenizer文件同名但内容已替换
运行环境image digest、GPU/库约束算子或序列化格式不兼容
服务配置Prompt、路由、工具 schema权重回退但行为仍是新版
状态索引、缓存、写入 schema旧服务无法读取新状态

回滚查询应先从 deployment_id 反向遍历,得到 Transitive Closure(传递闭包),验证所有节点可访问、摘要一致、兼容检查通过,再产生候选变更。血缘系统只提供证据,生产切换仍要走上一篇的可逆动作与审批门槛。

09 常见错误与最短调试路径#

现象根因候选第一项检查
同一 run 每次得到不同模型随机种子、数据顺序或算子非确定seed、worker、CUDA deterministic 记录
血缘图有节点但打不开制品元数据与 artifact 提交非原子COMPLETE 是否早于上传成功
latest 回放结果变化记录的是可变别名底层 snapshot/digest
下游影响查询漏节点某任务未发事件或 namespace 不一致event completeness 与命名规范
图中出现重复 run重试没有稳定 attempt/run ID幂等键与 orchestrator attempt
元数据服务含敏感原文把 lineage 当日志仓库只留 ID、schema、统计与受控 URI

10 失败场景与相近概念#

  • Lineage 不保证 Reproducibility(可复现性):随机性、外部 API 和非确定算子仍需单独控制。
  • Experiment Tracking(实验跟踪)偏向一次 run 的参数、指标与制品;Lineage 关注跨系统输入输出关系,两者重叠但不等价。
  • Model Registry(模型注册表)管理模型生命周期、版本与晋级;它应消费血缘证据,不应替代数据/特征血缘。
  • Feature Store(特征存储)解决特征复用与线上/离线一致性;它是血缘图中的一类实体和运行,不是整张图。
  • Data Catalog(数据目录)强调发现、schema 与治理;若没有运行边,无法回答某模型实际消费了哪个快照。
  • 旧数据已依法删除时,完全重训可能不允许;应明确“可审计但不可重建”的保留边界。

11 工程验收清单#

  1. 随机抽一个生产 deployment,能否在 2 分钟内找到模型、run、代码、配置和数据快照?
  2. 对每个 COMPLETE 输出,artifact 是否存在且 digest 匹配?
  3. 对输入数据修正,后代查询是否覆盖训练、模型、部署与报告?
  4. 删除/过期策略是否同步更新节点状态,而不是留下假可用 URI?
  5. 元数据是否不含秘密、PII 和未经授权的 Prompt?
  6. 用故意损坏的 digest 演练,晋级门禁是否会失败关闭?

12 今天真正需要记住什么?#

  1. 路径和 latest 是定位符,不是版本;可复现身份需要不可变快照与内容摘要。
  2. 用“实体—运行—实体”的 DAG 表达数据、代码、配置、模型与部署,记录发生在边界当时。
  3. 血缘图回答影响范围,schema 与业务契约决定是否需要重算。
  4. 可复现回滚必须锁定模型周边状态;血缘提供证据,但不替代兼容检查和发布审批。

13 思考题与小练习#

  1. 数据快照同时被三个特征任务消费,其中两个模型部署到线上。画出 DAG;当一个字段单位变化时,写出后代集合与需要语义检查的边。
  2. 为什么 git commit + random seed 仍不足以复现 GPU 训练?列出至少四个缺失身份或非确定来源。
  3. 扩展 descendants,为每个节点加入 available 与 digest_verified;生成回滚包时,只要一个必需祖先不可用就返回明确阻塞原因。

相关工作#

  1. Sculley et al., Hidden Technical Debt in Machine Learning Systems ↗,说明 ML 系统中的隐式数据依赖与配置债务。
  2. Baylor et al., TFX: A TensorFlow-Based Production-Scale Machine Learning Platform ↗,展示生产 ML 平台中的验证、元数据和流水线设计。
  3. MLflow Dataset Tracking ↗,当前官方数据集身份与 log_input 文档。
  4. OpenLineage Specification ↗,跨作业、运行与数据集的开放血缘事件规范。
  5. Schelter et al., On Challenges in Machine Learning Model Management ↗,讨论模型管理中的依赖、版本、复现与部署挑战。

14 下一篇预告#

血缘图已经能证明候选模型从哪里来,但“有记录”不等于“允许上线”。下一篇将进入 Model Registry Promotion Gates(模型注册表晋级门禁):怎样把签名、数据验证、离线评测、风险审批与环境晋级写成不可绕过的状态机。

线上模型究竟来自哪份数据?ML Lineage 的不可变身份、血缘 DAG 与可复现回滚
https://zwjcode.cn/blog/ml-lineage-immutable-artifact-reproducible-rollback
作者 傑
发布于 2026年9月29日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。