观文听傑

返回

离线历史快照和在线特征存储沿时间线向同一模型输入相同蓝色向量,绿色对勾表示回放一致,未来记录被红色边界拦下离线历史快照和在线特征存储沿时间线向同一模型输入相同蓝色向量,绿色对勾表示回放一致,未来记录被红色边界拦下

上一篇的 Point-in-Time Join(点时正确连接)保证训练行不偷看未来;但同一条历史记录在离线和线上仍可能被两份代码变成不同的输入。训练里把 age 除以 100,服务里除以 10,二者都能产出一个形状正确的张量,却不再是同一个模型。

本篇只解决一个核心问题:怎样冻结一条历史预测,并证明离线训练管道与在线服务给它生成相同的 Feature Vector(特征向量)?下一篇将把这些证据接入数据与模型监控。

01 为什么 shape 一样仍然可能输入了两套语义?#

流失模型输入是年龄、近 30 天消费、会员等级:

xoffline=[age/100,  log⁡(1+spend),  tier_id].x_{offline}=[age/100,\;\log(1+spend),\;tier\_id].

对 age=40, spend=99, tier_id=2,离线得到 [0.4,log⁡(100),2][0.4,\log(100),2];若服务误用 age/10,则为 [4.0,log⁡(100),2][4.0,\log(100),2]。两者均为 float32 的 [1,3][1,3]。若线性层 w=[1,0,0]w=[1,0,0],logit 从 0.40.4 跳到 4.04.0。这类 Training-serving Skew(训练—服务偏差)通常不报错,只在校准、切片指标或回滚时露出痕迹。

flowchart LR
  R[historical request\nkey + prediction time] --> P[PIT snapshot]
  P --> O[offline transform\ntraining revision]
  P --> N[online replay\nservice revision]
  O --> XO[x offline: 1 × D]
  N --> XN[x online: 1 × D]
  XO --> C{column-wise compare}
  XN --> C
  C -->|pass| M[model inference]
  C -->|mismatch| E[evidence bundle]
mermaid

不要先比最终类别:同一个阈值可以掩盖特征偏差。也不要要求浮点逐 bit 相同:不同 kernel 的舍入会带来微小差异。先按列定义比较政策,再比较模型之前的 DD 个值。

02 回放记录要冻结什么?#

Replay Record(回放记录)不能只是裸 JSON。至少要固定实体键、prediction_time、受控的 raw_snapshot_ref、feature_view_revision、transform_digest、model_digest、特征值、dtype 和 shape。

证据缺失时会怎样
实体键 + 预测时刻无法在同一信息集重建特征
原始快照指针 + 数据版本不能定位解析或缺失值差异
变换 digest + 列名/顺序不知道 scaler、词表是否已换
模型内容哈希production 这类别名会漂移

03 极小手算:找第一列分歧#

固定 age_mean=30、age_std=10,free→0, gold→1。原始请求 {age: 40, spend_30d: 99, tier: gold} 的正确结果是 [(40−30)/10,log⁡(100),1]=[1,4.605,1][(40-30)/10,\log(100),1]=[1,4.605,1]。服务若错用 age_std=20,得到 [0.5,4.605,1][0.5,4.605,1];差异 [0.5,0,0][0.5,0,0] 立刻指向 scaler revision,而非模糊的“概率变了”。

连续列可用

∣ai−bi∣≤ϵabs+ϵrel∣ai∣,|a_i-b_i|\le\epsilon_{abs}+\epsilon_{rel}|a_i|,

类别 ID、列顺序、shape 和 dtype 必须精确匹配。1e-6 不是通用答案:BF16(Brain Floating Point 16)或不同归约顺序应先用已知一致样本测量噪声地板,再设容差,不能为掩盖错误随意放宽。

04 让两条路径共享一个可版本化纯函数#

训练与服务的 IO 可以不同,但业务公式不该各写一份。以下 transform 输入一条已通过数据契约的记录,输出 float32、形状 [3][3];批量训练把 BB 条堆成 X∈RB×3X\in\mathbb{R}^{B\times3},单请求以 x[None, :] 变为 [1,3][1,3]。

未知类别不能悄悄映射为 0:显式拒绝、UNK 桶或更新词表并重训,对应不同产品风险。列名与 revision 也必须写进模型签名,不要赌 dict 的迭代顺序。

replay(record_id):
  evidence = load_immutable_record(record_id)
  raw = read_snapshot(evidence.raw_snapshot_ref)
  x_offline = transform(raw, spec_at(evidence.transform_digest))
  x_online = service.replay(raw, pinned_revision=evidence.transform_digest)
  return compare(x_offline, x_online, column_policy)
text

service.replay 必须是隔离的 shadow endpoint(影子端点)或离线模拟器,绝不能让历史请求重写支付、邮件或库存。状态特征还要固定 feature-store snapshot 与 prediction_time,否则比较的是今天和过去的自然差异。

05 用黄金样例把边界变成测试#

单元测试抓公式,集成测试抓 revision/序列化,去敏影子回放抓真实流量切片;三层不能互相替代。Golden Case(黄金样例)应是语言无关 JSON:raw snapshot、列名、期望值、shape、dtype、版本与容差,让 Python 训练端和其他语言服务端读取同一份证据。

06 调试顺序与边界#

发生 mismatch(不一致)时,记录首个失败列、两边值、digest、时间、实体切片与 reason code(值按级别脱敏),不要只报一个布尔值。排查顺序:先核对 prediction_time 和快照,再核对列名/顺序/shape/dtype,再从 raw→view→scaler/词表→模型输入定位第一处数值分歧,最后按地区、客户端、feature revision 聚合比例。

常见错误是 UTC 与本地时间混用、离线 float64 被线上截成 float32、词表和模型未原子更新、默认值一边为 0 另一边为训练均值,以及把 null 与空字符串混在一起。每个根因都应留下最小反例,加入黄金样例。

回放一致只证明“同 revision、同输入”的确定性;它不能证明标签、因果性、公平性或容量都正确。上线前以黄金样例做硬门禁,上线后对去敏样本监控 feature_mismatch_rate、最大误差和按 revision 的分布,并把 evidence bundle 交给有负责人和降级动作的告警流程。下一篇将讨论如何定义这些信号的基线、切片与处置阈值。

思考练习#

  1. 服务改为 BF16 推理时,如何为不同特征列设置容差和发布门槛?
  2. 对实时聚合的 spend_30d,怎样构造快照以重现当时窗口而不复制全部交易?
  3. UNK 比例从 0.1% 升至 8%,但回放仍一致,应由哪个告警触发什么动作?

延伸阅读#

离线 AUC 很高,线上为何复现不了?用特征回放验证训练—服务一致性
https://zwjcode.cn/blog/offline-online-feature-replay-consistency
作者 傑
发布于 2026年9月30日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。