离线 AUC 很高,线上为何复现不了?用特征回放验证训练—服务一致性
把一次历史预测冻结成可重放的输入,在离线变换与在线服务间逐列比对特征、版本和输出,定位训练—服务偏差。
上一篇的 Point-in-Time Join(点时正确连接)保证训练行不偷看未来;但同一条历史记录在离线和线上仍可能被两份代码变成不同的输入。训练里把 age 除以 100,服务里除以 10,二者都能产出一个形状正确的张量,却不再是同一个模型。
本篇只解决一个核心问题:怎样冻结一条历史预测,并证明离线训练管道与在线服务给它生成相同的 Feature Vector(特征向量)?下一篇将把这些证据接入数据与模型监控。
01 为什么 shape 一样仍然可能输入了两套语义?#
流失模型输入是年龄、近 30 天消费、会员等级:
对 age=40, spend=99, tier_id=2,离线得到 ;若服务误用 age/10,则为 。两者均为 float32 的 。若线性层 ,logit 从 跳到 。这类 Training-serving Skew(训练—服务偏差)通常不报错,只在校准、切片指标或回滚时露出痕迹。
flowchart LR
R[historical request\nkey + prediction time] --> P[PIT snapshot]
P --> O[offline transform\ntraining revision]
P --> N[online replay\nservice revision]
O --> XO[x offline: 1 × D]
N --> XN[x online: 1 × D]
XO --> C{column-wise compare}
XN --> C
C -->|pass| M[model inference]
C -->|mismatch| E[evidence bundle]mermaid不要先比最终类别:同一个阈值可以掩盖特征偏差。也不要要求浮点逐 bit 相同:不同 kernel 的舍入会带来微小差异。先按列定义比较政策,再比较模型之前的 个值。
02 回放记录要冻结什么?#
Replay Record(回放记录)不能只是裸 JSON。至少要固定实体键、prediction_time、受控的 raw_snapshot_ref、feature_view_revision、transform_digest、model_digest、特征值、dtype 和 shape。
| 证据 | 缺失时会怎样 |
|---|---|
| 实体键 + 预测时刻 | 无法在同一信息集重建特征 |
| 原始快照指针 + 数据版本 | 不能定位解析或缺失值差异 |
| 变换 digest + 列名/顺序 | 不知道 scaler、词表是否已换 |
| 模型内容哈希 | production 这类别名会漂移 |
03 极小手算:找第一列分歧#
固定 age_mean=30、age_std=10,free→0, gold→1。原始请求 {age: 40, spend_30d: 99, tier: gold} 的正确结果是 。服务若错用 age_std=20,得到 ;差异 立刻指向 scaler revision,而非模糊的“概率变了”。
连续列可用
类别 ID、列顺序、shape 和 dtype 必须精确匹配。1e-6 不是通用答案:BF16(Brain Floating Point 16)或不同归约顺序应先用已知一致样本测量噪声地板,再设容差,不能为掩盖错误随意放宽。
04 让两条路径共享一个可版本化纯函数#
训练与服务的 IO 可以不同,但业务公式不该各写一份。以下 transform 输入一条已通过数据契约的记录,输出 float32、形状 ;批量训练把 条堆成 ,单请求以 x[None, :] 变为 。
from dataclasses import dataclass
import math
import numpy as np
@dataclass(frozen=True)
class TransformSpec:
age_mean: float; age_std: float
tier_to_id: dict[str, int]; revision: str
def transform(record: dict[str, object], spec: TransformSpec) -> np.ndarray:
age, spend, tier = float(record['age']), float(record['spend_30d']), str(record['tier'])
if spec.age_std <= 0 or tier not in spec.tier_to_id:
raise ValueError('invalid spec or unseen tier')
return np.asarray([(age-spec.age_mean)/spec.age_std,
math.log1p(max(spend, 0.0)), spec.tier_to_id[tier]], dtype=np.float32)
spec = TransformSpec(30., 10., {'free': 0, 'gold': 1}, 'features@a91c')
x = transform({'age': 40, 'spend_30d': 99, 'tier': 'gold'}, spec)
print(x, x.shape, x.dtype) # [1. 4.6051702 1.] (3,) float32python未知类别不能悄悄映射为 0:显式拒绝、UNK 桶或更新词表并重训,对应不同产品风险。列名与 revision 也必须写进模型签名,不要赌 dict 的迭代顺序。
replay(record_id):
evidence = load_immutable_record(record_id)
raw = read_snapshot(evidence.raw_snapshot_ref)
x_offline = transform(raw, spec_at(evidence.transform_digest))
x_online = service.replay(raw, pinned_revision=evidence.transform_digest)
return compare(x_offline, x_online, column_policy)textservice.replay 必须是隔离的 shadow endpoint(影子端点)或离线模拟器,绝不能让历史请求重写支付、邮件或库存。状态特征还要固定 feature-store snapshot 与 prediction_time,否则比较的是今天和过去的自然差异。
05 用黄金样例把边界变成测试#
单元测试抓公式,集成测试抓 revision/序列化,去敏影子回放抓真实流量切片;三层不能互相替代。Golden Case(黄金样例)应是语言无关 JSON:raw snapshot、列名、期望值、shape、dtype、版本与容差,让 Python 训练端和其他语言服务端读取同一份证据。
import numpy as np
def test_offline_and_service_match():
raw = {'age': 40, 'spend_30d': 99, 'tier': 'gold'}
spec = TransformSpec(30., 10., {'free': 0, 'gold': 1}, 'features@a91c')
x_offline = transform(raw, spec)[None, :] # [1, 3]
x_service = transform(raw, spec)[None, :] # 用隔离 replay 输出替换
assert x_offline.dtype == x_service.dtype == np.float32
assert x_offline.shape == x_service.shape == (1, 3)
np.testing.assert_allclose(x_offline, x_service, rtol=1e-6, atol=1e-6)
def test_unknown_tier_is_explicit():
spec = TransformSpec(30., 10., {'free': 0, 'gold': 1}, 'features@a91c')
try: transform({'age': 30, 'spend_30d': 0, 'tier': 'platinum'}, spec)
except ValueError: pass
else: raise AssertionError('unknown category needs an explicit policy')python06 调试顺序与边界#
发生 mismatch(不一致)时,记录首个失败列、两边值、digest、时间、实体切片与 reason code(值按级别脱敏),不要只报一个布尔值。排查顺序:先核对 prediction_time 和快照,再核对列名/顺序/shape/dtype,再从 raw→view→scaler/词表→模型输入定位第一处数值分歧,最后按地区、客户端、feature revision 聚合比例。
常见错误是 UTC 与本地时间混用、离线 float64 被线上截成 float32、词表和模型未原子更新、默认值一边为 0 另一边为训练均值,以及把 null 与空字符串混在一起。每个根因都应留下最小反例,加入黄金样例。
回放一致只证明“同 revision、同输入”的确定性;它不能证明标签、因果性、公平性或容量都正确。上线前以黄金样例做硬门禁,上线后对去敏样本监控 feature_mismatch_rate、最大误差和按 revision 的分布,并把 evidence bundle 交给有负责人和降级动作的告警流程。下一篇将讨论如何定义这些信号的基线、切片与处置阈值。
思考练习#
- 服务改为 BF16 推理时,如何为不同特征列设置容差和发布门槛?
- 对实时聚合的
spend_30d,怎样构造快照以重现当时窗口而不复制全部交易? UNK比例从 0.1% 升至 8%,但回放仍一致,应由哪个告警触发什么动作?
延伸阅读#
- Sculley et al., Hidden Technical Debt in Machine Learning Systems (2015) ↗
- Breck et al., The ML Test Score (2017) ↗
- Baylor et al., TFX: A TensorFlow-Based Production-Scale ML Platform (2017) ↗
- Renggli et al., Continuous Integration of ML Models with ease.ml/ci (2019) ↗
- Amershi et al., Software Engineering for Machine Learning (2019) ↗