历史数据改正后,特征该怎样回填才不污染训练集?
从迟到事件与错误修正出发,拆解特征回填的时间边界、版本血缘和原子发布;用极小例子与 Python 构造可审计的历史特征。
上一篇用 Feature Replay(特征回放)证明同一历史请求在离线和线上会得到同一个向量。但数据源不会永远静止:支付晚到、撤销交易、修正地区代码后,历史特征究竟要不要更新?若把今天补到的事件直接写进过去的训练行,会制造 Time Travel(时间穿越);若完全不回填,模型又会长期学习已知错误。
本篇只解决一个核心问题:Feature Backfill(特征回填)如何在明确的时间边界内重算历史特征,并用版本血缘保证训练、评估和线上读取的语义可追溯。 下一篇会把这些可追溯信号变成监控基线与告警阈值。
01 “数据晚到”为什么不是简单 UPDATE?#
设一次 2026-09-01 09:00 的预测需要过去 30 天消费额。某笔 8 月 31 日发生的交易直到 9 月 3 日才送达:它的 Event Time(事件时间)是 08-31,Ingest Time(接入时间)却是 09-03。在线预测在 9 月 1 日不可能知道它;把它写回该预测所用的特征,会让离线评测得到一个线上永远拿不到的优势。
flowchart LR
E[事件:8/31 20:00] --> L[9/3 才接入]
P[预测时刻:9/1 09:00] --> S[冻结信息集]
E -.实际当时不可见.-> S
L --> R[修正 revision r2]
S --> R
R --> B[受控 backfill]
B --> V[新 feature revision]
V --> A[审计:训练/评测显式选择]mermaid所以一条特征记录至少有三类坐标:实体 entity_id、event_time,以及 available_at(该事实可被系统使用的时刻)。训练行在预测时刻 只能读取满足 的事实;回填是生成一个新的版本,不是改写旧版本。
02 极小手算:同一事件在两个问题中答案不同#
用户 A 在 8 月 30 日消费 10 元,8 月 31 日消费 20 元但 9 月 3 日才到达。对预测时刻 9 月 1 日 09:00,正确的 2 日窗口特征是 ,而不是 。这是线上可用性问题。
但若我们在 9 月 5 日发现接入系统曾丢失 8 月 31 日交易,想训练一个从 9 月 6 日开始上线的新模型,则可以创建修订版 :在重建的历史训练集里,带上该交易,同时记录它来自 source_snapshot@r2。两种语义都正确,前提是数据集名称和版本不能混在一起。
| 目标 | 可用截止 | 8/31 的 20 元是否计入 |
|---|---|---|
| 重放 9/1 的线上决策 | available_at ≤ 9/1 09:00 | 否 |
| 为 9/6 新模型重建标签期数据 | 经过质量确认的 r2 | 是 |
03 数据流:不可变原始层,派生特征层#
将原始事实 append-only(只追加),用撤销或更正事件表达变化;特征层按 revision 物化。对于批量 个实体和 个特征,训练输入是 ,而元数据应并排保存 feature_revision[B]、source_snapshot[B] 与 as_of[B],不能只留浮点矩阵。
raw event log (immutable) ──► validated snapshot r2 ──► transform@c81a
│ │ │
└─► old snapshot r1 ─────────┼─► feature set v1 ├─► X: [B, D]
└─► feature set v2 └─► manifest + digesttext下面的最小实现故意将“事件发生”与“可用”分开。输出一维数组 [2],批量时由 np.stack 组成 [B,2]:
from dataclasses import dataclass
from datetime import datetime
import numpy as np
@dataclass(frozen=True)
class Event:
entity: str; event_time: datetime; available_at: datetime; amount: float
def features_as_of(events: list[Event], entity: str,
start: datetime, prediction_time: datetime) -> np.ndarray:
usable = [e.amount for e in events
if e.entity == entity and start <= e.event_time < prediction_time
and e.available_at <= prediction_time]
total = sum(usable)
return np.asarray([total, len(usable)], dtype=np.float32) # [amount_2d, count_2d]
t0 = datetime.fromisoformat('2026-08-30T00:00:00+08:00')
tp = datetime.fromisoformat('2026-09-01T09:00:00+08:00')
events = [Event('A', datetime.fromisoformat('2026-08-30T12:00:00+08:00'), tp, 10.),
Event('A', datetime.fromisoformat('2026-08-31T20:00:00+08:00'),
datetime.fromisoformat('2026-09-03T09:00:00+08:00'), 20.)]
x = features_as_of(events, 'A', t0, tp)
print(x, x.shape) # [10. 1.] (2,)python不要把 event_time 过滤和 available_at 过滤合并成一个时间戳。前者定义统计窗口,后者防止泄漏;二者任一缺失,回放都不可证明。
04 Backfill 怎样安全发布?#
Backfill Job(回填任务)先写新的分区和 manifest(清单),验证后再原子切换别名。绝不能覆盖正在被训练或服务读取的分区。
backfill(revision, range):
assert revision is immutable and range has explicit start/end
read raw snapshot pinned to revision
write candidate feature partitions to a new location
validate counts, null-rate, time boundary, and golden entities
publish manifest atomically
record input digest, transform digest, owner, and reasontext工程上至少要检查:分区行数是否异常、实体去重率、缺失率、数值分位数、最大 available_at 是否越过每行 as_of,以及修订范围以外的 digest 是否不变。分区重试必须 idempotent(幂等):同一 (revision, date, transform_digest) 再跑一次得到相同产物,而不是重复累加。
常见失败是以本地时区切日、补数据时忘记回滚删除事件、把模型训练别名与线上服务别名一起切换,以及在历史范围上只跑增量导致旧聚合残留。调试时先抽一个实体,打印原始事件、两种时间戳、窗口条件和首个差异列;不要从最终 AUC 倒推。
05 与特征回放、PIT Join 有什么不同?#
Point-in-Time Join(点时正确连接)定义“某一训练行当时看得到什么”;Feature Replay 复现“某一次预测实际吃了什么”;回填则管理“在已发现修正后,如何生成一个新的、可选择的历史版本”。三者共同约束时间,却不能互相替代。
回填也不能自动证明标签正确、业务因果成立或新 revision 一定提高模型。先在影子训练中比较切片指标和校准,再由变更审批把数据 revision、代码 digest、模型 digest 绑定成一次可回滚发布。
思考练习#
- 对会撤销的订单,怎样设计 append-only 事件以让 30 天金额回填可重放?
- 如果同一实体跨午夜的事件有多个时区,分区键和窗口过滤分别应使用什么时间?
- 回填后某地区缺失率下降、整体 AUC 不变,哪些切片与上线门槛仍应复查?
延伸阅读#
- Zaharia et al., Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics (2021) ↗
- Baylor et al., TFX: A TensorFlow-Based Production-Scale ML Platform (2017) ↗
- Sculley et al., Hidden Technical Debt in Machine Learning Systems (2015) ↗
- Breck et al., The ML Test Score (2017) ↗