特征何时才算可用?Event Time、PIT Join 与新鲜度边界
用事件时间、可用时间和点时正确连接阻止未来信息泄漏;手算一行训练样本,并设计可监控的特征新鲜度边界。
上一篇的数据契约让我们能拒绝“字段名没变、含义却变了”的输入;但契约通过后,还有一种更隐蔽的错误:训练时把当时尚不可得的值连进了样本。离线 AUC 很漂亮,上线却再也复现不了。
本篇只解决一个核心问题:对每次预测,怎样只使用该预测时刻已经可见、且足够新鲜的 Feature(特征)?这需要区分 Event Time(事件发生时间)、Availability Time(可用时间),并做 Point-in-Time Join(点时正确连接)。下一篇会从这种时间边界进一步讨论特征的线上—离线一致性与回放验证。
01 为什么“按用户 ID 取最新值”会泄漏未来?#
设信用违约样本的标签发生在预测时刻 。用户 u7 的交易特征表有两行:
| user_id | event_time | available_time | spend_7d | 含义 |
|---|---|---|---|---|
| u7 | 10:00 | 10:02 | 120 | 已处理的历史交易 |
| u7 | 10:04 | 10:11 | 900 | 10:04 的交易,11 分钟才入库 |
若训练样本在 ,按 ID 取表里“最新”记录会拿到 900。它的事件确实早于预测,却在 10:08 时尚未进入任何可供模型读取的存储;这是 Availability Leakage(可用性泄漏)。反过来,只检查 也不够。
一条候选特征 可用于预测 的最基本条件是
在候选集合中选事件时间最大的记录:
还应限制陈旧值。若最大允许年龄为 ,则要求 ;超过时返回缺失或业务定义的降级值,不能假装它仍是“最新”。
sequenceDiagram
participant E as Event producer
participant O as Offline store
participant S as Online store
participant T as Train / predict row
E->>O: 10:04 event_time, value=900
Note over O: 10:11 available_time\n(ETL 完成)
T->>O: 10:08 historical lookup
O-->>T: 10:00 value=120
T->>S: 10:08 online lookup
S-->>T: 10:00 value=120
Note over T: 10:04 / 900 此刻不可见,必须排除mermaid这里实体表的输入为 [N, 2+]:user_id 与 event_timestamp 是必需列,标签可额外占一列;连接后的训练矩阵 才交给模型。单次在线请求则先用 user_id 和服务时钟得到一个 [1,D] 特征行,而不是把整个历史表喂给模型。
02 极小手算:同一张表,错误连接怎样虚增指标?#
有两个预测样本:
| 样本 | user_id | 标签 | |
|---|---|---|---|
| A | u7 | 10:08 | 0 |
| B | u8 | 10:08 | 1 |
u7 如上;u8 在 10:01 可用的 spend_7d=700。错误的“每个用户最后一行”连接得到 。阈值规则 spend_7d > 800 会把 A 判为 1,恰好看起来能区分某些未来标签;但它使用了 A 之后才抵达的事实。
点时正确连接得到 。这组小数不能保证模型更准,却是部署时真实可重演的输入。训练集若使用 ,验证指标估计的是一个线上不可能拥有的信息集,任何调参都建立在沙地上。
03 先写一个可审计的最小 PIT 连接#
下面的 pandas 实现故意保留两种时间。merge_asof() 只做按 key 的向后匹配;我们先删除预测时刻之后才可用的行,再限制容忍窗口。输入 entities 是 [N, 3](实体、预测时刻、标签),features 是 [M, 4](实体、事件时刻、可用时刻、值);输出是 [N,4],多出一列特征。
import pandas as pd
entities = pd.DataFrame({
"user_id": ["u7", "u8"],
"event_timestamp": pd.to_datetime(["2026-09-01 10:08Z"] * 2),
"label": [0, 1],
})
features = pd.DataFrame({
"user_id": ["u7", "u7", "u8"],
"event_time": pd.to_datetime([
"2026-09-01 10:00Z", "2026-09-01 10:04Z", "2026-09-01 10:01Z"
]),
"available_time": pd.to_datetime([
"2026-09-01 10:02Z", "2026-09-01 10:11Z", "2026-09-01 10:02Z"
]),
"spend_7d": [120.0, 900.0, 700.0],
})
def point_in_time_join(entities: pd.DataFrame, features: pd.DataFrame) -> pd.DataFrame:
# 与各行 t_p 对齐后再过滤,避免把未来可用的记录混入。
candidates = entities[["user_id", "event_timestamp"]].merge(features, on="user_id")
candidates = candidates.loc[
(candidates["event_time"] <= candidates["event_timestamp"])
& (candidates["available_time"] <= candidates["event_timestamp"])
]
candidates = candidates.sort_values(["user_id", "event_timestamp", "event_time"])
chosen = candidates.groupby(["user_id", "event_timestamp"], as_index=False).tail(1)
return entities.merge(
chosen[["user_id", "event_timestamp", "spend_7d", "event_time"]],
on=["user_id", "event_timestamp"], how="left", validate="one_to_one"
)
train = point_in_time_join(entities, features)
print(train[["user_id", "spend_7d", "event_time"]])
# u7 -> 120.0 at 10:00; u8 -> 700.0 at 10:01python真实数据不能把所有实体和特征做笛卡尔合并:上例是为显露逻辑而写。生产中让仓库执行按 key、时间排序的窗口连接,建立 (user_id, event_time) 索引并按日期分区;还要处理同一 event_time 的修订版本,使用单调的 created_time 或 revision 作稳定 tie-break。validate='one_to_one' 是很有价值的断言:若连接后行数意外膨胀,先停下来查重复 key,不能默默训练。
伪代码把训练和服务都收敛到同一份特征定义:
build_training(entity_rows):
for each (key, prediction_time) in entity_rows:
candidates = records[key] where event_time <= prediction_time
and available_time <= prediction_time
value = latest_event(candidates) within ttl
emit(key, prediction_time, value, feature_revision)
serve(key, now):
value, observed_at = online_store.get(key)
assert observed_at <= now and now - observed_at <= ttl
return model.predict(transform(value))text04 使用 Feast 时,接口替你做了什么,仍要自己保证什么?#
Feature Store(特征存储)适合把这种时序连接固化。Feast 当前的 get_historical_features() 接受含实体键与时间戳的 entity_df,为每行回溯匹配相应 Feature View;其 TTL 相对的是每一行的实体时间,不是作业执行的“现在”。官方也明确将点时连接用于重现过去某一时刻的特征状态。Feast 点时连接文档 ↗
from feast import FeatureStore
store = FeatureStore(repo_path="feature_repo")
training = store.get_historical_features(
entity_df=entities[["user_id", "event_timestamp", "label"]],
features=["user_activity:spend_7d"],
).to_df()
# 输入 entity_df: [N, entity keys + event_timestamp + optional label]
# 输出 training: [N, entity columns + label + selected features]
print(training.shape)python这不是自动免疫:Feature View 的 event_timestamp 必须真实、时区一致,数据源中的迟到/回填策略必须与线上可见性相符。若系统只记录事件发生时刻,却直到数小时后批量写入,PIT join 仍可能泄漏;此时需记录 ingestion/created time 或把特征发布延迟写进定义。训练取数与线上取数也应固定同一份 feature service/revision,并把它与上一篇的 contract、transform、model digest 一起写入血缘。
05 新鲜度是可量化的服务边界#
对在线读取时刻 和特征观测时间 ,Feature Freshness(特征新鲜度)为
不要只报一个平均值。对每个 feature view、实体类型和流量切片记录 freshness_seconds 的 p50/p95/p99、缺失率、未来时间戳率和 available_time - event_time 的延迟分布。一个支付反欺诈特征的 p99 从 90 秒升到 20 分钟,即使 schema、类型与均值都没有变,也可能使模型失效。
flowchart LR
R[raw event\nkey, event_time] --> P[feature pipeline]
P -->|revision + available_time| O[(offline store)]
P -->|materialize| N[(online store)]
E[entity rows\nkey, prediction_time] --> H[PIT historical retrieval]
O --> H
H --> X[train X: N × D]
N --> G{freshness <= TTL?}
G -->|yes| I[inference x: 1 × D]
G -->|no| F[fallback / hold / alert]mermaid工程决策要由风险驱动:推荐排序可在新鲜度超标时退回热门排序;额度审批可能必须拒绝或转人工;安全检测则不能为了低延迟跳过关键特征。每种降级都要预先演练并在预测日志记录 feature_revision、observed_at、age_seconds 与 fallback_reason。禁止把完整用户数据放进高基数指标标签。
06 常见错误与调试顺序#
- 验证集异常好、线上立即回落:随机抽样一行,打印其
$t_p,t_e,t_a$;查任何$t_a>t_p$或“作业跑完时间”被当作可用时间的记录。 - 离线和线上特征对不上:以固定 key 和 prediction time 双读,比较特征值、revision、观测时刻与变换 digest;不要只比较模型输出。
- 突然大量缺失:分开看“没有历史”“历史超 TTL”“尚未 materialize”“键格式不匹配”四个 reason code;它们的修复人并不相同。
- 晚到数据反复改写训练集:定义水位、回填窗口与模型重训策略;每次训练保留输出快照 ID,不能让
latest重写历史实验。 - 本地时间偶发错一小时:传输和存储统一 UTC,解析时拒绝 naive datetime;展示层才转换到北京时间。夏令时地区尤其不能用字符串排序代替时间比较。
点时正确性也有局限:它保证信息在时间上可得,不保证数据无偏、标签无噪声或特征本身具因果性;TTL 也不能替代缺失值策略。下一篇将把这里的“同一时刻、同一 revision”扩展为离线训练与线上服务的可回放一致性测试。
思考练习#
event_time=10:00、available_time=10:20的特征可否用于 的训练行?若数据后来回填,模型版本是否应重训?说明你的水位策略。- 为一个 5 分钟更新的价格特征设计 TTL、p99 新鲜度 SLO 与降级策略;分别考虑推荐和风控场景。
- 把上面的 pandas 实现改为支持相同
event_time的两次修订:你会如何加入created_time,并写出防止连接行数膨胀的测试?