真实标签两周后才到,模型质量怎样监控而不自欺?
从预测与标签错位出发,拆解延迟标签的可审计 Join、覆盖率与校准监控;用极小例子和 NumPy 计算分桶可靠性。
上一篇建立了按 revision 和业务切片比较的监控基线。但分类模型的真相往往不在请求返回时出现:反欺诈标签可能在拒付后 60 天才确定,推荐点击可在几天后才归因。若今天把“尚未到达标签”的样本当负例,AUC 和校准都会虚假变好;若只等最终标签,事故又会晚数周发现。
本篇只解决一个核心问题:Delayed Labels(延迟标签)怎样与预测做时间正确、版本可追溯的 Join(连接),并将覆盖率和校准作为不同速度的质量信号。
01 预测表与标签表为什么不能直接按 ID 拼接?#
一条 Prediction Record(预测记录)应冻结 prediction_id、prediction_time、score、model_digest、feature_revision 和受控切片。标签表则有 label_time、label_value、标签定义 revision。对于预测时刻 ,只有满足成熟期 的行才有资格进入最终质量计算,其中 是业务确认窗口。
flowchart LR
P[prediction: id, score, t_p] --> W{maturity window Δ passed?}
L[label event: id, y, t_label] --> W
W -->|yes, one valid label| J[versioned quality join]
W -->|not yet| C[coverage / proxy monitoring]
J --> M[calibration + ranking metrics]
M --> A[alert with model and slice]mermaid关键是区分三种状态:尚未成熟(不能算错)、成熟但没有标签(coverage 问题)、成熟且有唯一标签(可计入质量)。把它们压成 0/1 标签会系统性偏置指标。
02 极小手算:为何会出现“假好转”?#
某模型今天有四次预测,分数为 。两条高分交易的拒付标签尚在 14 天窗口内,低分交易已确认安全。若把缺失标签补为 0,得到 ,貌似模型没有正例且低风险;正确做法是本日的最终质量样本数为 2,覆盖率为 ,并明确“尚不可评价”。
prediction_id score mature? label state
p1 0.9 no pending ← 不能当 0
p2 0.8 no pending ← 不能当 0
p3 0.2 yes confirmed 0
p4 0.1 yes confirmed 0text若成熟后仍无标签,先查关联链路、标签生产和去重规则;它可能是埋点故障,也可能只发生在某一地区。质量指标与 label_coverage 必须并排展示。
03 用固定分桶看校准,而不只看 AUC#
Ranking Metric(排序指标)如 AUC 只关心正例是否排在负例前;风险分数 0.8 是否真的约有 80% 风险,则由 Calibration(校准)回答。将预测分数放入冻结的 个桶。第 桶内,平均预测为 、实际正例率为 ;可靠性误差可写作:
以下函数输入 scores、labels,均为形状 [N] 的成熟且已连接样本,输出一个标量。生产代码还应返回每桶样本量,否则一个只含两条样本的桶没有解释力。
import numpy as np
def expected_calibration_error(scores: np.ndarray, labels: np.ndarray, bins: int = 5) -> float:
if scores.shape != labels.shape or scores.ndim != 1:
raise ValueError('scores and mature labels must both be [N]')
if np.any((scores < 0) | (scores > 1)):
raise ValueError('probabilities must lie in [0, 1]')
edges = np.linspace(0., 1., bins + 1)
bucket = np.minimum(np.digitize(scores, edges[1:], right=False), bins - 1)
ece = 0.0
for k in range(bins):
mask = bucket == k
if mask.any():
ece += mask.mean() * abs(scores[mask].mean() - labels[mask].mean())
return float(ece)
s = np.array([0.10, 0.20, 0.80, 0.90])
y = np.array([0, 0, 1, 0])
print(round(expected_calibration_error(s, y), 3)) # 0.25python固定桶边界应由健康基线确定并随模型版本记录。若每个窗口按当前分位数重桶,就无法比较“高分区”是否失真。连续分数也要先确认输出语义:logit(未归一化分数)不能直接当概率;需要先经过 sigmoid 或对应的校准器。
04 质量 Join 的数据流和工程门槛#
immutable predictions ─┐
├─► maturity filter ─► one-to-one label join ─► [N] scores, [N] labels
immutable label events ┘ │ │
├─► pending count └─► AUC / ECE / slices
└─► missing-after-Δ counttextJoin key 不能只用用户 ID:同一用户可有多次曝光或交易。应使用可追溯的 prediction_id,处理标签修正时追加新的 label revision,再按明确政策选择“最终确认”“截至某日”或“首次标签”。重复标签、跨窗口归因和撤销标签都必须有可审计规则。
告警应采用两条轨:快速轨监控请求量、分数分布、拒绝率、label coverage 和 proxy;慢速轨只在成熟数据上比较 AUC、PR-AUC、校准和公平性切片。每个慢速指标附 as_of、成熟窗口、模型/标签 revision 与样本数。没有这些元数据的“本周 AUC”无法解释,也无法复现。
05 常见失败与调试顺序#
最常见的错误是提前评估、重复 Join 让一条预测被计入多次、模型切换后混合基线、标签定义变了却继续比较旧 ECE,以及只看总体而不按 model_digest、地区或客户版本切片。出现异常时,先确认时间窗和成熟判定,再抽取一个 prediction_id 检查预测、标签、revision 和去重路径,最后才看聚合指标。
延迟标签监控只能告诉你已成熟样本上的质量,不能保证未来业务影响、因果收益或完整公平性。对高风险变化,仍要用影子评测、人工审核和可回滚的灰度发布交叉验证。
思考练习#
- 若正例通常 30 天才确认、负例 2 天即确认,怎样定义成熟窗口与 coverage?
- 一个模型把分数从 0.2–0.8 压缩到 0.4–0.6,AUC 不变时 ECE 为什么可能恶化?
- 推荐曝光与点击之间有多次重排,
prediction_id应记录哪些上下文才能正确归因?