同一份离线评估为何会变结果?冻结策略评估快照与运行身份
把数据、目标、策略版本与折外切分写成可哈希的评估清单,区分逻辑运行身份和结果记录。
上一篇把日志动作校正与目标人群运输合在一起,估计冻结策略在新用户群中的价值。复核时常遇到更基础的问题:**两周后重跑,为什么同一策略的离线结论变了?**文件名、仪表板截图和一条 run ID 往往说不清当时用的日志版本、目标人群截止日、策略代码、交叉拟合分折和估计器配置。
本篇聚焦策略评估快照(Evaluation Snapshot):一次评估的不可变输入清单和运行协议。结果单独记录并引用清单身份。它不代替随机试验,也不能让已变化的数据自动复原。
01 一份结果需要绑定什么?#
比较候选规则 与基线 ,目标是目标人群中的价值差 。完整记录分三层:
| 对象 | 回答的问题 | 典型内容 |
|---|---|---|
| 评估快照 | 这次到底评了什么? | 来源/目标数据身份、时间窗、estimand、策略、模型配置、切分 |
| 运行尝试 | 哪台环境在什么时候执行? | 启停时间、代码提交、依赖锁文件、日志位置 |
| 结果记录 | 算出了什么? | 价值、配对差、区间、ESS、重叠诊断、状态 |
模型血缘通常追踪训练数据到模型制品和线上部署;评估快照则钉住“某个冻结策略如何使用某份证据算出一组数”。即使模型血缘完整,目标筛选条件或交叉拟合折变了,评估仍会改变。
flowchart LR
D[不可变日志快照 X,T,Y] --> S[评估样本与时间窗]
T[目标协变量快照 X_target] --> S
P[冻结策略代码与特征定义] --> M[评估清单 manifest]
C[estimand、估计器与切分配置] --> M
S --> M
M --> H[规范化序列化 + SHA-256]
H --> R[逻辑 run_id]
M --> E[折外估计与诊断]
E --> O[结果记录引用 run_id]mermaid02 用清单哈希定义运行身份#
把评估输入写成对象 ,运行身份定义为
其中 是 SHA-256,canonical 表示固定键顺序、编码和数值约定。清单至少要有来源日志 revision、目标人群快照与资格规则、结果定义和观察窗、策略提交摘要、特征 schema、干扰模型配置、折分配、依赖环境和随机种子。
结果值不放入清单,否则结果完成后会反过来改变身份。相同输入重试应有同一逻辑 run_id;实际机器、开始时间和重试次数放进执行尝试编号(attempt_id)。运行结果再引用 run_id,并记录估计值、区间、ESS、权重分位数、折外覆盖率和输出制品摘要。
哈希只检测清单字节是否相同,不保存数据、不证明因果假设成立,也不证明谁生成了文件。必须让 revision 指向受版本保护且可恢复的数据对象。
03 手算:报告数值相同,评估不一定相同#
假设价值差都显示为 :
| 运行 | 日志快照 | 策略摘要 | 分折 | |
|---|---|---|---|---|
| A | log@d91a | policy@31c0 | 用户分组,seed 17 | +0.04 |
| B | log@e042 | policy@31c0 | 用户分组,seed 17 | +0.04 |
| C | log@d91a | policy@8f25 | 用户分组,seed 17 | +0.04 |
A、B 用了不同日志,A、C 用了不同策略;四舍五入后的数字无法证明复现成功。其身份分别为 、、,应各不相同。
数据形状可写为 、、目标协变量 ,第 折留出样本 ID 为 。每折在训练用户上拟合倾向和结果模型,在留出用户上生成折外分数 ;这些分数聚合成策略价值 、价值差和区间。快照要记录折成员,不能只留折数和种子。
04 按相关单位固定交叉拟合#
6 条记录来自 3 位重复用户:r01/r02 属于 uA,r03/r04 属于 uB,r05/r06 属于 uC。逐行随机分折可能让同一用户同时进入训练和留出集,模型便能记住用户特征。按用户分组后,两行总在同一折。
当前 scikit-learn 的 GroupKFold 支持 shuffle 与 random_state(shuffle 参数自 1.6 加入);每个 group 恰好进入一次测试折。我们还把实际留出 ID 写入清单,不能只依赖跨版本的随机种子。官方 GroupKFold API ↗
import hashlib
import json
import numpy as np
from sklearn.model_selection import GroupKFold
row_ids = np.array(["r01", "r02", "r03", "r04", "r05", "r06"])
groups = np.array(["uA", "uA", "uB", "uB", "uC", "uC"])
X = np.array([[.1], [.2], [.4], [.5], [.7], [.8]]) # [n=6, p=1]
y = np.array([0, 1, 0, 0, 1, 1]) # [n=6]
cv = GroupKFold(n_splits=3, shuffle=True, random_state=17)
folds = []
for fold_id, (train_idx, valid_idx) in enumerate(cv.split(X, y, groups)):
assert set(groups[train_idx]).isdisjoint(groups[valid_idx])
folds.append({
"fold": fold_id,
"train_ids": sorted(row_ids[train_idx].tolist()),
"heldout_ids": sorted(row_ids[valid_idx].tolist()),
})
payload = json.dumps(
folds, ensure_ascii=False, sort_keys=True, separators=(",", ":"), allow_nan=False
).encode("utf-8")
fold_digest = hashlib.sha256(payload).hexdigest()
print(folds)
print("sha256:" + fold_digest)python输入 X:[6,1]、y:[6]、groups:[6],输出三组训练/留出 ID 和折分摘要。每折只在 train_idx 拟合预处理、倾向与结果模型,再为 valid_idx 生成折外预测。该 API 只生成索引,不拟合模型、不保证类别平衡,也不解决未测混杂。目标若是未来时段,要用时间前推验证而非随机分组。分组键应是受控伪匿名 ID,不把邮箱或手机号写入清单。
05 规范化清单并计算身份#
下面的 Python 实现固定 schema 版本、JSON 键排序和紧凑编码,并拒绝 NaN/Infinity。跨语言系统应制定同一规范化标准;示例保证相同 Python 约定下可重算。
import hashlib
import json
def make_run_id(manifest: dict) -> tuple[str, bytes]:
if manifest.get("schema_version") != 1:
raise ValueError("未知 manifest schema_version")
payload = json.dumps(
manifest, ensure_ascii=False, sort_keys=True,
separators=(",", ":"), allow_nan=False,
).encode("utf-8")
return "sha256:" + hashlib.sha256(payload).hexdigest(), payload
manifest = {
"schema_version": 1,
"data": {
"source_revision": "sha256:d91a...",
"target_revision": "sha256:710b...",
"label_window_utc": ["2026-08-01T00:00:00Z", "2026-08-14T00:00:00Z"],
},
"estimand": {
"outcome": "7d_retained",
"target": "eligible_users_region_A_as_of_2026-08-01",
"comparison": "candidate_vs_baseline",
},
"policy": {
"candidate_commit": "31c0...",
"baseline_commit": "4c20...",
"feature_schema": "policy-features-v4",
},
"estimator": {
"name": "target_dr_ope",
"fold_digest": "sha256:92fe...",
"nuisance_config": "sha256:3a11...",
},
"environment": {
"python": "3.13.7",
"lockfile_digest": "sha256:20d1...",
"canonicalizer": "python-json-v1",
},
}
run_id, canonical_bytes = make_run_id(manifest)
print(run_id, len(canonical_bytes), "bytes")python输入是有限大小的元数据;输出是规范字节和摘要。摘要耗时 , 是清单字节数;不要把数十 GB 数据行塞进清单。大数据使用受控存储的不可变 snapshot ID,并记录 schema、行数、时间水位和访问位置。
06 交互:哪项修改会建立新身份?#
修改日志 revision、策略提交或观察截止时刻,观察清单摘要变化。此演示只哈希示例元数据,不上传真实样本。
评估快照身份实验室
任一输入版本变化都会产生新的逻辑评估身份。
规范化清单
运行身份
正在计算…
07 失败场景和调试顺序#
- **同一路径指向新文件:**latest 是地址,不是版本。改用不可变 revision,并确认旧对象保留期。
- **只保存 seed:**输入行序、group ID 映射、依赖版本或并行实现变化会影响折成员;保存实际分配并核对摘要。
- **只保存结果数字:**无法辨认同一数值是复现还是巧合。由结果记录反查 run_id。
- **把哈希当备份或签名:**摘要不能找回文件、验证来源或证明代码执行过;还需要版本化存储、权限与执行日志。
- **把时间、临时路径、hostname 放入逻辑身份:**每次重试都产生新 ID。除非它们改变统计过程,否则放在 attempt_id。
- **折分后仍泄漏:**按账号分组仍可能让同一用户多账号跨折;处理后特征、时间回流也会破坏评估。根据数据生成机制确定隔离单元和特征可用时刻。
排查两次 run_id 不同时,先规范化并逐字段比较清单,再核对数据 revision、真实折成员、策略摘要,最后查估计器依赖和数值确定性。不要只比输出数字。
08 可复现不等于可识别#
| 检查 | 快照可以帮助复核 | 仍需统计判断 |
|---|---|---|
| 数据身份 | 是否用了相同输入 | 标签缺失是否有偏、日志是否代表目标群 |
| 策略身份 | 代码与阈值是否一致 | 上线资源反馈是否改变潜在结果 |
| 折外预测 | 每行由哪个训练折预测 | 无未测混杂、重叠和结果机制假设 |
| 结果区间 | 重建统计量 | 是否按门店、用户或时间正确推断 |
日志没有随机探索、目标群没有共同支持或标签尚未成熟时,清单只能忠实复现一个不可靠估计。应标记不可评估、报告敏感性范围,或补采样并做小规模随机试验。
09 思考练习#
- 两次运行 run_id 相同,结果相差 0.002。哪些数值非确定性应记入 attempt_id,哪些变化会改变逻辑输入身份?
- 同一人有多个账号,按账号做 GroupKFold 仍泄漏。你怎样定义 group key?隐私代价是什么?
- 目标快照固定,但上线资格规则每天变。快照应加入哪些字段来区分 estimand?
相关工作#
- Dudík et al., Doubly Robust Policy Evaluation and Learning ↗:策略价值估计的双重稳健修正。
- Swaminathan & Joachims, Counterfactual Risk Minimization: Learning from Logged Bandit Feedback ↗:从日志反馈中校正策略选择偏差。
- Chernozhukov et al., Double/Debiased Machine Learning for Treatment and Structural Parameters ↗:正交化与交叉拟合。
- Hatt et al., Generalizing Off-policy Learning under Sample Selection Bias ↗:样本选择偏差下的目标人群离线策略学习。
10 下一篇预告#
本篇把评估结论绑定到数据、目标、策略和分折身份。下一篇沿工程路线继续追问:延迟标签逐步补齐时,怎样更新评估快照、状态和置信区间,并保留每次历史结论?