观文听傑

返回

数据快照和冻结策略进入透明评估舱,输出带指纹的策略评估报告数据快照和冻结策略进入透明评估舱,输出带指纹的策略评估报告

上一篇把日志动作校正与目标人群运输合在一起,估计冻结策略在新用户群中的价值。复核时常遇到更基础的问题:**两周后重跑,为什么同一策略的离线结论变了?**文件名、仪表板截图和一条 run ID 往往说不清当时用的日志版本、目标人群截止日、策略代码、交叉拟合分折和估计器配置。

本篇聚焦策略评估快照(Evaluation Snapshot):一次评估的不可变输入清单和运行协议。结果单独记录并引用清单身份。它不代替随机试验,也不能让已变化的数据自动复原。

01 一份结果需要绑定什么?#

比较候选规则 π(X)\pi(X) 与基线 π0(X)\pi_0(X),目标是目标人群中的价值差 Δ=V(π)−V(π0)\Delta=V(\pi)-V(\pi_0)。完整记录分三层:

对象回答的问题典型内容
评估快照这次到底评了什么?来源/目标数据身份、时间窗、estimand、策略、模型配置、切分
运行尝试哪台环境在什么时候执行?启停时间、代码提交、依赖锁文件、日志位置
结果记录算出了什么?价值、配对差、区间、ESS、重叠诊断、状态

模型血缘通常追踪训练数据到模型制品和线上部署;评估快照则钉住“某个冻结策略如何使用某份证据算出一组数”。即使模型血缘完整,目标筛选条件或交叉拟合折变了,评估仍会改变。

flowchart LR
  D[不可变日志快照 X,T,Y] --> S[评估样本与时间窗]
  T[目标协变量快照 X_target] --> S
  P[冻结策略代码与特征定义] --> M[评估清单 manifest]
  C[estimand、估计器与切分配置] --> M
  S --> M
  M --> H[规范化序列化 + SHA-256]
  H --> R[逻辑 run_id]
  M --> E[折外估计与诊断]
  E --> O[结果记录引用 run_id]
mermaid

02 用清单哈希定义运行身份#

把评估输入写成对象 MM,运行身份定义为

run_id⁡=H(canonical⁡(M)),\operatorname{run\_id}=H(\operatorname{canonical}(M)),

其中 HH 是 SHA-256,canonical 表示固定键顺序、编码和数值约定。清单至少要有来源日志 revision、目标人群快照与资格规则、结果定义和观察窗、策略提交摘要、特征 schema、干扰模型配置、折分配、依赖环境和随机种子。

结果值不放入清单,否则结果完成后会反过来改变身份。相同输入重试应有同一逻辑 run_id;实际机器、开始时间和重试次数放进执行尝试编号(attempt_id)。运行结果再引用 run_id,并记录估计值、区间、ESS、权重分位数、折外覆盖率和输出制品摘要。

哈希只检测清单字节是否相同,不保存数据、不证明因果假设成立,也不证明谁生成了文件。必须让 revision 指向受版本保护且可恢复的数据对象。

03 手算:报告数值相同,评估不一定相同#

假设价值差都显示为 +0.04+0.04:

运行日志快照策略摘要分折Δ^\hat\Delta
Alog@d91apolicy@31c0用户分组,seed 17+0.04
Blog@e042policy@31c0用户分组,seed 17+0.04
Clog@d91apolicy@8f25用户分组,seed 17+0.04

A、B 用了不同日志,A、C 用了不同策略;四舍五入后的数字无法证明复现成功。其身份分别为 H(MA)H(M_A)、H(MB)H(M_B)、H(MC)H(M_C),应各不相同。

数据形状可写为 Xs:[n,p]X_s:[n,p]、T,Y:[n]T,Y:[n]、目标协变量 Xt:[m,p]X_t:[m,p],第 kk 折留出样本 ID 为 IkI_k。每折在训练用户上拟合倾向和结果模型,在留出用户上生成折外分数 Γi\Gamma_i;这些分数聚合成策略价值 V^\hat V、价值差和区间。快照要记录折成员,不能只留折数和种子。

04 按相关单位固定交叉拟合#

6 条记录来自 3 位重复用户:r01/r02 属于 uA,r03/r04 属于 uB,r05/r06 属于 uC。逐行随机分折可能让同一用户同时进入训练和留出集,模型便能记住用户特征。按用户分组后,两行总在同一折。

当前 scikit-learn 的 GroupKFold 支持 shuffle 与 random_state(shuffle 参数自 1.6 加入);每个 group 恰好进入一次测试折。我们还把实际留出 ID 写入清单,不能只依赖跨版本的随机种子。官方 GroupKFold API ↗

输入 X:[6,1]、y:[6]、groups:[6],输出三组训练/留出 ID 和折分摘要。每折只在 train_idx 拟合预处理、倾向与结果模型,再为 valid_idx 生成折外预测。该 API 只生成索引,不拟合模型、不保证类别平衡,也不解决未测混杂。目标若是未来时段,要用时间前推验证而非随机分组。分组键应是受控伪匿名 ID,不把邮箱或手机号写入清单。

05 规范化清单并计算身份#

下面的 Python 实现固定 schema 版本、JSON 键排序和紧凑编码,并拒绝 NaN/Infinity。跨语言系统应制定同一规范化标准;示例保证相同 Python 约定下可重算。

输入是有限大小的元数据;输出是规范字节和摘要。摘要耗时 O(B)O(B),BB 是清单字节数;不要把数十 GB 数据行塞进清单。大数据使用受控存储的不可变 snapshot ID,并记录 schema、行数、时间水位和访问位置。

06 交互:哪项修改会建立新身份?#

修改日志 revision、策略提交或观察截止时刻,观察清单摘要变化。此演示只哈希示例元数据,不上传真实样本。

评估快照身份实验室

任一输入版本变化都会产生新的逻辑评估身份。

规范化清单

运行身份

正在计算…

07 失败场景和调试顺序#

  • **同一路径指向新文件:**latest 是地址,不是版本。改用不可变 revision,并确认旧对象保留期。
  • **只保存 seed:**输入行序、group ID 映射、依赖版本或并行实现变化会影响折成员;保存实际分配并核对摘要。
  • **只保存结果数字:**无法辨认同一数值是复现还是巧合。由结果记录反查 run_id。
  • **把哈希当备份或签名:**摘要不能找回文件、验证来源或证明代码执行过;还需要版本化存储、权限与执行日志。
  • **把时间、临时路径、hostname 放入逻辑身份:**每次重试都产生新 ID。除非它们改变统计过程,否则放在 attempt_id。
  • **折分后仍泄漏:**按账号分组仍可能让同一用户多账号跨折;处理后特征、时间回流也会破坏评估。根据数据生成机制确定隔离单元和特征可用时刻。

排查两次 run_id 不同时,先规范化并逐字段比较清单,再核对数据 revision、真实折成员、策略摘要,最后查估计器依赖和数值确定性。不要只比输出数字。

08 可复现不等于可识别#

检查快照可以帮助复核仍需统计判断
数据身份是否用了相同输入标签缺失是否有偏、日志是否代表目标群
策略身份代码与阈值是否一致上线资源反馈是否改变潜在结果
折外预测每行由哪个训练折预测无未测混杂、重叠和结果机制假设
结果区间重建统计量是否按门店、用户或时间正确推断

日志没有随机探索、目标群没有共同支持或标签尚未成熟时,清单只能忠实复现一个不可靠估计。应标记不可评估、报告敏感性范围,或补采样并做小规模随机试验。

09 思考练习#

  1. 两次运行 run_id 相同,结果相差 0.002。哪些数值非确定性应记入 attempt_id,哪些变化会改变逻辑输入身份?
  2. 同一人有多个账号,按账号做 GroupKFold 仍泄漏。你怎样定义 group key?隐私代价是什么?
  3. 目标快照固定,但上线资格规则每天变。快照应加入哪些字段来区分 estimand?

相关工作#

  1. Dudík et al., Doubly Robust Policy Evaluation and Learning ↗:策略价值估计的双重稳健修正。
  2. Swaminathan & Joachims, Counterfactual Risk Minimization: Learning from Logged Bandit Feedback ↗:从日志反馈中校正策略选择偏差。
  3. Chernozhukov et al., Double/Debiased Machine Learning for Treatment and Structural Parameters ↗:正交化与交叉拟合。
  4. Hatt et al., Generalizing Off-policy Learning under Sample Selection Bias ↗:样本选择偏差下的目标人群离线策略学习。

10 下一篇预告#

本篇把评估结论绑定到数据、目标、策略和分折身份。下一篇沿工程路线继续追问:延迟标签逐步补齐时,怎样更新评估快照、状态和置信区间,并保留每次历史结论?

同一份离线评估为何会变结果?冻结策略评估快照与运行身份
https://zwjcode.cn/blog/offline-policy-evaluation-snapshot
作者 傑
发布于 2026年10月24日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。