观文听傑

返回

离线策略在试验日志和目标人群之间做双重稳健价值评估的示意图离线策略在试验日志和目标人群之间做双重稳健价值评估的示意图

上一篇从试验内平均处理效应出发,说明怎样按目标用户构成运输结论。若最终上线的是“只处理某些人”的个体化规则,单个目标 ATE 仍不够:规则可能只给一部分人处理,且日志处理分配与规则动作不一致。

本篇聚焦一个问题:**怎样用一份旧策略日志,估计冻结规则在不同目标用户群中的平均结果?**我们把双重稳健离线评估(Doubly Robust Off-policy Evaluation,DR-OPE)与目标人群密度比组合,说明公式、手算、实现和失效边界。目标是评估规则,不在同一评估集上反复训练或挑阈值。

01 把三个“分配机制”分清#

每行用户有处理前特征 Xi∈RpX_i\in\mathbb R^p、是否属于来源日志 Si=1S_i=1、实际日志动作 Ti∈{0,1}T_i\in\{0,1\} 和结果 YiY_i。目标人群样本 S=0S=0 通常只有 XX,没有上线结果。候选策略 π(X)\pi(X) 根据处理前特征给出动作。

三个概率回答不同问题:

  • e(X)=P(T=1∣X,S=1)e(X)=P(T=1\mid X,S=1):日志里实际处理分配的倾向。
  • r(X)=f(X∣S=0)/f(X∣S=1)r(X)=f(X\mid S=0)/f(X\mid S=1):目标人群相对日志人群的密度比。
  • π(X)\pi(X):待评估规则决定采取的动作,不是概率模型,除非策略本身随机化。

若把 rr 错当成 ee,或者把规则动作当成观察到的处理,分母会修正错误的选择机制。

flowchart LR
  L[旧日志 X,T,Y] --> A[估计 e(X), μ₀(X), μ₁(X)]
  P[训练区冻结规则 π(X)] --> C[评估日志生成动作 π]
  T[目标人群协变量 X_target] --> R[估计密度比 r(X)]
  A --> D[计算逐行 DR 分数 Γ]
  C --> D
  D --> W[乘目标/日志密度比]
  R --> W
  W --> V[目标策略价值与配对差]
mermaid

假设来源日志中处理选择在给定 XX 后可忽略,目标与来源在给定所测效应修饰因素后条件结果机制一致,而且目标人群在日志中有支持。规则、ee、μ0\mu_0、μ1\mu_1 和密度比估计须使用不含最终评估行的信息,或采用正确的交叉拟合。

02 目标策略的双重稳健分数#

日志策略分配概率为 eie_i,结果模型为 μt(x)=E[Y∣T=t,X=x,S=1]\mu_t(x)=E[Y\mid T=t,X=x,S=1]。给定冻结规则 πi=π(Xi)\pi_i=\pi(X_i),首先构造与普通离线策略评估相同的逐行 DR 分数:

Γi(π)=μ^πi(Xi)+1(Ti=πi)p^πi(Xi)[Yi−μ^Ti(Xi)],p^πi=πie^i+(1−πi)(1−e^i).\Gamma_i(\pi)=\hat\mu_{\pi_i}(X_i)+\frac{\mathbb 1(T_i=\pi_i)}{\hat p_{\pi_i}(X_i)}[Y_i-\hat\mu_{T_i}(X_i)], \quad \hat p_{\pi_i}=\pi_i\hat e_i+(1-\pi_i)(1-\hat e_i).

它用结果模型给所有人提供规则动作下的预测,再用日志中动作恰好与规则相同的行进行加权残差修正。目标人群策略价值为 V0(π)=E[Y(π(X))∣S=0]V_0(\pi)=E[Y(\pi(X))\mid S=0]。用目标/来源密度比 r(X)r(X) 加权后,归一化估计量为

V^0(π)=∑i:Si=1r^iΓi(π)∑i:Si=1r^i.\hat V_0(\pi)=\frac{\sum_{i:S_i=1}\hat r_i\Gamma_i(\pi)}{\sum_{i:S_i=1}\hat r_i}.

密度比主要修正来源用户与目标用户的构成;DR 残差项修正日志动作选择。两者各自针对不同机制。估计值依赖一致性、无未测混杂、可迁移结果机制与双重重叠;把两个估计器相乘并不会让假设自动变弱。

输入形状:日志 Xs:[n,p],Ts,Ys,e,r,π:[n]X_s:[n,p], T_s,Y_s,e,r,\pi:[n],目标协变量 Xt:[m,p]X_t:[m,p]。分数 Γ:[n]\Gamma:[n];目标价值是标量。若同一来源对象重复出现在多个日志时点,推断单位和切分必须按用户/实验随机化簇或时间序列结构设计。

03 四行手算:两个权重如何先后作用#

用户日志 TTYYee目标规则 π\piμ0\mu_0μ1\mu_1密度比 rrDR 分数 Γ\Gamma
A18.514717+(8−7)/.5=97+(8-7)/.5=9
B05.505315+(5−5)/.5=55+(5-5)/.5=5
C14.5034333
D01.5125355

来源日志中规则的普通 DR 均值是 (9+5+3+5)/4=5.5(9+5+3+5)/4=5.5。目标群体密度比归一化后,A、B 各权重 1/81/8,C、D 各 3/83/8,因此目标价值为

(1⋅9+1⋅5+3⋅3+3⋅5)/(1+1+3+3)=4.75.(1\cdot9+1\cdot5+3\cdot3+3\cdot5)/(1+1+3+3)=4.75.

密度比把目标中更常见的 C、D 特征区域重新加重;而 C、D 的 DR 分数仍按各自动作匹配情况计算。小样本只用于验证乘法流程,不能据此声称真实收益变差。

04 教学版纯 Python 计算#

下面的函数只实现归一化目标 DR 分数的算术,不负责拟合任何 nuisance 模型。输入六个同长度的一维列表,输出逐行分数、目标价值和 Kish 有效样本量。生产用途还需计算合适的方差、重做交叉拟合并依据实际设计选择聚类或时间序列推断。

代码中 p_match 是日志抽到规则目标动作的概率;当处理与策略动作不匹配时,结果残差不可观测,保留模型预测。density_ratio 是相对于日志来源的目标分布权重。它们不能互换,也不能先把两种权重裁成同一阈值而不报告敏感性。

05 估计流水线与有效 API 边界#

若有 KK 折交叉拟合,对每折先在其余折拟合处理倾向、两个结果模型和来源/目标分类模型,再给留出日志行生成 e^,μ^0,μ^1,r^\hat e,\hat\mu_0,\hat\mu_1,\hat r。策略规则也应在另一训练区冻结。若目标样本足够,可对来源与目标的 XX 拟合选择模型并转换成密度比;必须将类别列、缺失值管道和抽样比例纳入估计,不能把 predict_proba(S=0) 直接当成 rr。

输入:来源日志 X_s,T_s,Y_s;目标协变量 X_t;预先冻结规则 π
1. 按对象/簇/时间切分来源日志,避免同一单位跨训练与评估
2. 对每个评估折生成折外 e、μ0、μ1 和来源—目标密度比 r
3. 计算每行 π(X)、p_match 与 DR 分数 Γ
4. 以 r 对 Γ 归一化加权,得到目标价值 V0(π)
5. 同一批行对候选策略与基线算配对分数差
6. 报告重叠、ESS、权重尾部、区间和目标定义
text

这篇示例不依赖某个库的版本特有 API,使用标准 Python 让分数与维度透明。实际拟合器可用 scikit-learn 分类/回归 Pipeline,但要在交叉拟合训练折内拟合预处理;以 classes_ 定位正类列,并验证概率列顺序。对于特征数值化、插补、校准和模型调参,应遵守当前所用版本官方 API 文档。

06 诊断:一张 ESS 表不等于目标人群已被覆盖#

检查项计算或分层失败信号
日志动作重叠查看规则要求动作对应的 pmatchp_{match} 分布很多规则动作几乎没有被日志尝试
来源—目标重叠对 rr 分位数、最大值、目标样本支持作图目标特征区域在来源日志中空缺
双重 ESS分别查看密度比 ESS 与 r/pmatchr/p_{match} 综合权重 ESS名义用户数大而有效信息由少数用户贡献
目标定义明确时间、地区、资格、处理版本、结果口径目标群体边界随分析结果改变
规则冻结记录代码版本、阈值、特征定义与基线在同一评估集上筛选后只报赢家

密度比和动作权重相乘会产生重尾;截断可降低方差但改变偏差,应展示预先定义的一组敏感性结果。简单 IID 标准误通常忽略模型拟合和密度比估计不确定性;若随机化单位是门店或网络簇,要按簇估计;若用户跨时段重复出现,则还需反映时间依赖。训练集调参、评估集估价值、最终确认集做规则选择后的审计,三者职责不能混用。

07 什么时候这个分数不可信?#

  1. **未测混杂:**日志处理不是随机或条件可忽略,e(X)e(X) 只调整已测量特征。
  2. **处理版本改变:**旧日志的干预强度、界面、服务人员或资格条件与计划上线版本不同。
  3. **目标人群新特征:**目标存在日志从未覆盖的区域,rr 再大也只是外推警告,不能制造反事实。
  4. **效果机制变化:**给定现有 XX 后处理效果仍因时间、环境或群体改变。
  5. **自适应筛选:**用同一目标评估集多次挑策略,DR 不能抵消选择偏差。
  6. **干扰与容量反馈:**个体处理会改变他人结果或队列资源,逐人独立价值函数不再等于整体上线价值。

若目标人群重叠很差,可把 estimand 明确改成共同支持人群、收集目标地区的随机试点,或对未测迁移偏差做敏感性区间。不要把“最稳定的截断版本”悄悄重命名为原本的全国策略价值。

08 与相邻估计量的比较#

估计量日志动作修正目标人群修正典型目标
DR-OPE双重稳健分数无日志来源人群的冻结策略价值
运输 ATE试验内处理随机化/结果模型标准化或参与赔率目标人群平均处理效应
目标 DR 策略价值匹配动作残差来源—目标密度比目标人群中的个体规则平均结果
线上随机试验真实随机分配直接招募目标用户对上线环境的新因果证据

离线运输评估适合缩小候选规则、找支持不足和设计下一轮试验;它不能替代真实上线环境中的随机验证。安全护栏、资源容量和群体约束仍要显式写进策略目标。

09 思考练习#

  1. 对四行例子,若密度比改成 [1,1,10,10],计算目标价值和 ESS。估计会更代表哪个用户群?
  2. 某条规则对 30% 目标用户采取日志几乎从未出现的动作。你会先改规则、补做随机探索,还是依靠结果模型外推?列出证据和风险。
  3. 门店按集群随机、一个人可能多次出现。构造拆分、价值差和不确定性估计时,最小独立单位分别是什么?

相关工作#

  1. Dudík et al., Doubly Robust Policy Evaluation and Learning ↗:提出部分反馈策略的双重稳健评估与学习框架。
  2. Hatt et al., Generalizing Off-policy Learning under Sample Selection Bias ↗:研究样本选择偏差下推广到目标人群的离线策略学习。
  3. Dahabreh et al., Study Designs for Extending Causal Inferences From a Randomized Trial to a Target Population ↗:说明试验与目标样本设计如何决定运输识别条件。
  4. Athey & Wager, Policy Learning with Observational Data ↗:讨论观察数据条件下有约束策略学习。

10 下一篇预告#

到这里,路线从因果效应、个体化策略推进到目标人群运输与离线验证。下一篇将回到工程实践:当日志、目标人群和模型版本持续变化时,怎样为因果评估建立可复现的数据与策略审计记录。

离线策略搬到新用户群会变好吗?双重稳健的目标人群价值评估
https://zwjcode.cn/blog/transported-policy-value-dr-ope
作者 傑
发布于 2026年10月23日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。