离线策略搬到新用户群会变好吗?双重稳健的目标人群价值评估
将日志处理概率校正与目标人群运输合并,推导冻结个体策略的目标价值估计,用手算和纯 Python 分数计算识别重叠风险。
上一篇从试验内平均处理效应出发,说明怎样按目标用户构成运输结论。若最终上线的是“只处理某些人”的个体化规则,单个目标 ATE 仍不够:规则可能只给一部分人处理,且日志处理分配与规则动作不一致。
本篇聚焦一个问题:**怎样用一份旧策略日志,估计冻结规则在不同目标用户群中的平均结果?**我们把双重稳健离线评估(Doubly Robust Off-policy Evaluation,DR-OPE)与目标人群密度比组合,说明公式、手算、实现和失效边界。目标是评估规则,不在同一评估集上反复训练或挑阈值。
01 把三个“分配机制”分清#
每行用户有处理前特征 、是否属于来源日志 、实际日志动作 和结果 。目标人群样本 通常只有 ,没有上线结果。候选策略 根据处理前特征给出动作。
三个概率回答不同问题:
- :日志里实际处理分配的倾向。
- :目标人群相对日志人群的密度比。
- :待评估规则决定采取的动作,不是概率模型,除非策略本身随机化。
若把 错当成 ,或者把规则动作当成观察到的处理,分母会修正错误的选择机制。
flowchart LR
L[旧日志 X,T,Y] --> A[估计 e(X), μ₀(X), μ₁(X)]
P[训练区冻结规则 π(X)] --> C[评估日志生成动作 π]
T[目标人群协变量 X_target] --> R[估计密度比 r(X)]
A --> D[计算逐行 DR 分数 Γ]
C --> D
D --> W[乘目标/日志密度比]
R --> W
W --> V[目标策略价值与配对差]mermaid假设来源日志中处理选择在给定 后可忽略,目标与来源在给定所测效应修饰因素后条件结果机制一致,而且目标人群在日志中有支持。规则、、、 和密度比估计须使用不含最终评估行的信息,或采用正确的交叉拟合。
02 目标策略的双重稳健分数#
日志策略分配概率为 ,结果模型为 。给定冻结规则 ,首先构造与普通离线策略评估相同的逐行 DR 分数:
它用结果模型给所有人提供规则动作下的预测,再用日志中动作恰好与规则相同的行进行加权残差修正。目标人群策略价值为 。用目标/来源密度比 加权后,归一化估计量为
密度比主要修正来源用户与目标用户的构成;DR 残差项修正日志动作选择。两者各自针对不同机制。估计值依赖一致性、无未测混杂、可迁移结果机制与双重重叠;把两个估计器相乘并不会让假设自动变弱。
输入形状:日志 ,目标协变量 。分数 ;目标价值是标量。若同一来源对象重复出现在多个日志时点,推断单位和切分必须按用户/实验随机化簇或时间序列结构设计。
03 四行手算:两个权重如何先后作用#
| 用户 | 日志 | 目标规则 | 密度比 | DR 分数 | ||||
|---|---|---|---|---|---|---|---|---|
| A | 1 | 8 | .5 | 1 | 4 | 7 | 1 | |
| B | 0 | 5 | .5 | 0 | 5 | 3 | 1 | |
| C | 1 | 4 | .5 | 0 | 3 | 4 | 3 | |
| D | 0 | 1 | .5 | 1 | 2 | 5 | 3 |
来源日志中规则的普通 DR 均值是 。目标群体密度比归一化后,A、B 各权重 ,C、D 各 ,因此目标价值为
密度比把目标中更常见的 C、D 特征区域重新加重;而 C、D 的 DR 分数仍按各自动作匹配情况计算。小样本只用于验证乘法流程,不能据此声称真实收益变差。
04 教学版纯 Python 计算#
下面的函数只实现归一化目标 DR 分数的算术,不负责拟合任何 nuisance 模型。输入六个同长度的一维列表,输出逐行分数、目标价值和 Kish 有效样本量。生产用途还需计算合适的方差、重做交叉拟合并依据实际设计选择聚类或时间序列推断。
from math import isfinite
def target_dr_value(t, y, e, mu0, mu1, policy, density_ratio):
n = len(y)
arrays = [t, y, e, mu0, mu1, policy, density_ratio]
if n == 0 or any(len(a) != n for a in arrays):
raise ValueError("输入必须是同长度非空向量")
scores = []
for ti, yi, ei, m0, m1, pi, ri in zip(*arrays):
if ti not in (0, 1) or pi not in (0, 1):
raise ValueError("t 和 policy 必须为 0/1")
if not 0.0 < ei < 1.0 or ri < 0:
raise ValueError("e 必须在 (0,1),密度比不能为负")
mu_pi = m1 if pi else m0
p_match = ei if pi else 1.0 - ei
residual = yi - (m1 if ti else m0) if ti == pi else 0.0
score = mu_pi + residual / p_match
if not isfinite(score):
raise ValueError("分数出现 NaN/无穷")
scores.append(score)
total = sum(density_ratio)
if total <= 0:
raise ValueError("目标密度比总和必须为正")
value = sum(r * g for r, g in zip(density_ratio, scores)) / total
ess = total ** 2 / sum(r ** 2 for r in density_ratio)
return scores, value, ess
scores, value, ess = target_dr_value(
t=[1, 0, 1, 0], y=[8, 5, 4, 1], e=[.5] * 4,
mu0=[4, 5, 3, 2], mu1=[7, 3, 4, 5],
policy=[1, 0, 0, 1], density_ratio=[1, 1, 3, 3],
)
print(scores, value, ess)
# [9.0, 5.0, 3, 5] 4.75 3.2python代码中 p_match 是日志抽到规则目标动作的概率;当处理与策略动作不匹配时,结果残差不可观测,保留模型预测。density_ratio 是相对于日志来源的目标分布权重。它们不能互换,也不能先把两种权重裁成同一阈值而不报告敏感性。
05 估计流水线与有效 API 边界#
若有 折交叉拟合,对每折先在其余折拟合处理倾向、两个结果模型和来源/目标分类模型,再给留出日志行生成 。策略规则也应在另一训练区冻结。若目标样本足够,可对来源与目标的 拟合选择模型并转换成密度比;必须将类别列、缺失值管道和抽样比例纳入估计,不能把 predict_proba(S=0) 直接当成 。
输入:来源日志 X_s,T_s,Y_s;目标协变量 X_t;预先冻结规则 π
1. 按对象/簇/时间切分来源日志,避免同一单位跨训练与评估
2. 对每个评估折生成折外 e、μ0、μ1 和来源—目标密度比 r
3. 计算每行 π(X)、p_match 与 DR 分数 Γ
4. 以 r 对 Γ 归一化加权,得到目标价值 V0(π)
5. 同一批行对候选策略与基线算配对分数差
6. 报告重叠、ESS、权重尾部、区间和目标定义text这篇示例不依赖某个库的版本特有 API,使用标准 Python 让分数与维度透明。实际拟合器可用 scikit-learn 分类/回归 Pipeline,但要在交叉拟合训练折内拟合预处理;以 classes_ 定位正类列,并验证概率列顺序。对于特征数值化、插补、校准和模型调参,应遵守当前所用版本官方 API 文档。
06 诊断:一张 ESS 表不等于目标人群已被覆盖#
| 检查项 | 计算或分层 | 失败信号 |
|---|---|---|
| 日志动作重叠 | 查看规则要求动作对应的 分布 | 很多规则动作几乎没有被日志尝试 |
| 来源—目标重叠 | 对 分位数、最大值、目标样本支持作图 | 目标特征区域在来源日志中空缺 |
| 双重 ESS | 分别查看密度比 ESS 与 综合权重 ESS | 名义用户数大而有效信息由少数用户贡献 |
| 目标定义 | 明确时间、地区、资格、处理版本、结果口径 | 目标群体边界随分析结果改变 |
| 规则冻结 | 记录代码版本、阈值、特征定义与基线 | 在同一评估集上筛选后只报赢家 |
密度比和动作权重相乘会产生重尾;截断可降低方差但改变偏差,应展示预先定义的一组敏感性结果。简单 IID 标准误通常忽略模型拟合和密度比估计不确定性;若随机化单位是门店或网络簇,要按簇估计;若用户跨时段重复出现,则还需反映时间依赖。训练集调参、评估集估价值、最终确认集做规则选择后的审计,三者职责不能混用。
07 什么时候这个分数不可信?#
- **未测混杂:**日志处理不是随机或条件可忽略, 只调整已测量特征。
- **处理版本改变:**旧日志的干预强度、界面、服务人员或资格条件与计划上线版本不同。
- **目标人群新特征:**目标存在日志从未覆盖的区域, 再大也只是外推警告,不能制造反事实。
- **效果机制变化:**给定现有 后处理效果仍因时间、环境或群体改变。
- **自适应筛选:**用同一目标评估集多次挑策略,DR 不能抵消选择偏差。
- **干扰与容量反馈:**个体处理会改变他人结果或队列资源,逐人独立价值函数不再等于整体上线价值。
若目标人群重叠很差,可把 estimand 明确改成共同支持人群、收集目标地区的随机试点,或对未测迁移偏差做敏感性区间。不要把“最稳定的截断版本”悄悄重命名为原本的全国策略价值。
08 与相邻估计量的比较#
| 估计量 | 日志动作修正 | 目标人群修正 | 典型目标 |
|---|---|---|---|
| DR-OPE | 双重稳健分数 | 无 | 日志来源人群的冻结策略价值 |
| 运输 ATE | 试验内处理随机化/结果模型 | 标准化或参与赔率 | 目标人群平均处理效应 |
| 目标 DR 策略价值 | 匹配动作残差 | 来源—目标密度比 | 目标人群中的个体规则平均结果 |
| 线上随机试验 | 真实随机分配 | 直接招募目标用户 | 对上线环境的新因果证据 |
离线运输评估适合缩小候选规则、找支持不足和设计下一轮试验;它不能替代真实上线环境中的随机验证。安全护栏、资源容量和群体约束仍要显式写进策略目标。
09 思考练习#
- 对四行例子,若密度比改成
[1,1,10,10],计算目标价值和 ESS。估计会更代表哪个用户群? - 某条规则对 30% 目标用户采取日志几乎从未出现的动作。你会先改规则、补做随机探索,还是依靠结果模型外推?列出证据和风险。
- 门店按集群随机、一个人可能多次出现。构造拆分、价值差和不确定性估计时,最小独立单位分别是什么?
相关工作#
- Dudík et al., Doubly Robust Policy Evaluation and Learning ↗:提出部分反馈策略的双重稳健评估与学习框架。
- Hatt et al., Generalizing Off-policy Learning under Sample Selection Bias ↗:研究样本选择偏差下推广到目标人群的离线策略学习。
- Dahabreh et al., Study Designs for Extending Causal Inferences From a Randomized Trial to a Target Population ↗:说明试验与目标样本设计如何决定运输识别条件。
- Athey & Wager, Policy Learning with Observational Data ↗:讨论观察数据条件下有约束策略学习。
10 下一篇预告#
到这里,路线从因果效应、个体化策略推进到目标人群运输与离线验证。下一篇将回到工程实践:当日志、目标人群和模型版本持续变化时,怎样为因果评估建立可复现的数据与策略审计记录。