观文听傑

返回

历史样本经双重稳健评分形成决策规则,再由独立样本审计策略价值历史样本经双重稳健评分形成决策规则,再由独立样本审计策略价值

上一篇讲线上监控:告警能告诉我们哪里变了,却不能替团队从历史反馈中设计下一条规则。现在假设业务只能观察历史实际采取的动作及其结果,想学一个新策略决定“谁该接受干预”。直接回归结果再选预测均值较高的动作容易受模型错设影响;只按逆倾向加权又会被少数极端权重拖着走。

本篇聚焦一个主题:把交叉拟合的双重稳健增益分数接到一个受限策略类上,直接优化决策规则。策略学习回答“如何选规则”;上一篇的离线评估回答“选出的冻结规则在独立证据上表现怎样”。两步必须分开,不能在同一批样本上反复试规则、再把最好的那一个当作无偏评估结果。

01 从历史动作到可比较的个体增益#

设 nn 个独立决策单位,处理前特征矩阵 X∈Rn×pX\in\mathbb R^{n\times p},二元历史动作 A∈{0,1}nA\in\{0,1\}^n,观测结果 Y∈RnY\in\mathbb R^n。令 e(x)=P(A=1∣X=x)e(x)=P(A=1\mid X=x) 为倾向概率,qa(x)=E[Y∣A=a,X=x]q_a(x)=E[Y\mid A=a,X=x] 为动作 aa 的结果回归。目标规则 π(x)∈{0,1}\pi(x)\in\{0,1\} 只使用决策时可获得的信息。

先用交叉拟合(cross-fitting)按独立单位分折,在不含当前观测单位的训练折上拟合倾向概率(propensity score)e^\hat e 与结果模型(outcome model)q^0,q^1\hat q_0,\hat q_1,再对留出行计算双重稳健增益分数(Doubly Robust Gain Score):

Γ^i=q^1(Xi)−q^0(Xi)+Ai{Yi−q^1(Xi)}e^(Xi)−(1−Ai){Yi−q^0(Xi)}1−e^(Xi).\hat\Gamma_i = \hat q_1(X_i)-\hat q_0(X_i) + \frac{A_i\{Y_i-\hat q_1(X_i)\}}{\hat e(X_i)} - \frac{(1-A_i)\{Y_i-\hat q_0(X_i)\}}{1-\hat e(X_i)}.

在一致性、条件可交换性(conditional exchangeability)、正值性(positivity)等识别条件下,给定 XiX_i 的条件期望对应条件处理效应。第一项借用结果模型降噪,后两项用真实被分配动作的残差校正;倾向模型或结果模型满足相应正确性条件时,分数仍可一致估计目标增益;这就是双重稳健(doubly robust)的来源,但“二者任意一个正确”并不能补救未测混杂或缺乏重叠。

flowchart LR
  D[历史 X, A, Y 与记录倾向] --> F[按用户/簇/时间切折]
  F --> N[训练折拟合 e 与 q0、q1]
  N --> G[留出折生成 DR 增益 Γ]
  G --> P[受限策略类搜索 πθ]
  P --> V[锁定策略与版本]
  V --> H[独立留出集或新随机实验审计]
  H --> R[价值差、区间、重叠与护栏]
mermaid

这些分数是带噪的伪结果(Pseudo-outcome),不是每个人真实可同时观察到的两个潜在结果之差。拟合过程要保留折外分数、折成员、截断规则和数据版本,供复现和诊断。

02 把“预测效果”改成“选择规则”#

若不处理的价值作为基线,对一个受限策略集合(policy class)Π\Pi,可优化

J^(π)=1n∑i=1nπ(Xi)Γ^i−λ Ω(π),π^=arg⁡max⁡π∈ΠJ^(π).\hat J(\pi)=\frac1n\sum_{i=1}^{n}\pi(X_i)\hat\Gamma_i-\lambda\,\Omega(\pi),\qquad \hat\pi=\arg\max_{\pi\in\Pi}\hat J(\pi).

π(Xi)\pi(X_i) 是 0/1 动作,Γ^i\hat\Gamma_i 与 YY 同单位,Ω\Omega 可表示叶节点数或规则复杂度,λ\lambda 控制可解释性与拟合灵活度之间的取舍。若有每人处理成本 cic_i,改为最大化 n−1∑iπ(Xi)(Γ^i−ci)n^{-1}\sum_i\pi(X_i)(\hat\Gamma_i-c_i);预算、资格、公平覆盖等约束则要明确写成可行策略集合,不能把目标指标和硬约束混为一项分数。

这里优化的是策略类在样本上的经验目标,不是直接拟合 Γ^\hat\Gamma 的回归器。因此可限制为一层决策树、少量临床规则或线性阈值。限制过强会欠拟合;限制过松会利用伪结果噪声挑出“赢家”。

03 四行手算:为什么不用逐人追着噪声走#

假设某折外样本的倾向均为 0.50.5,结果模型与观测如下。按上式逐行算出增益:

人特征 xxAAYYq1q_1q0q_0Γ^\hat\Gamma
11110.60.20.4+(1−0.6)/0.5=1.20.4+(1-0.6)/0.5=1.2
22000.50.40.1−(0−0.4)/0.5=0.90.1-(0-0.4)/0.5=0.9
33100.40.30.1+(0−0.4)/0.5=−0.70.1+(0-0.4)/0.5=-0.7
44010.80.20.6−(1−0.2)/0.5=−1.00.6-(1-0.2)/0.5=-1.0

考虑只允许一条规则“当 x≤tx\le t 时处理”。阈值 t=1.5,2.5,3.5t=1.5,2.5,3.5 的样本增益和分别是 1.2,2.1,1.41.2,2.1,1.4;全处理则为 0.40.4,全不处理为 00。在这组数据里 t=2.5t=2.5 得分最高,但只有四行时选择结果极不稳定;必须用独立数据审计,而不能把 2.1 当作真实总体价值。

04 从伪代码到可运行的阈值搜索器#

先把学习步骤写清楚:

输入:折外增益 Γ、允许的策略类 Π、复杂度惩罚 λ
best ← 空
对每个候选规则 π ∈ Π:
    gain ← mean(π(Xᵢ) × Γᵢ)
    score ← gain − λ × complexity(π)
    若 score 高于 best:保存 π 与 score
输出:冻结的 best 规则
text

下面的纯 Python 示例接收折外增益和一个连续特征,穷举所有中点阈值及全处理/全不处理候选,最大化平均增益减去每条规则的复杂度惩罚。它演示策略搜索,不负责拟合倾向或结果模型,也不输出置信区间。

输入 x:[n] 与折外 gain:[n],输出可部署的单阈值规则及经验增益(四行和 2.1 除以 4 得 0.525)。实际系统中先按用户/门店等独立单位分组切折;每一折只在训练折拟合特征处理、倾向与结果干扰模型(nuisance models)e,q0,q1:[n]e,q_0,q_1:[n],再给留出折计算 Γ:[n]\Gamma:[n]。合并折外分数后搜索策略,再冻结特征模式(feature schema)、阈值和代码摘要。推理时只需读取决策前特征、检查资格与安全护栏,然后应用已冻结的规则,不在请求时重新估计 Γ\Gamma。

示例实现按 x 的数值排序、阈值候选数为 O(u)O(u)(uu 为不同取值数),逐候选打分为 O(nu)O(nu)。生产树可用动态规划、整数规划或策略学习算法处理更多叶子与约束;实现时应限制最大深度、最小叶样本和动作比例,且把等分、缺失值和超出训练范围的行为写入规则协议。

05 训练、选择、评估要分账#

推荐的流程是:

  1. **定义决策目标:**明确动作、结果方向、时间窗、成本、可用特征、资格和必须满足的约束。
  2. **生成折外增益:**按重复用户、门店、网络簇或时间依赖选切分单位,训练折拟合 nuisance 模型,留出折只产生分数。
  3. **搜索受限规则:**在训练/开发分区比较预先登记的候选策略类;记录策略复杂度、动作率、约束可行性和随机种子。
  4. **锁定唯一候选:**冻结规则、输入 schema、缺失值处理、阈值、成本表和实现摘要。
  5. **独立审计:**在从未参与拟合或挑选的日志切分上,用双重稳健离线策略评估(Doubly Robust Off-Policy Evaluation, DR-OPE)估计价值差和区间,报告有效样本量(effective sample size, ESS)、权重尾部、重叠和分层效果;高风险场景再做随机试验。

如果一份数据同时负责学习规则、挑选超参数和报告最终性能,搜索越多,赢家偏差越大。普通随机切分也不够:同一用户跨期重复出现时应按用户分组;部署目标是未来流量时应按时间前推验证。最终审计集的标签和摘要要锁定,不能因结果不理想再调规则后仍称其为“独立测试”。

键盘可展开:审计未通过时如何定位
  • **价值差区间很宽:**查看有效样本量、独立簇数和支持重叠,优先增加有效证据;不要只加深树。
  • **少数规则贡献极大:**按倾向分位数和动作分层查看权重尾部,检查正值性与截断敏感性。
  • **整体提升但某群体变差:**先核对预先声明的覆盖约束及分层不确定性,再决定是否重做策略设计。
  • **离线提升、线上不兑现:**检查动作是否实际执行、资源成本、干扰、容量饱和和结果成熟度,安排前瞻随机验证。

原生 details/summary 可用键盘展开、窄屏自然换行,并继承站点深浅主题;关键诊断也以文字列出,不依赖颜色。

06 常见失败、调试与方法边界#

  • **用同一行拟合 nuisance 再算分数:**会产生乐观的过拟合残差。检查每行是否严格由未见过该单位的模型预测;重复单位要整体留出。
  • **极端倾向导致分数爆炸:**打印 e(X)e(X) 分位数、分臂样本量和 Γ\Gamma 尾部。截断可降方差但会改变有限样本目标,应预先规定阈值并做敏感性分析。
  • **把双重稳健理解成“因果自动正确”:**它依赖识别假设、正值性和适当 nuisance 收敛率;未记录混杂、动作执行偏差、干扰或错误时间零点仍会破坏结论。
  • **直接对 noisy gain 做普通分类:**伪结果可为负且方差不等;分类标签或样本权重变换须对应明确的风险目标,不能把分类准确率当策略价值。
  • **只报告训练目标:**它是策略搜索分数,不是泛化价值。用冻结规则在独立数据做双重稳健离线策略评估(Doubly Robust Off-Policy Evaluation, DR-OPE),计算配对价值与区间。
  • **新流量超出日志支持:**目标策略在某些特征区几乎总选日志未采取的动作,离线反事实不可识别;停止外推、收窄目标人群或设计探索实验。
  • **奖励与成本尺度不一致:**先把收益和成本转换到同一单位或明示多目标约束,记录成本版本和决策时可用信息,避免事后修改成本表改变规则。
方法优化/回答什么主要依赖与风险
CATE 回归后阈值化估计效果面,再套规则结果模型误设会扭曲排序;阈值与成本要另定
结果加权学习(Outcome-weighted learning)将规则学习转成带权分类权重构造、方差和分类器目标需谨慎
DR 策略学习在候选规则类内直接最大化 DR 增益需识别、重叠、折外 nuisance 与独立审计
DR-OPE评估一个已冻结策略的价值不负责从数据搜索新策略;重叠差时不可靠
在线随机试验在实际执行环境比较策略成本、干扰、实验单位和长期反馈仍需设计

策略学习不保证找到所有可能规则中的全局最优解;它只在选定的规则类与样本证据下做优化。复杂策略需要统计正则化、稳定性评估和部署约束共同限制。

07 思考练习#

  1. 若结果模型正确但倾向模型错设,DR 增益为何仍可能有正确条件均值?哪些识别假设仍不可省略?
  2. 某阈值策略训练增益最高,但独立审计 ESS 很低且区间跨过零。你会先检查哪些诊断,是否允许部署?
  3. 策略需同时满足预算上限和至少 20% 的小群体覆盖。如何定义可行策略类,并把规则搜索与约束违反报告分开?

相关工作#

  1. Athey & Wager, Policy Learning with Observational Data ↗:从双重稳健因果效应分数学习受约束的处理分配规则。
  2. Dudík, Langford & Li, Doubly Robust Policy Evaluation and Learning ↗:将双重稳健估计用于部分反馈下的策略评估与优化。
  3. Zhang et al., A Robust Method for Estimating Optimal Treatment Regimes ↗:讨论观察性数据中最优处理规则的稳健估计。
  4. Zhao et al., Estimating Individualized Treatment Rules Using Outcome Weighted Learning ↗:把个体化处理规则写成加权分类问题。

08 下一篇预告#

策略规则从历史日志中学出之后,还要验证它在不同时间段、不同人群和不同成本条件下是否稳定。下一篇将聚焦策略稳定性:如何用重复切分、扰动与 regret 视角,区分“规则真的稳”与“刚好选中了本次噪声赢家”。

离线评估过关后,怎样从历史日志学出一条可解释的干预规则?双重稳健策略学习
https://zwjcode.cn/blog/dr-policy-learning-tree
作者 傑
发布于 2026年10月25日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。