同一策略换一批样本就变样,规则到底稳不稳?Bootstrap 一致性与 Regret 诊断
从策略学习的赢家偏差出发,用分层重抽样比较规则结构、动作一致性与离线 regret,并解释稳定性诊断不能替代独立审计。
上一篇从交叉拟合的双重稳健增益分数中搜索一条受限规则,再用独立数据审计冻结规则。还有一个实际问题:换一批训练样本、换一个随机切分,规则会不会从“给高风险人群干预”跳成“谁也不干预”?只看一次训练分数无法回答,因为搜索本身会把噪声最大的赢家挑出来。
本文聚焦一个主题:策略规则的稳定性诊断。我们按决策单位重抽样,重复完整的规则学习流程,比较规则结构、逐人动作一致性与独立审计 regret(后悔值)。稳定性帮助发现脆弱决策;它不能证明策略无偏、因果成立或适合部署。
01 规则得分高,为什么可能只是抽中了噪声?#
设每个决策单位有处理前特征 、历史动作 和结果 。上一篇的折外双重稳健增益分数记作 ,规则 的经验增益为
其中 是策略动作, 惩罚复杂度, 控制复杂规则的代价。若同时尝试很多阈值、深度和特征,最大训练分数会有向上的选择偏差。换一批数据后,获胜切分可能变了,即使所有候选规则的真实价值差很小。
flowchart LR
D[按独立决策单位整理日志] --> B[重复分层重抽样]
B --> N[每次重拟合交叉拟合干扰模型]
N --> G[生成折外 DR 增益]
G --> P[在相同受限策略类学习规则]
P --> C[在共同参考人群比较动作与结构]
P --> R[在未参与选择的审计样本算 regret]
C --> Q[稳定性区间与分层诊断]
R --> Qmermaid重抽样单位必须反映独立性:同一用户多次出现就整用户抽样;门店随机化就按门店抽样;部署目标面向未来时,随机 bootstrap 不能代替时间前推验证。每轮都要重拟合倾向和结果模型,再算折外增益;若只对已算好的 重抽,会漏掉 nuisance 模型估计的不稳定性。
02 把“规则相同”拆成三个可测问题#
比较 次重拟合得到的规则 ,需要固定同一参考人群 ,逐个计算动作矩阵
可报告三种互补统计量:
| 诊断 | 计算 | 能发现什么 | 不能说明什么 |
|---|---|---|---|
| 动作率分布 | ,报告中位数与分位区间 | 每轮规则覆盖多少人 | 不能定位哪些人被反复改判 |
| 单位级动作稳定率 | ,其中 | 哪些参考对象的动作最不稳定 | 不是个人处理效果的置信度 |
| 规则结构频率 | 统计特征、方向、阈值区间或叶节点数 | 学到的是同类规则还是不同规则 | 数值阈值不同不必然意味着动作不同 |
例如 表示 80 次重抽样中 60 次对参考对象 采取多数动作。报告总体均值时也要展示 的分布和预定义群体分层,避免“总体 90% 一致”掩盖少数高影响群体的低一致性。参考人群应在看结果前固定,不能每个 bootstrap 样本各自选比较对象。
03 五行手算:相同平均动作率,规则也可能不同#
考虑 5 个固定参考对象。下面两条规则各自处理 2 人,动作率都是 ,但只有 3 人动作相同:
| 对象 | 1 | 2 | 3 | 4 | 5 | 动作率 |
|---|---|---|---|---|---|---|
| 重抽样规则 A | 1 | 1 | 0 | 0 | 0 | |
| 重抽样规则 B | 0 | 1 | 1 | 0 | 0 | |
| 一致动作? | 否 | 是 | 否 | 是 | 是 |
如果只监控动作率,A 与 B 完全一样;逐对象比较则显示 40% 的参考人群被换了决策。进一步按群体分层,若对象 1 和 3 属于一个脆弱群体,局部动作一致率为 0,整体 0.6 会隐藏重要差异。这个例子是规则比较,不是说多数动作更正确。
04 用极小 Python 例子计算动作一致性与 regret#
先说清伪代码:
冻结参考样本 X* 和独立审计增益 Γtest
对 b = 1...B:
按独立单位重抽训练样本
重拟合交叉拟合模型并生成折外增益 Γb
在固定复杂度/预算规则类中学习 πb
记录 πb(X*) 和 πb(Xtest)
逐参考对象计算多数动作比例与稳定率
用同一 Γtest 评估每轮 πb 对固定参考规则的 regret
报告全体和预注册群体结果text下面的教学函数只接受已经学习好的动作矩阵以及同一份独立审计增益分数。它计算成对动作一致率、每个对象的多数动作稳定率,以及相对参考策略的经验 regret;它不拟合因果模型,不估置信区间,也不能把审计集用于重新挑选策略。
def compare_policies(actions, audit_gain, reference_action):
# actions: [B, m], audit_gain: [m], reference_action: [m]
B = len(actions)
m = len(audit_gain)
if B < 2 or m == 0 or len(reference_action) != m:
raise ValueError("至少两条规则,且审计向量长度必须匹配")
if any(len(row) != m for row in actions):
raise ValueError("每条规则必须作用于同一参考人群")
if any(a not in (0, 1) for row in actions for a in row):
raise ValueError("动作必须为 0/1")
# 每行:该对象在 B 次重拟合中的处理比例
treatment_rates = [sum(row[j] for row in actions) / B for j in range(m)]
stability = [max(rate, 1.0 - rate) for rate in treatment_rates]
pairwise = []
for b in range(B):
for c in range(b + 1, B):
pairwise.append(sum(x == y for x, y in zip(actions[b], actions[c])) / m)
def value(row):
return sum(a * g for a, g in zip(row, audit_gain)) / m
reference_value = value(reference_action)
regrets = [reference_value - value(row) for row in actions]
return {
"mean_pairwise_agreement": sum(pairwise) / len(pairwise),
"unit_stability": stability,
"mean_treatment_rate": sum(map(sum, actions)) / (B * m),
"audit_regret": regrets,
}
result = compare_policies(
actions=[[1, 1, 0, 0, 0], [0, 1, 1, 0, 0], [1, 1, 0, 0, 0]],
audit_gain=[2.0, 0.4, 1.5, -0.2, 0.1],
reference_action=[1, 1, 0, 0, 0],
)
print(result)
# agreement=0.7333; unit stability=[0.6667, 1, 0.6667, 1, 1]
# mean treatment rate=0.4; audit regrets=[0.0, 0.10, 0.0]pythonactions 的形状是 ,每行对应一次完整重拟合后的冻结规则,每列是同一参考对象;audit_gain:[m] 是不参与训练、调参或选择的折外增益。策略价值使用平均增益 ,regret 定义为参考规则价值减去候选规则价值。例中第二条规则漏掉高增益对象 1、改为处理对象 3,价值少 。这里参考规则只作教学基线;若以审计集选参考规则,regret 也会带选择偏差。
05 真实流程中哪些东西必须每轮重做?#
- **先冻结问题定义:**处理动作、结果方向、决策时间、成本、预算和资格约束;固定策略类、复杂度上限、特征 schema 与分折单位。
- **构造重抽样:**以用户、门店或随机化簇为单位抽样。时间依赖数据另设滚动时间切分;不要把未来行随机混入过去。
- **完整重跑学习流程:**每轮在训练区内部交叉拟合倾向 与结果模型 ,只为留出行生成 ,再拟合候选规则。阈值、插补、特征筛选和超参数若本来会由数据决定,也要放进重抽样循环。
- **在共同参考人群比较:**该人群只提供稳定的比较坐标;若是未来总体,应预先固定时间范围和入选规则。估计未来价值时另用从未参与选择的审计集。
- **按预注册分层报告:**展示动作率区间、配对一致率、单位稳定率、结构频率、离线 regret 和样本支持。保持每组分母、权重尾部和不确定性可见。
伪随机数要显式管理:传统 numpy.random.seed 会改全局随机状态;用 NumPy Generator 可把随机流作为输入管理(见 官方 Generator 文档 ↗),并保存生成器状态与抽样索引以复现。本文最小示例不依赖第三方 API;生产实现应记录库版本、种子、抽样单位、每轮样本索引、折分、模型参数和代码提交,不能只存最终阈值。
06 键盘可展开:低稳定率先查什么?#
展开:大多数对象稳定,少数区域频繁翻转
先按预先定义的业务群体、倾向分位数和特征支持范围分层。若翻转集中在支持差或权重极端区域,报告其样本量、动作变化与重叠诊断;不要通过删除这些对象来美化总体稳定率。结合成本和安全约束,必要时让策略在该区域回退到既定基线或暂不决策。
展开:阈值变化很大,但参考样本动作几乎不变
检查阈值附近是否没有足够样本,或多个阈值在观测支持区间内诱导同一动作。此时规则参数不稳定而部署行为可能近似稳定;仍应检查超出样本范围时的外推行为与新增人群覆盖。
展开:动作很一致,独立 regret 却明显为负
先核对 regret 符号、审计样本是否被间接用于选择、是否严格折外、结果成熟窗口和处理版本。规则稳定表示重复数据下决策相似,不表示决策有正价值;暂停价值结论并保留评估切分。
原生 details/summary 可用键盘展开、适配手机窄屏,并继承站点深浅主题。流程图同时给出文字步骤,结论不依赖颜色。
07 常见误读与失败场景#
- **只重抽伪结果,不重拟合干扰模型:**会低估流程不稳定性。保存每轮折外预测,确认每行预测来自未见该决策单位的模型。
- **把样本行当独立单位:**重复用户或簇内相关会让 bootstrap 过窄。抽样单位应与随机化和部署单位一致。
- **用普通 bootstrap 评价时间外推:**未来策略表现受时间漂移影响。另做前推窗口和按时间块的敏感性分析。
- **动作率稳定就宣布策略稳定:**不同人被处理仍可有同样比例。看共同参考样本上的逐人一致率及预注册群体分层。
- **规则参数稳定就认为效果稳健:**相同阈值无法修复未测混杂、正值性失败或执行偏差;独立 DR-OPE/随机审计仍是另一项证据。
- **低一致率就自动删群体:**这会改变目标人群与策略目标。应报告原定人群中的不稳定区间,再明确提出经授权的资格调整和新估计目标。
- **在审计集上反复挑规则:**会让 regret 变得乐观。若需要比较多个候选,使用训练/选择/最终审计三段式数据或新的随机试验。
- **只给一个一致性数字:**总体平均可能由大群体主导。附动作率分布、群体分母、单位稳定率分位数、权重尾部和失败支持区域。
稳定性和 regret 是补充视角:前者问“样本扰动会不会改变动作”,后者问“相对已声明基线会损失多少经验价值”。它们都依赖数据覆盖与估计设计,不能取代因果识别假设、置信区间和部署护栏。
08 与相近诊断的区别#
| 方法 | 主要问题 | 关键限制 |
|---|---|---|
| Bootstrap 稳定性 | 重拟合后规则或动作是否变化 | 重抽样方案须匹配依赖结构;不是因果有效性检验 |
| 独立 DR-OPE | 冻结策略相对基线的价值 | 依赖重叠、交叉拟合和识别假设 |
| 最优子集 regret | 受限规则相对候选类中最好者的损失 | 候选类及其估计误差需明确定义 |
| 在线随机试验 | 实际执行环境中的相对效果 | 要处理干扰、容量、长期结果和安全监测 |
最稳妥的解读是联合报告:规则是否可复现、价值在独立数据上是否为正、支持与约束是否充分,以及线上试验是否确认。不要把“稳定”写成“正确”的同义词。
09 思考练习#
- 参考人群有 1,000 人,平均动作一致率 95%,但某个预注册小群体只有 55%。你会提供哪些分母、区间和策略回退证据?
- 规则阈值在 bootstrap 中从 2 到 8 波动,而每次对 98% 的共同参考对象动作相同。如何区分参数不可识别、支持稀疏和真实策略差异?
- 每轮都重做了规则学习,但交叉拟合干扰模型沿用全数据结果模型。这个稳定率为何偏乐观?要怎样重构拆分?
相关工作#
- Athey & Wager, Policy Learning with Observational Data ↗:讨论观察数据下策略学习、估计和 regret 目标。
- Nie & Wager, Quasi-Oracle Estimation of Heterogeneous Treatment Effects ↗:研究正交化学习及其泛化误差分析。
- Efron & Tibshirani, An Introduction to the Bootstrap ↗:系统介绍 bootstrap 重抽样思想及适用边界。
- Dudík et al., Doubly Robust Policy Evaluation and Learning ↗:连接部分反馈下策略价值评估与策略学习。
10 下一篇预告#
稳定性诊断告诉我们哪些规则容易随样本翻转,但规则上线后仍需回答“每次决策凭什么做、当时模型和数据究竟是哪一版”。下一篇将整理决策级审计记录:把特征快照、策略版本、倾向与结果估计、动作执行及后续结果串成可重放证据链。