观文听傑

返回

完整案例托盘、随机提起的少量卡片与还原总体的黄铜砝码概念插画完整案例托盘、随机提起的少量卡片与还原总体的黄铜砝码概念插画

上一篇用最坏情形界限保留缺失结果的未知范围,说明只补回容易联系的人的标签,会让新的成功率继续受选择影响。现在审计团队有一笔固定核验预算:全部补齐太贵,只找最可疑的案例又不能代表全队列。怎样让有限标签同时具有可解释的总体含义?

本篇讲随机核验抽样(Randomized Outcome Auditing):冻结缺失者名单,在每层等概率抽取固定人数,用抽中概率的倒数还原该层总量。已知标签直接计入,随机性只来自核验名单;由此可以明确算出估计偏差、方差和预算的关系。这里的核验读取已经发生的结果,例如核对七日报名记录;若联系会改变报名行为,就应另立干预实验。

01 已知标签保留,缺失池成为抽样框#

延续固定策略的七日结果 Yi∈{0,1}Y_i\in\{0,1\}。先冻结一个群体的全部成熟入口,人数为 NN,入口键唯一;基线、人工完成、超时回退等路径均保留。目标仍是这批入口的完整均值 μ=N−1∑iYi\mu=N^{-1}\sum_iY_i。结果窗未成熟者进入另一份报表,不混入抽样框。

把冻结时已经知道结果的人记为集合 OO,已知成功数为 PO=∑i∈OYiP_O=\sum_{i\in O}Y_i。其余人的名单是抽样框(Sampling Frame)。将它按核验前可用的信息分成互不重叠的 HH 层,例如“服务终态 × 档案渠道”;第 hh 层缺失人数为 UhU_h,于是 N=∣O∣+∑hUhN=|O|+\sum_hU_h。层名只决定核验设计,不能读完新标签后再改。

每层从 UhU_h 个唯一入口中等概率、不放回地抽取 mhm_h 人,层与层独立抽取。这是分层简单随机抽样(Stratified Simple Random Sampling)。对第 hh 层的任意人,令 Ai=1A_i=1 表示入选,入样概率(Inclusion Probability)为

πi=Pr⁡(Ai=1)=mhUh,wi=1πi=Uhmh.\pi_i=\Pr(A_i=1)=\frac{m_h}{U_h},\qquad w_i=\frac{1}{\pi_i}=\frac{U_h}{m_h}.

πi\pi_i 是一次完整抽样后“这个人是否在名单中”的概率,不是逐次抽取时的条件概率。每个非空缺失层都须有 mh≥1m_h\ge1;若还要用样本估计层内方差,非普查层至少抽两人。人数不足两人的层直接全查,预算太少则应合并有业务意义的层或保留未知界限。

数据阶段输入与形状输出与必须保留的事实
冻结入口唯一键、成熟标记、层编号、带空值结果,各为 [N]已知集合 OO;每层完整缺失名单
登记设计U,mU,m 为 [H],每人所属层为 [N]名单版本、配额、抽样算法、运行版本
随机抽取每层按稳定键排序的缺失名单入选键、层号、Uh,mh,πiU_h,m_h,\pi_i;全名单保留未入选者
核验与连接入选键及其核验结果 [M],M=∑hmhM=\sum_hm_h唯一键连接,逐个标记成功取得 / 未取得
汇总已知成功数与带设计权重的新结果全队列均值、设计方差、实际核验完成率

这张表是数据流契约:随机抽中、成功取得标签、原先就有标签是三种不同事实。抽中以后拒访或查不到档案,应保留未响应状态;不能删除后把剩下的人当作原设计的完整样本。

02 为什么一个人要代表不止一个人?#

对缺失层 hh,用样本 shs_h 的加权成功数估计整层成功数,再加回全部已知结果:

μ^=1N[PO+∑h=1HUhmh∑i∈shYi].\widehat\mu =\frac{1}{N}\left[P_O+ \sum_{h=1}^{H}\frac{U_h}{m_h}\sum_{i\in s_h}Y_i\right].

这是把Horvitz–Thompson 估计量(Horvitz–Thompson Estimator)应用于未知部分;已知部分相当于入样概率为 1。YY、入选标记 AA 和权重 ww 均可看成 [N] 向量,输出是一个标量。实际实现只对已取得标签的入选行计算乘积,避免对空值做数值运算。

其无偏性可以逐人检查。固定所有人的真实结果,只让抽样名单变化:

EA ⁣[AiYiπi]=YiπiEA[Ai]=Yi.\mathbb E_A\!\left[\frac{A_iY_i}{\pi_i}\right] =\frac{Y_i}{\pi_i}\mathbb E_A[A_i]=Y_i.

对所有缺失者求和,再加固定的 POP_O,就有 EA[μ^]=μ\mathbb E_A[\widehat\mu]=\mu。这里“无偏”指重复执行同一随机设计的平均结果正确;一次名单仍可能高估或低估。冻结前的标签可见性可以高度选择性,只要已知标签准确,且对每个缺失者真正实施登记的随机设计,就无需再为旧的可见性机制拟合模型。

为什么分母用 NN,而不只除以新取得标签的数量?因为目标是整个入口队列。当前设计还有一个便于检查的不变量:

∣O∣+∑h∑i∈shwi=∣O∣+∑hUh=N.|O|+\sum_h\sum_{i\in s_h}w_i =|O|+\sum_hU_h=N.

这来自每层配额固定;任意不等概率设计的权重和未必恰好等于 NN。不要将这个特例误推广为所有逆概率估计的性质。

03 十人手算:一次随机名单,也可能高出 20 个百分点#

以下全部是合成教学数据。一个成熟群体有十人:已知四人的结果为 [1,1,0,0],所以 PO=2P_O=2;余下六人分成两层。表中“真实结果”只供教学复核,抽样器看不到它们。

缺失层完整结果,教学时可见UhU_h配额 mhm_h入样概率权重
a:档案渠道一a1=1,a2=1,a3=0,a4=0421/22
b:档案渠道二b1=1,b2=02211

假设 a 层恰好抽到 a1、a2,b 层全查。完整队列估计为

μ^=2+2(1+1)+1(1+0)10=0.7.\widehat\mu=\frac{2+2(1+1)+1(1+0)}{10}=0.7.

若把旧标签和新增标签直接拼接后求普通均值,会得到 5/8=0.6255/8=0.625;那改变了各部分在目标中的比重。完整十人的真实均值为 (2+2+1)/10=0.5(2+2+1)/10=0.5,加权也没有让这一次抽样恰好等于真值。

a 层共有 (42)=6\binom42=6 个等概率名单。核验 [1,1] 的一个名单得到 0.7,核验 [0,0] 的一个名单得到 0.3,另外四个 [1,0] 名单都得到 0.5。因此

EA[μ^]=0.7+4×0.5+0.36=0.5.\mathbb E_A[\widehat\mu] =\frac{0.7+4\times0.5+0.3}{6}=0.5.

普通拼接均值在这些名单上的平均则为 (0.625+4×0.5+0.375)/6=0.5(0.625+4\times0.5+0.375)/6=0.5,在这组特殊数值中也碰巧正确;不能用这一个巧合验证它。把 a 层真实结果改为全 1、b 层改为全 0,完整真值为 0.6,普通拼接却恒为 4/8=0.54/8=0.5,设计加权仍为 0.6。

先预测:把 a 层配额从 2 加到 4,权重、估计和抽样方差怎样变化?

a 层成为普查,入样概率从 1/2 变成 1,权重从 2 变成 1。全部十个标签已知,估计恰为 0.5;对于这批固定入口,核验抽样方差变为零。把这十人推广到下一批用户时,仍会遇到人群与时间变化带来的不确定性。

04 误差来自哪层?有限总体修正与预算#

在独立分层、层内简单随机不放回抽样下,令层内真实结果的有限总体方差为

Sh2=1Uh−1∑i∈h(Yi−Yˉh)2.S_h^2=\frac{1}{U_h-1}\sum_{i\in h}(Y_i-\bar Y_h)^2.

Yˉh\bar Y_h 是第 hh 个完整缺失层的真实均值。则设计方差为

Var⁡A(μ^)=1N2∑hUh2(1−mhUh)Sh2mh.\operatorname{Var}_A(\widehat\mu) =\frac{1}{N^2}\sum_hU_h^2 \left(1-\frac{m_h}{U_h}\right)\frac{S_h^2}{m_h}.

其中 1−mh/Uh1-m_h/U_h 是有限总体修正(Finite Population Correction):不放回抽得越接近全层,未知名单造成的波动越小;全查层贡献为零,单人普查层也直接按零处理。非普查层用样本方差 sh2s_h^2 替代未知的 Sh2S_h^2,得到设计方差的无偏估计 V^\widehat V。

手算例中 a 层 Sa2=1/3S_a^2=1/3,b 层已全查,所以真实设计方差为 16(1−1/2)(1/3)/(2×100)=1/7516(1-1/2)(1/3)/(2\times100)=1/75。抽到 [1,1] 时样本方差为零,从该名单算出的 V^\widehat V 也是零;抽到混合标签时 sa2=1/2s_a^2=1/2,得到 V^=0.02\widehat V=0.02。六个名单上的方差估计平均为 4×0.02/6=1/754\times0.02/6=1/75。

这揭示了一个重要失败场景:小样本中的同值标签会给出零方差估计,仍允许未核验者有不同结果。不要为本例硬套正态区间 μ^±1.96V^\widehat\mu\pm1.96\sqrt{\widehat V}。小配额应保留上一篇的剩余未知界限,增加核验,或使用与具体有限总体设计匹配的保守推断;“方差估计无偏”本身不保证某个区间有 95% 覆盖率。

设每核验一人的固定成本为 ch>0c_h>0,预算为 BB,约束是 ∑hchmh≤B\sum_hc_hm_h\le B。把 mhm_h 临时视为连续数,用历史独立核验或预先完成的试点提供 ShS_h,对上面的方差求导,可得内部解的比例

mh∝UhShch.m_h\propto\frac{U_hS_h}{\sqrt{c_h}}.

它体现成本约束的最优分配(Cost-Constrained Optimum Allocation):缺失人数多、标签波动大、核验便宜的层通常分到更多样本。推导中方差关于配额的可变部分为 Uh2Sh2/mhU_h^2S_h^2/m_h;令其边际下降量与成本的比值相等,就得到平方根成本。实际分配须加入最低配额、mh≤Uhm_h\le U_h 上限与整数预算,触顶后重新分配剩余额度。没有可信先验时,可用二元方差的保守规划值并预留最低覆盖,不能偷看本次标签再挑一个显得精确的设计。

若主要指标是两组差距 Δ=μg−μk\Delta=\mu_g-\mu_k,且两组核验独立,则 Δ^=μ^g−μ^k\widehat\Delta=\widehat\mu_g-\widehat\mu_k,方差相加。预算目标也应按差距设计:把层归属写进群体,分配比例中的 UhU_h 改为 Uh/Ng(h)U_h/N_{g(h)};其中 g(h)g(h) 是层所属群体。这与优化全体平均数的配额可能不同,小群体并非按人口比例分一点就足够。

05 可运行 Python:抽样、核验、估计分开#

下面只使用 Python 标准库。输入 rows 为冻结的成熟队列,字段为唯一 id、字符串层名 h 和 0/1/None 标签;quota 为缺失层的配额。draw 输出抽样名单,实际核验系统只接收名单,随后返回 labels: id → 0/1。estimate 输出均值、方差估计与各层人数/概率/权重。

验证冻结入口的键、结果和层名
保留全部已知结果;按层建立完整缺失名单
登记每层配额,在稳定排序的名单中不放回随机抽取
只核验入选键;未响应时中止当前完整响应估计
已知成功数 + 各层加权成功数,再除以固定入口 N
以各层样本方差和有限总体修正计算方差估计
用极小数据枚举所有合法名单,检查无偏性与方差
text

最后一行输出 all draws 6 mean 1/2 variance 1/75。Random(seed) 创建独立伪随机生成器;sample(sequence,k=m) 从序列不放回抽取,顺序稳定且唯一的键避免重复行改变概率。接口已核对 Python random 官方文档 ↗。跨 Python 版本不应仅靠种子重建 sample 结果,应保存实际名单、配额、完整抽样框身份与运行版本。Fraction 和 combinations 分别用于精确分数和极小名单枚举,见 fractions 文档 ↗与 itertools 文档 ↗。

estimate 校验名单的结构;名单是否真正随机由上游登记、一次执行和不可变记录保证。多次换种子后挑“看起来平衡”的名单会改变设计。枚举代码使用 oracle 检查教学真值;生产估计器不接收未入选者的真值。建框含排序约为 O(Nlog⁡N)O(N\log N),聚合为 O(N+M)O(N+M),存储为 O(N)O(N);六种名单的枚举只是小规模正确性检查。

这里没有模型训练阶段,估计运行消费已冻结策略的结果。若用当前核验标签调策略,应另留独立审计数据;否则“挑选新规则”和“证明规则有效”又用了同一份噪声。

06 核验失败时,先修哪一处?#

现象原因定位处理
某些缺失者从未可能入选抽样框删了难联系者,或某层配额为零恢复完整目标名单;无法覆盖的部分保留界限
抽中十人,只对八个成功响应者加权抽中概率与响应概率被混为一列保留两名未响应者;报告完整率,另建响应假设或界限
程序输出零方差,名单仅有两个同值标签小样本样本方差为零增加核验、保留未知界限,暂停正态精确性声明
重跑样本改变,但种子没变名单顺序、抽样框或运行版本变化核对框身份与实际入选键,禁止覆盖旧运行
群体差距不稳定小群体配额不足,预算优化了错误指标按事先定义的差距目标分配预算

“容易核验”可以成为登记前的分层变量;每层内部仍要真正随机并保留全部入选者。若成本是随机的,还要预留预算余量,不能费用快用完时按结果或难度任意截断名单;这会破坏固定配额设计。

本篇权重来自已知的核验设计。它与观测研究的倾向得分权重不同,后者估计谁接受处理的概率并依赖相应混杂条件;与随机路径探索也不同,路径探索改变服务分配,本篇只揭示固定服务后的结果。主动学习(Active Learning)通常选择标签来改进预测器,审计抽样首先追求冻结队列估计量的可靠性;如果把重点挑选的主动学习标签直接求均值,仍会有选择偏差。

完全响应、标签准确、抽样框完整和设计实际执行,是本篇估计的关键条件。随机抽中不自动保证响应随机;重复同一用户的不同决策时,也应明确目标是平均决策还是平均用户。若改成抽用户再核验其全部决策,须用对应的簇抽样方差。最终两组结果差距是系统结果的描述,专家路径的因果增益仍需独立的识别设计。

调试练习:删除一个已入选者的核验标签,程序应怎样表现?

estimate 应报“重复入选、核验未响应或出现名单外标签”。不要悄悄把配额改小、提高剩余者权重。已登记配额决定的是入选概率,成功响应的机制还没有被识别。可以继续追查该结果,或对剩余未知给出界限,再决定是否采用额外响应模型。

思考练习#

  1. 将 a 层真实结果改为 [1,1,1,1],b 层改为 [0,0]。分别手算完整真值、普通拼接均值和设计加权均值;解释为什么“本次两种估计相同”不足以验证方法。
  2. 保持原例,只将 a 层配额改为 3。计算其入样概率、权重和真实设计方差,并枚举四种名单验证。
  3. 现在只能取得 a1、a2、b1 的核验结果,b2 仍未知。为什么不能沿用原完整响应估计?写出保留已核验结果后全队列均值的最坏情形界限,并说明该界限与抽样置信区间的区别。

相关工作#

  1. Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:以入样概率构造有限总体总量估计,是本篇设计权重的基础。
  2. Neyman (1934), On the Two Different Aspects of the Representative Method: The Method of Stratified Sampling and the Method of Purposive Selection ↗:随机分层与精度规划的经典工作,连接配额和抽样误差。
  3. Rubin (1976), Inference and Missing Data ↗:理解核验未响应仍需单独分析缺失机制的基础论文。
  4. Beygelzimer, Dasgupta & Langford (2009), Importance Weighted Active Learning ↗:说明选择性获取标签时,重要性权重与方差控制如何进入学习过程;其学习目标与固定队列审计需要区分。

下一篇预告#

随机抽中以后,仍可能只有一部分人能查到结果。下一篇将专门处理核验未响应:怎样分开入样概率和响应概率,在额外假设下校正估计,并用敏感性分析保留这些假设无法验证的部分。

只能补一部分标签,怎样估计全队列结果?随机核验抽样与设计权重
https://zwjcode.cn/blog/randomized-outcome-audit-design-weights
作者 傑
发布于 2026年10月31日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。