只能补一部分标签,怎样估计全队列结果?随机核验抽样与设计权重
从冻结的缺失标签池分层随机抽样,用已知抽中概率还原全队列均值;通过十人手算、六种名单穷举和标准库 Python 解释无偏性、有限总体方差与核验预算。
上一篇用最坏情形界限保留缺失结果的未知范围,说明只补回容易联系的人的标签,会让新的成功率继续受选择影响。现在审计团队有一笔固定核验预算:全部补齐太贵,只找最可疑的案例又不能代表全队列。怎样让有限标签同时具有可解释的总体含义?
本篇讲随机核验抽样(Randomized Outcome Auditing):冻结缺失者名单,在每层等概率抽取固定人数,用抽中概率的倒数还原该层总量。已知标签直接计入,随机性只来自核验名单;由此可以明确算出估计偏差、方差和预算的关系。这里的核验读取已经发生的结果,例如核对七日报名记录;若联系会改变报名行为,就应另立干预实验。
01 已知标签保留,缺失池成为抽样框#
延续固定策略的七日结果 。先冻结一个群体的全部成熟入口,人数为 ,入口键唯一;基线、人工完成、超时回退等路径均保留。目标仍是这批入口的完整均值 。结果窗未成熟者进入另一份报表,不混入抽样框。
把冻结时已经知道结果的人记为集合 ,已知成功数为 。其余人的名单是抽样框(Sampling Frame)。将它按核验前可用的信息分成互不重叠的 层,例如“服务终态 × 档案渠道”;第 层缺失人数为 ,于是 。层名只决定核验设计,不能读完新标签后再改。
每层从 个唯一入口中等概率、不放回地抽取 人,层与层独立抽取。这是分层简单随机抽样(Stratified Simple Random Sampling)。对第 层的任意人,令 表示入选,入样概率(Inclusion Probability)为
是一次完整抽样后“这个人是否在名单中”的概率,不是逐次抽取时的条件概率。每个非空缺失层都须有 ;若还要用样本估计层内方差,非普查层至少抽两人。人数不足两人的层直接全查,预算太少则应合并有业务意义的层或保留未知界限。
| 数据阶段 | 输入与形状 | 输出与必须保留的事实 |
|---|---|---|
| 冻结入口 | 唯一键、成熟标记、层编号、带空值结果,各为 [N] | 已知集合 ;每层完整缺失名单 |
| 登记设计 | 为 [H],每人所属层为 [N] | 名单版本、配额、抽样算法、运行版本 |
| 随机抽取 | 每层按稳定键排序的缺失名单 | 入选键、层号、;全名单保留未入选者 |
| 核验与连接 | 入选键及其核验结果 [M], | 唯一键连接,逐个标记成功取得 / 未取得 |
| 汇总 | 已知成功数与带设计权重的新结果 | 全队列均值、设计方差、实际核验完成率 |
这张表是数据流契约:随机抽中、成功取得标签、原先就有标签是三种不同事实。抽中以后拒访或查不到档案,应保留未响应状态;不能删除后把剩下的人当作原设计的完整样本。
02 为什么一个人要代表不止一个人?#
对缺失层 ,用样本 的加权成功数估计整层成功数,再加回全部已知结果:
这是把Horvitz–Thompson 估计量(Horvitz–Thompson Estimator)应用于未知部分;已知部分相当于入样概率为 1。、入选标记 和权重 均可看成 [N] 向量,输出是一个标量。实际实现只对已取得标签的入选行计算乘积,避免对空值做数值运算。
其无偏性可以逐人检查。固定所有人的真实结果,只让抽样名单变化:
对所有缺失者求和,再加固定的 ,就有 。这里“无偏”指重复执行同一随机设计的平均结果正确;一次名单仍可能高估或低估。冻结前的标签可见性可以高度选择性,只要已知标签准确,且对每个缺失者真正实施登记的随机设计,就无需再为旧的可见性机制拟合模型。
为什么分母用 ,而不只除以新取得标签的数量?因为目标是整个入口队列。当前设计还有一个便于检查的不变量:
这来自每层配额固定;任意不等概率设计的权重和未必恰好等于 。不要将这个特例误推广为所有逆概率估计的性质。
03 十人手算:一次随机名单,也可能高出 20 个百分点#
以下全部是合成教学数据。一个成熟群体有十人:已知四人的结果为 [1,1,0,0],所以 ;余下六人分成两层。表中“真实结果”只供教学复核,抽样器看不到它们。
| 缺失层 | 完整结果,教学时可见 | 配额 | 入样概率 | 权重 | |
|---|---|---|---|---|---|
| a:档案渠道一 | a1=1,a2=1,a3=0,a4=0 | 4 | 2 | 1/2 | 2 |
| b:档案渠道二 | b1=1,b2=0 | 2 | 2 | 1 | 1 |
假设 a 层恰好抽到 a1、a2,b 层全查。完整队列估计为
若把旧标签和新增标签直接拼接后求普通均值,会得到 ;那改变了各部分在目标中的比重。完整十人的真实均值为 ,加权也没有让这一次抽样恰好等于真值。
a 层共有 个等概率名单。核验 [1,1] 的一个名单得到 0.7,核验 [0,0] 的一个名单得到 0.3,另外四个 [1,0] 名单都得到 0.5。因此
普通拼接均值在这些名单上的平均则为 ,在这组特殊数值中也碰巧正确;不能用这一个巧合验证它。把 a 层真实结果改为全 1、b 层改为全 0,完整真值为 0.6,普通拼接却恒为 ,设计加权仍为 0.6。
先预测:把 a 层配额从 2 加到 4,权重、估计和抽样方差怎样变化?
a 层成为普查,入样概率从 1/2 变成 1,权重从 2 变成 1。全部十个标签已知,估计恰为 0.5;对于这批固定入口,核验抽样方差变为零。把这十人推广到下一批用户时,仍会遇到人群与时间变化带来的不确定性。
04 误差来自哪层?有限总体修正与预算#
在独立分层、层内简单随机不放回抽样下,令层内真实结果的有限总体方差为
是第 个完整缺失层的真实均值。则设计方差为
其中 是有限总体修正(Finite Population Correction):不放回抽得越接近全层,未知名单造成的波动越小;全查层贡献为零,单人普查层也直接按零处理。非普查层用样本方差 替代未知的 ,得到设计方差的无偏估计 。
手算例中 a 层 ,b 层已全查,所以真实设计方差为 。抽到 [1,1] 时样本方差为零,从该名单算出的 也是零;抽到混合标签时 ,得到 。六个名单上的方差估计平均为 。
这揭示了一个重要失败场景:小样本中的同值标签会给出零方差估计,仍允许未核验者有不同结果。不要为本例硬套正态区间 。小配额应保留上一篇的剩余未知界限,增加核验,或使用与具体有限总体设计匹配的保守推断;“方差估计无偏”本身不保证某个区间有 95% 覆盖率。
设每核验一人的固定成本为 ,预算为 ,约束是 。把 临时视为连续数,用历史独立核验或预先完成的试点提供 ,对上面的方差求导,可得内部解的比例
它体现成本约束的最优分配(Cost-Constrained Optimum Allocation):缺失人数多、标签波动大、核验便宜的层通常分到更多样本。推导中方差关于配额的可变部分为 ;令其边际下降量与成本的比值相等,就得到平方根成本。实际分配须加入最低配额、 上限与整数预算,触顶后重新分配剩余额度。没有可信先验时,可用二元方差的保守规划值并预留最低覆盖,不能偷看本次标签再挑一个显得精确的设计。
若主要指标是两组差距 ,且两组核验独立,则 ,方差相加。预算目标也应按差距设计:把层归属写进群体,分配比例中的 改为 ;其中 是层所属群体。这与优化全体平均数的配额可能不同,小群体并非按人口比例分一点就足够。
05 可运行 Python:抽样、核验、估计分开#
下面只使用 Python 标准库。输入 rows 为冻结的成熟队列,字段为唯一 id、字符串层名 h 和 0/1/None 标签;quota 为缺失层的配额。draw 输出抽样名单,实际核验系统只接收名单,随后返回 labels: id → 0/1。estimate 输出均值、方差估计与各层人数/概率/权重。
验证冻结入口的键、结果和层名
保留全部已知结果;按层建立完整缺失名单
登记每层配额,在稳定排序的名单中不放回随机抽取
只核验入选键;未响应时中止当前完整响应估计
已知成功数 + 各层加权成功数,再除以固定入口 N
以各层样本方差和有限总体修正计算方差估计
用极小数据枚举所有合法名单,检查无偏性与方差textfrom fractions import Fraction as F
from itertools import combinations
from random import Random
def frame(rows):
if not rows or len({r["id"] for r in rows}) != len(rows):
raise ValueError("入口须非空且键唯一")
missing, known = {}, 0
for r in rows:
y = r["y"]
if not isinstance(r["id"], str) or not isinstance(r["h"], str):
raise ValueError("键与层名须为字符串")
if y is None:
missing.setdefault(r["h"], []).append(r["id"])
elif type(y) is int and y in (0, 1):
known += y
else:
raise ValueError("结果须为整数 0、1 或 None")
return {h: sorted(ids) for h, ids in missing.items()}, known
def draw(rows, quota, seed):
missing, _ = frame(rows)
if set(quota) != set(missing):
raise ValueError("配额必须覆盖全部且仅覆盖缺失层")
rng, picked = Random(seed), {}
for h in sorted(missing):
U, m = len(missing[h]), quota[h]
if type(m) is not int or not 1 <= m <= U:
raise ValueError("配额越界")
if m < U and m < 2:
raise ValueError("本实现的非普查层至少抽两人以估计方差")
picked[h] = sorted(rng.sample(missing[h], k=m))
return picked
def estimate(rows, picked, labels):
missing, known = frame(rows)
if set(picked) != set(missing):
raise ValueError("抽样记录遗漏或增加了层")
ids = [key for keys in picked.values() for key in keys]
if len(set(ids)) != len(ids) or set(labels) != set(ids):
raise ValueError("重复入选、核验未响应或出现名单外标签")
total, variance, report = F(known), F(0), {}
for h, population in missing.items():
chosen = picked[h]
U, m = len(population), len(chosen)
if not 1 <= m <= U or not set(chosen) <= set(population):
raise ValueError("入选人数或所属层错误")
if m < U and m < 2:
raise ValueError("无法从单个非普查样本估计方差")
y = [labels[key] for key in chosen]
if any(type(v) is not int or v not in (0, 1) for v in y):
raise ValueError("每位入选者必须取得有效二元标签")
mean, weight = F(sum(y), m), F(U, m)
total += weight * sum(y)
if m < U:
s2 = sum((F(v) - mean) ** 2 for v in y) / (m - 1)
variance += U**2 * (1 - F(m, U)) * s2 / m
report[h] = dict(U=U, m=m, pi=F(m, U), weight=weight)
N = len(rows)
return dict(mean=total / N, variance=variance / N**2, strata=report)
rows = [dict(id=f"o{i}", h="old", y=y)
for i, y in enumerate([1, 1, 0, 0])]
rows += [dict(id=f"a{i}", h="a", y=None) for i in range(1, 5)]
rows += [dict(id=f"b{i}", h="b", y=None) for i in range(1, 3)]
# 教学 oracle:真实核验服务应查档返回,抽样器不可读取它。
truth = dict(a1=1, a2=1, a3=0, a4=0, b1=1, b2=0)
picked = draw(rows, {"a": 2, "b": 2}, seed=20261031)
labels = {key: truth[key] for keys in picked.values() for key in keys}
print("random draw", picked, estimate(rows, picked, labels))
manual = {"a": ["a1", "a2"], "b": ["b1", "b2"]}
r = estimate(rows, manual, {key: truth[key] for keys in manual.values() for key in keys})
assert (r["mean"], r["variance"]) == (F(7, 10), F(0))
means, variances = [], []
for pair in combinations(["a1", "a2", "a3", "a4"], 2):
p = {"a": list(pair), "b": ["b1", "b2"]}
y = {key: truth[key] for keys in p.values() for key in keys}
result = estimate(rows, p, y)
means.append(result["mean"])
variances.append(result["variance"])
mu = F(1, 2)
design_variance = sum((v - mu) ** 2 for v in means) / len(means)
assert sum(means) / len(means) == mu
assert design_variance == sum(variances) / len(variances) == F(1, 75)
print("all draws", len(means), "mean", mu, "variance", design_variance)python最后一行输出 all draws 6 mean 1/2 variance 1/75。Random(seed) 创建独立伪随机生成器;sample(sequence,k=m) 从序列不放回抽取,顺序稳定且唯一的键避免重复行改变概率。接口已核对 Python random 官方文档 ↗。跨 Python 版本不应仅靠种子重建 sample 结果,应保存实际名单、配额、完整抽样框身份与运行版本。Fraction 和 combinations 分别用于精确分数和极小名单枚举,见 fractions 文档 ↗与 itertools 文档 ↗。
estimate 校验名单的结构;名单是否真正随机由上游登记、一次执行和不可变记录保证。多次换种子后挑“看起来平衡”的名单会改变设计。枚举代码使用 oracle 检查教学真值;生产估计器不接收未入选者的真值。建框含排序约为 ,聚合为 ,存储为 ;六种名单的枚举只是小规模正确性检查。
这里没有模型训练阶段,估计运行消费已冻结策略的结果。若用当前核验标签调策略,应另留独立审计数据;否则“挑选新规则”和“证明规则有效”又用了同一份噪声。
06 核验失败时,先修哪一处?#
| 现象 | 原因定位 | 处理 |
|---|---|---|
| 某些缺失者从未可能入选 | 抽样框删了难联系者,或某层配额为零 | 恢复完整目标名单;无法覆盖的部分保留界限 |
| 抽中十人,只对八个成功响应者加权 | 抽中概率与响应概率被混为一列 | 保留两名未响应者;报告完整率,另建响应假设或界限 |
| 程序输出零方差,名单仅有两个同值标签 | 小样本样本方差为零 | 增加核验、保留未知界限,暂停正态精确性声明 |
| 重跑样本改变,但种子没变 | 名单顺序、抽样框或运行版本变化 | 核对框身份与实际入选键,禁止覆盖旧运行 |
| 群体差距不稳定 | 小群体配额不足,预算优化了错误指标 | 按事先定义的差距目标分配预算 |
“容易核验”可以成为登记前的分层变量;每层内部仍要真正随机并保留全部入选者。若成本是随机的,还要预留预算余量,不能费用快用完时按结果或难度任意截断名单;这会破坏固定配额设计。
本篇权重来自已知的核验设计。它与观测研究的倾向得分权重不同,后者估计谁接受处理的概率并依赖相应混杂条件;与随机路径探索也不同,路径探索改变服务分配,本篇只揭示固定服务后的结果。主动学习(Active Learning)通常选择标签来改进预测器,审计抽样首先追求冻结队列估计量的可靠性;如果把重点挑选的主动学习标签直接求均值,仍会有选择偏差。
完全响应、标签准确、抽样框完整和设计实际执行,是本篇估计的关键条件。随机抽中不自动保证响应随机;重复同一用户的不同决策时,也应明确目标是平均决策还是平均用户。若改成抽用户再核验其全部决策,须用对应的簇抽样方差。最终两组结果差距是系统结果的描述,专家路径的因果增益仍需独立的识别设计。
调试练习:删除一个已入选者的核验标签,程序应怎样表现?
estimate 应报“重复入选、核验未响应或出现名单外标签”。不要悄悄把配额改小、提高剩余者权重。已登记配额决定的是入选概率,成功响应的机制还没有被识别。可以继续追查该结果,或对剩余未知给出界限,再决定是否采用额外响应模型。
思考练习#
- 将 a 层真实结果改为
[1,1,1,1],b 层改为[0,0]。分别手算完整真值、普通拼接均值和设计加权均值;解释为什么“本次两种估计相同”不足以验证方法。 - 保持原例,只将 a 层配额改为 3。计算其入样概率、权重和真实设计方差,并枚举四种名单验证。
- 现在只能取得 a1、a2、b1 的核验结果,b2 仍未知。为什么不能沿用原完整响应估计?写出保留已核验结果后全队列均值的最坏情形界限,并说明该界限与抽样置信区间的区别。
相关工作#
- Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:以入样概率构造有限总体总量估计,是本篇设计权重的基础。
- Neyman (1934), On the Two Different Aspects of the Representative Method: The Method of Stratified Sampling and the Method of Purposive Selection ↗:随机分层与精度规划的经典工作,连接配额和抽样误差。
- Rubin (1976), Inference and Missing Data ↗:理解核验未响应仍需单独分析缺失机制的基础论文。
- Beygelzimer, Dasgupta & Langford (2009), Importance Weighted Active Learning ↗:说明选择性获取标签时,重要性权重与方差控制如何进入学习过程;其学习目标与固定队列审计需要区分。
下一篇预告#
随机抽中以后,仍可能只有一部分人能查到结果。下一篇将专门处理核验未响应:怎样分开入样概率和响应概率,在额外假设下校正估计,并用敏感性分析保留这些假设无法验证的部分。