核验未响应者该怎样再抽样?随机加强追访与两阶段设计权重
从冻结的未响应池随机抽取加强核验对象,用八人手算、两层期望与可运行 Python 解释普通响应和新增标签的不同权重,并分开追访方差与全设计不确定性。
上一篇核验未响应与响应概率加权解释了怎样用响应模型校正标签可见性。难点也很明确:同一层内,查不到结果的人仍可能系统性地更差。增加模型参数无法凭空揭示他们的结果。假如还有一笔查档预算,能否把它用来获取新的、设计可解释的信息?
本篇讲未响应者子抽样(Subsampling of Nonrespondents):在普通核验截止后,冻结未响应名单,随机抽取一部分做更昂贵的加强核验。例如用独立行政档案交叉核对已经发生的报名结果。核心问题只有一个:新增标签怎样与旧标签合并,才能估计原来那批入口的完整结果?下面依次处理名单与概率、权重推导、可运行实现,以及不确定性与失败边界。
01 第二次随机化,必须从正确的池开始#
沿用固定成熟队列:共有 个唯一入口,结果是七日内是否报名,。冻结时已知结果集合为 ,已知成功数为 ;原始缺失池 也用其人数表示,所以 。本篇先讲一个抽样层,多层可分别实施后汇总。
第一阶段从完整缺失池中简单随机、不放回地抽取 人,名单记为 ,每人的入样概率为 。普通核验在预先固定的截止点结束,把 分为:
- 普通核验已取得有效结果的集合 ,人数 ;查到“未报名”属于有效结果 0。
- 普通核验仍无结果的集合 ,人数 。
第二阶段从完整的 中等概率、不放回抽取 人,名单为 。这就是加强追访(Intensive Follow-up),与首抽共同构成两阶段抽样(Two-Phase Sampling);在给定第一阶段名单及普通核验状态后,每位未响应者的条件入样概率是
若 ,须有 ;若 ,无需追访,取 。本篇的设计保证要求加强名单中每个人最终都取得正确标签。这适合可通过额外档案渠道解决的缺失;只有“再发一次消息”而无法保证结果取得时,还会产生新的未响应。
冻结完整入口 N
├─ 原已知 O ──────────────────────────→ 权重 1
└─ 原缺失池 U
├─ 第一阶段未入选 ────────────────→ 保留未知
└─ 随机名单 s,π=m/U
├─ 普通核验取得标签 R ───────→ 权重 1/π
└─ 截止时未响应池 F,L 人
├─ 第二阶段未入选 ──────→ 保留未知
└─ 随机加强名单 q,η=k/L
├─ 全部取得标签 ───→ 权重 1/(πη)
└─ 仍有未响应 ─────→ 停止完整响应估计text图中箭头是记录处理顺序;“未入选”与“查到结果为 0”必须分开。两次抽样之间,先保存未响应池身份、截止点和配额,再读取新增结果。
| 阶段 | 输入形状 | 输出及审计事实 |
|---|---|---|
| 冻结 | 键、旧标签各 [N] | 完整缺失键 [U]、已知成功数 |
| 首抽 | 缺失键 [U],整数 | 实际名单 [m]、 |
| 普通核验 | 名单 [m] | 标签或空值 [m], |
| 加强抽样 | 完整未响应键 [L],整数 | 加强名单 [k]、条件概率 |
| 汇总 | 旧标签、普通响应及加强标签 | 标量均值、分支权重、实际未知界限 |
这里没有特征矩阵或模型训练。抽样器只看键和普通核验的可见状态;结果汇总器才接收新增标签。下一轮策略训练若消费这些标签,应另外保留独立评估数据。
02 为什么普通响应者不能再乘第二阶段权重?#
先固定第一阶段名单和普通核验状态。 中的结果可以与 完全不同;第二次随机抽样要估计的是 的总成功数:
对第二次随机化求条件期望,得到 。普通核验者的结果已经全部拿到,所以第一阶段完整名单的总量估计是
再让第一阶段简单随机名单变化,用 将其扩展到原始缺失池。完整队列的均值估计为
当 时,括号里的追访项直接置为零。三类已知标签的权重分别是 、 和 。普通响应者没有经过第二次抽样,用 给他们加权会重复扩张其贡献。
利用迭代期望(Law of Iterated Expectations),
这个设计允许普通未响应与 相关。它依靠的是加强名单真正随机、全员取得准确标签,以及测量不改变既有结果;无需把普通响应概率拟合为层内常数。教学中可把每个人在固定普通核验协议下的潜在响应状态视为固定;即便状态随机,只要首次抽样仍按登记设计执行,且加强抽样在实现的未响应池内确实随机,上面的条件恢复仍成立。
本篇固定配额还带来一个检查式:
它检查的是代表人数,不能单独证明估计无偏。即使人工挑出某几个“容易找到的人”,这个恒等式也可能成立;随机执行与不可变名单记录仍要独立核查。
03 八人手算:同一个池,两种追访结果#
以下是合成数据。,旧标签为 [1,0],所以 ;原缺失池有六人。第一阶段恰好抽到 u1、u2、u3、u4,普通核验取得前两人的标签 [1,0];u3、u4 均未响应。于是 ,。
| 人 | 教学真值 | 本次状态 | 纳入估计的权重 |
|---|---|---|---|
| o1、o2 | 1、0 | 冻结时已知 | 各 1 |
| u1、u2 | 1、0 | 首抽入选且普通响应 | 各 |
| u3 | 1 | 未响应池中随机抽中并成功加强核验 | |
| u4 | 0 | 未响应池中未抽中 | 无已观测贡献 |
| u5、u6 | 1、0 | 首抽未入选 | 无已观测贡献 |
教学真值只供检查,抽样器看不到它们。本次取得 u3=1,则
如果抽到的是 u4=0,则得到 。这两个加强名单各有一半概率,条件平均是 。该值在本例恰好也等于八人真值;一般而言,固定首抽后的平均只恢复首抽完整标签对应的估计,尚需对第一阶段随机化取平均,才能恢复全队列真值。
把所有已取得的五个标签直接平均,得到 ;若把普通响应者和加强标签合成三个同权样本、外推六人,则得到 。两种操作都丢掉了“加强者代表整个未响应池”这一设计事实。
先手算:将两位未响应者都加强核验,均值是否必然等于全队列真值?
,第二阶段权重从 2 变为 1,新增者总权重为 。首抽四人的完整标签总和为 2,均值估计为 。本例恰好等于真值;普遍情况下,第一阶段仍只抽了六人中的四人,第一次抽样的误差依然存在。
04 可运行 Python:名单、追访和汇总分离#
下面使用 Python 标准库。draw_initial 从唯一缺失键中生成首抽名单;draw_followup 接收首抽名单及普通核验标签 0/1/None,输出加强名单;estimate 接收冻结旧标签、完整缺失池、两阶段实际名单和新增标签。输出是均值、权重、代表人数、实际未知界限及仅第二阶段的条件方差估计。
保存完整缺失池,按稳定唯一键排序后首抽
普通核验截止,保留名单内每人的标签或未响应空值
冻结全部未响应键,登记 k,第二次不放回随机抽样
加强名单全部取得标签;有遗漏则拒绝当前估计
已知标签 + 首抽权重×普通标签 + 组合权重×加强标签
除以固定入口 N;核查代表人数与实际未知人数textfrom fractions import Fraction as F
from itertools import combinations
from random import Random
def ids_ok(ids):
return (all(isinstance(i, str) and i for i in ids)
and len(set(ids)) == len(ids))
def binary(v):
return type(v) is int and v in (0, 1)
def draw_initial(missing, m, seed):
if not ids_ok(missing) or type(m) is not int or not 1 <= m <= len(missing):
raise ValueError("缺失键或首抽配额错误")
return sorted(Random(seed).sample(sorted(missing), k=m))
def unresolved(selected, initial):
if not ids_ok(selected) or set(initial) != set(selected):
raise ValueError("普通核验须完整记录首抽名单")
if any(v is not None and not binary(v) for v in initial.values()):
raise ValueError("普通标签须为 0、1 或 None")
return sorted(i for i in selected if initial[i] is None)
def draw_followup(selected, initial, k, seed):
pool = unresolved(selected, initial)
if type(k) is not int or not (1 <= k <= len(pool) if pool else k == 0):
raise ValueError("加强配额错误;非空未响应池不能零抽样")
return sorted(Random(seed).sample(pool, k=k))
def estimate(known, missing, selected, initial, followed, labels):
if any(not binary(v) for v in known) or not ids_ok(missing):
raise ValueError("冻结输入错误")
U, m, N = len(missing), len(selected), len(known) + len(missing)
if not 1 <= m <= U or not set(selected) <= set(missing):
raise ValueError("首抽名单错误")
pool = unresolved(selected, initial)
L, k = len(pool), len(followed)
if not ids_ok(followed) or not set(followed) <= set(pool):
raise ValueError("加强名单重复或不属于冻结未响应池")
if not (1 <= k <= L if L else k == 0):
raise ValueError("加强配额错误")
if set(labels) != set(followed) or any(not binary(v) for v in labels.values()):
raise ValueError("加强核验未完成、标签错误或存在名单外结果")
observed = [v for v in initial.values() if v is not None]
w1 = F(U, m)
eta = F(k, L) if L else None
w2 = w1 / eta if L else F(0)
total = F(sum(known)) + w1 * sum(observed) + w2 * sum(labels.values())
represented = len(known) + w1 * len(observed) + w2 * k
assert represented == N
# 真实取得的标签只数一次,未知界限不做抽样外推。
actual = known + observed + list(labels.values())
unknown = N - len(actual)
bounds = (F(sum(actual), N), F(sum(actual) + unknown, N))
variance2 = F(0) if k == L else None
if 1 < k < L:
ybar = F(sum(labels.values()), k)
s2 = sum((F(y) - ybar)**2 for y in labels.values()) / (k - 1)
variance2 = (w1 / N)**2 * L**2 * (1 - eta) * s2 / k
return dict(mean=total / N, pi=F(m, U), eta=eta,
weights=(w1, w2), represented=represented,
bounds=bounds, conditional_variance2=variance2)
known = [1, 0]
missing = [f"u{i}" for i in range(1, 7)]
# oracle 仅模拟核验系统;生产抽样函数不读取这些真值。
truth = dict(zip(missing, [1, 0, 1, 0, 1, 0]))
selected = missing[:4] # 固定手算例,另在下方枚举随机设计。
initial = dict(u1=1, u2=0, u3=None, u4=None)
manual = estimate(known, missing, selected, initial, ["u3"], {"u3": 1})
assert manual["mean"] == F(11, 16)
assert manual["bounds"] == (F(3, 8), F(3, 4))
assert manual["conditional_variance2"] is None
print("manual", manual)
# 实际随机执行时,先调用首抽函数,再取得普通核验状态。
random_selected = draw_initial(missing, m=4, seed=20261101)
random_initial = {i: truth[i] if i in {"u1", "u2"} else None
for i in random_selected}
random_followed = draw_followup(random_selected, random_initial, k=1, seed=17)
random_labels = {i: truth[i] for i in random_followed}
print("random", random_selected, random_followed,
estimate(known, missing, random_selected, random_initial,
random_followed, random_labels)["mean"])
# 固定每人的普通响应状态,只让两阶段名单变化。
# 先对每个首抽名单内部平均,再对等概率首抽名单平均。
first_stage_means = []
for s in combinations(missing, 4):
status = {i: truth[i] if i in {"u1", "u2"} else None for i in s}
pool = unresolved(s, status)
second = [estimate(known, missing, s, status, [i], {i: truth[i]})["mean"]
for i in pool]
first_stage_means.append(sum(second) / len(second))
grand_mean = sum(first_stage_means) / len(first_stage_means)
assert grand_mean == F(sum(known) + sum(truth.values()), 8) == F(1, 2)
print("first-stage draws", len(first_stage_means), "design mean", grand_mean)python最后一行输出 first-stage draws 15 design mean 1/2。枚举时,各首抽名单产生的未响应池大小不同;直接把所有最终名单平铺后同权平均会算错设计概率。应先平均该首抽下的第二阶段结果,再平均 15 个首抽名单。
Random(seed).sample(sequence, k=...) 创建独立伪随机生成器并从序列不放回抽取;空池允许 k=0,输入必须是序列。接口已核对 Python random 官方文档 ↗。Fraction ↗用于精确分数,combinations ↗用于极小设计枚举。保存实际名单、稳定排序、种子和 Python 版本;跨版本仅保存种子不足以保证完全复现 sample。
此实现约用 时间建框排序,聚合为 ;枚举只供小规模验证。代码用旧标签值列表简化演示,生产系统要按全队列唯一键连接三种标签,拒绝重复键、普通响应被误放进加强名单、以及实际名单外的结果。结构校验无法证明上游真的随机;抽样运行记录应与结果写入分离保留。
05 少了响应模型,并没有少掉抽样误差#
先固定首抽名单及普通核验状态。令 为 内完整真实结果的有限总体方差,分母为 。在 时,第二阶段造成的条件方差为
是有限总体修正(Finite Population Correction)。在手算例里, 真值为 [1,0],,条件方差为 ,也等于 、 围绕 的等概率方差。
但实际只核验一人,无法用这一人估计 。所以代码返回 conditional_variance2=None,不能用零冒充未知。若 ,可用加强样本方差替代 ;若 或 ,第二阶段方差为零。小样本同值标签仍可能给出零方差估计,不代表未核验者没有差异。
全设计不确定性还包括首抽。按全方差公式(Law of Total Variance),
第一个分量是“假如首抽全有标签”时的抽样方差,第二个是追访子抽样额外引入的波动。代码只输出第二项在当前实现名单下的估计,不能把它当作全设计标准误,也不能在旧文章的完整响应方差上随意加一个假定记录独立同分布的自助重采样(Bootstrap)结果。正式区间需要与两阶段抽样设计一致的方差估计或重复权重方法;极小样本不适合直接套正态近似。
再看与概率推断不同的未知界限:本次真正取得五个标签,其中三个为 1,还有三人结果未知,因此完整队列的二元结果界限是 。它枚举实际未知结果允许的范围,无需抽样外推; 是随机设计下的点估计,两者回答的问题不同。
排障:加强名单抽中 u3,但截至第二截止点仍查不到,能否把 k 改成 0?
不能。登记的加强配额和成功响应人数是两列事实。程序应因缺少 u3 的有效标签停止;保留已有四个标签后,已知成功两人、未知四人,界限为 [2/8,6/8]。继续取得结果、明确引入第三道响应假设,或报告未知界限,都需要保留原始名单;删掉失败者会改变观测机制。
06 工程中先查哪一步?#
| 现象 | 首先检查 | 处理 |
|---|---|---|
| 权重和不等于 | 是否把普通响应者也乘了 | 按三个标签来源重建贡献 |
| 第二次只抽“容易查”的人 | 是否先删除了难联系者 | 恢复完整 ;若分层,事先登记各层概率 |
| 强化核验完成率低于 100% | 实际名单与有效标签键是否一致 | 停止完整响应估计,保留缺失机制与界限 |
| 重跑后追访池变小 | 普通核验截止快照是否被覆盖 | 固定同一截止点,另建新版本 |
| 程序给出很小的标准误 | 是否只算第二阶段;是否同值小样本 | 分开各阶段误差,不把未知方差填零 |
| 加强核验后报名增加 | 联系行为是否改变了结果 | 先冻结已成熟结果,采用只读查档或另设干预实验 |
只增加首抽样本数会产生更多需要普通核验的记录,未必解决普通未响应的选择性;加强抽样针对已经出现的未响应池。与上一文的响应概率加权相比,这里的第二阶段概率来自主动随机设计;与主动学习(Active Learning)相比,目标是估计冻结队列的结果,而非挑标签训练更强的分类器。若用模型分数优先挑选核验对象,应登记相应入样概率并使用匹配估计,不能继续套用 。
每次运行至少保存队列身份、首抽框与名单、普通核验截止点、完整 、加强配额与名单、两阶段概率、两个渠道的测量定义、实际结果及未响应状态。人工纠正标签要留修订记录;同一人多渠道同时返回结果时,按预设规则去重与判定冲突。若抽样单位改为家庭、门店或档案批次,相关结构也要进入设计与方差。
这套方法最关键的局限是:随机化解决“追访谁”,加强渠道还必须解决“是否能正确测量”。永久找不到的人、渠道特有的错标,以及核验本身改变行为,都不能通过组合权重消除。预算不足覆盖所有需要的层时,报告覆盖边界比虚构一个精确均值更有用。
思考练习#
- 在八人例中把 u3 的教学真值改成 0,其余不变。分别手算两个可能的加强估计、条件平均和实际未知界限。解释条件平均为何不必等于全队列真值。
- 将第二阶段配额改为 ,运行代码并解释为什么
conditional_variance2=0仍不足以说明全设计误差为零。随后改为第一阶段普查,判断哪些误差仍可能存在。 - 固定首抽为六人、未响应池四人的另一组数据,令加强配额为 2。枚举六个加强名单验证条件均值与方差;再故意删去一个加强标签,确认实现拒绝把成功响应人数当作配额。
相关工作#
- Hansen & Hurwitz (1946), The Problem of Non-Response in Sample Surveys ↗:以未响应者子抽样和加强追访处理非响应,是本篇数据获取设计的经典来源。
- Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:有限总体入样概率权重的基础,帮助理解条件恢复后再做首抽外推。
- Särndal & Swensson (1987), A General View of Estimation for Two Phases of Selection with Applications to Two-Phase Sampling and Nonresponse ↗:系统讨论两阶段选择及方差估计,区分已知抽样设计和未知响应机制。
- Gao, Hui, Hall & Hendrie (2000), Estimating Disease Prevalence from Two-Phase Surveys with Non-Response at the Second Phase ↗:讨论第二阶段仍未响应时为何需要另处理响应机制,连接本篇完全加强核验条件与实际数据问题。
下一篇预告#
有了可解释的追访设计,下一步是决定有限加强预算该分给谁。下一篇将围绕不同未响应层的追访成本、结果变异和最低覆盖,比较固定配额如何减少估计波动,并说明哪些试点信息能用于事先规划。