加强核验预算该怎样分层?从条件方差到成本约束下的整数配额
从两阶段追访的未响应池出发,推导人数、变异和单位成本如何共同决定配额,用八人手算和纯 Python 穷举验证预算内的最小规划方差。
上一篇对未响应者随机加强核验,用第二次随机名单恢复普通核验仍缺失的结果。现在普通核验已经截止,两个渠道各留下若干未响应者:甲渠道查一条档案只花 1 个预算单位,乙渠道花 2 个。平均分人数会超支,平均分金额又可能忽略结果变异。怎样把有限预算变成可执行的分层配额?
本篇围绕成本约束分配(Cost-Constrained Allocation)讲清三件事:写出配额影响的条件方差、推导连续配额的方向、在覆盖和人数上限下选择整数配额。目标是提高冻结队列结果均值的估计精度;核验对象仍在每层内随机产生。
01 先冻结池,再决定每层抽几人#
完整成熟队列有 人,二元结果 表示七日内是否报名。沿用上一篇的两阶段设计,将原缺失人群按预先登记的档案渠道分为 层。第 层原缺失人数为 ,首抽人数为 ,首抽权重为 。普通核验截止后,首抽中取得标签的集合是 ,未响应池是 ,人数 。
在每个非空 中,独立地简单随机、不放回抽取 人,名单记为 。第二阶段条件概率为 ,加强标签的组合权重为 。所有抽中的加强对象都要取得准确结果,且核验只测量已经发生的结果。旧标签成功总数为 ,完整均值估计是
空池的加强项置零。普通响应贡献已经确定,配额优化只改变第二阶段的抽样误差。非空层的 保证正入样概率;需要从加强样本估计层内方差时,通常要求 ,人数只有 1 的层则直接普查。
| 环节 | 输入与形状 | 输出 | 此时能否读取本轮加强标签? |
|---|---|---|---|
| 冻结 | 全队列键 [N],普通核验状态 | 各层完整未响应键 [L_h]、 | 尚未取得 |
| 规划 | 人数、外部规划方差、成本、最低配额各 [H],预算标量 | 整数配额 [H]、规划方差标量 | 配额不使用这些标签 |
| 抽样 | 每层完整键与已冻结配额 | 实际名单 [k_h]、 | 抽样不看结果 |
| 核验与汇总 | 实际名单和有效标签 [k_h] | 均值、权重、完成情况、抽样方差估计 | 只在此阶段读取 |
这张表的关键是时间顺序:先规划,再抽签,最后取得标签。若一边看新标签一边调整配额,最终名单的设计概率就改变了,需要专门的自适应设计与估计。
02 配额究竟在减少哪一种波动?#
先固定首抽名单、普通响应状态以及各层未响应池。令 是 中全部真实结果的有限总体方差,分母为 。层间加强抽样独立时,第二阶段的条件方差为
是长度 [H] 的整数向量。 衡量这一池在最终估计中的扩张质量; 是有限总体修正(Finite Population Correction),普查时该层抽样误差为零。单人池普查的方差项也直接置零。
规划时尚不知道完整的 。用历史独立核验或预先完成的试点提供 ,构造规划方差(Planning Variance):
的单位是结果平方。它决定分配效率;设计权重仍使用实际配额 。规划方差预测错了,只要配额事先冻结、层内随机抽样和完整核验仍成立,均值的设计无偏性依旧成立,宣称的精度收益则可能落空。
若没有可信试点,二元结果可用有限总体上界:。直接用 会漏掉有限总体分母修正,尤其在小池中明显。历史上抽到两个相同标签得到零样本方差,也不足以支持取消该层覆盖。
03 为什么配额与成本的平方根成反比?#
设完成一名加强对象的固定成本为 ,可用预算为 ,固定启动费用已提前扣除。整数问题为
是事先约定的最低覆盖。先忽略整数、上下限,假设所有 且预算可以用完。 与配额无关,拉格朗日函数只需保留 。对 求导:
定义 ,内点解是 。相同成本下,这就是奈曼分配(Neyman Allocation)的方向:给规模大、变异大的层更多名额。成本增加四倍,在同一拉格朗日乘子下对应配额减半;预算归一化还会同时改变其他层。
连续解适合解释方向。若某层超过人数上限,应固定到上限后对剩余层重新分配;最低覆盖同理。直接四舍五入可能超支,取整后按“方差减少/成本”贪心补位也不保证异质整数成本下全局最优。极小问题可以穷举全部合法配额,生产规模可用动态规划或整数优化器。
04 八人手算:同花 8 单位,为什么精度不同?#
为单独看清配额作用,令首抽普查且八人都普通未响应:,,,没有旧标签。以下真值是合成教学数据,生产规划器看不到它们;这里把真实方差当作理想规划输入,方便精确验证。
| 层 | 完整教学真值 | 均值 | 每人成本 | 最低配额 | |
|---|---|---|---|---|---|
| A | [0,0,1,1] | 1 | 2 | ||
| B | [0,0,0,1] | 2 | 2 |
完整均值是真值 。两个可行方案都花费 8 单位:
| 方案 | 成本 | A 方差贡献 | B 方差贡献 | 总条件方差 | |
|---|---|---|---|---|---|
| 多查昂贵 B | 8 | ||||
| 普查便宜 A | 8 | 0 |
例如第二行 B 的贡献是 。总方差从 降到 ,减少 40%。这比较的是同预算下的重复抽样波动,不表示某一次估计一定更接近真值。
对 ,假设 B 抽到 [0,1],估计为 ;抽到 [0,0],估计为 。B 的六个等概率二人名单中,各有三个产生这两种情况,均值为 ,方差为 。本例首抽普查,所以没有第一阶段抽样误差。
先判断:两层各抽三人,是否比四人加两人更均衡?
它的成本为 ,超出预算。均衡人数没有自动满足成本约束;应该先列出每层最低配额、真实人数上限和成本,再谈精度。若预算只有 5,连每层两人的最低覆盖成本 6 都无法满足,规划器应返回不可行。
05 纯 Python:先规划配额,再随机抽取实际名单#
下面的规划器输入层记录列表 [H]:层名、人数 L、首抽权重 w、外部规划方差 v、固定单位成本 cost、最低人数 minimum,以及队列大小 N 和预算。输出每层配额、花费与规划方差。估计器另外消费旧成功贡献、普通响应加权贡献、完整层名单与实际加强标签;输出均值、每层组合权重、第二阶段方差估计。
验证每层人数、最低覆盖、单位成本和规划方差
枚举所有合法整数配额组合,删去超预算组合
计算规划方差,选最小者;同值时先选低成本再按配额排序
保存配额与输入版本,从每层完整池独立不放回抽签
全部抽中对象核验完成后,按实际 k/L 汇总
单独报告条件方差估计和未完成状态textfrom fractions import Fraction as F
from itertools import product, combinations
from random import Random
def validate(cells, N):
if type(N) is not int or N <= 0 or not cells:
raise ValueError("队列和非空层列表错误")
names = [h["name"] for h in cells]
if any(not isinstance(s, str) or not s for s in names) or len(set(names)) != len(names):
raise ValueError("层名须非空且唯一")
for h in cells:
L, lo = h["L"], h["minimum"]
if type(L) is not int or type(lo) is not int or not 1 <= lo <= L:
raise ValueError("非空池人数与最低覆盖错误")
if F(h["w"]) < 1 or F(h["v"]) < 0 or F(h["cost"]) <= 0:
raise ValueError("权重、规划方差或成本错误")
if sum(F(h["w"]) * h["L"] for h in cells) > N:
raise ValueError("未响应代表人数超过完整队列")
def planning_variance(cells, ks, N):
return sum((F(h["w"]) * h["L"] / N)**2 * F(h["v"])
* (F(1, k) - F(1, h["L"]))
for h, k in zip(cells, ks))
def allocate(cells, N, budget):
validate(cells, N)
budget = F(budget)
if budget < 0:
raise ValueError("预算不能为负")
best = None
ranges = [range(h["minimum"], h["L"] + 1) for h in cells]
for ks in product(*ranges):
cost = sum(F(h["cost"]) * k for h, k in zip(cells, ks))
if cost > budget:
continue
candidate = (planning_variance(cells, ks, N), cost, ks)
if best is None or candidate < best:
best = candidate
if best is None:
raise ValueError("预算不足以满足最低覆盖")
variance, cost, ks = best
return dict(quota=dict(zip([h["name"] for h in cells], ks)),
cost=cost, planned_variance=variance)
def draw(cells, quota, pools, seed):
names = {h["name"] for h in cells}
if set(pools) != names or set(quota) != names:
raise ValueError("池与配额必须覆盖全部层")
seen, rng, chosen = set(), Random(seed), {}
for h in sorted(cells, key=lambda x: x["name"]):
name = h["name"]
ids, k = pools[name], quota[name]
if (len(ids) != h["L"] or any(not isinstance(i, str) or not i for i in ids)
or len(set(ids)) != len(ids) or seen.intersection(ids)):
raise ValueError("完整池人数、唯一键或层间互斥错误")
if type(k) is not int or not h["minimum"] <= k <= h["L"]:
raise ValueError("实际配额错误")
seen.update(ids)
chosen[name] = sorted(rng.sample(sorted(ids), k=k))
return chosen
def estimate(cells, N, base_total, chosen, labels):
validate(cells, N)
names = {h["name"] for h in cells}
if set(chosen) != names or set(labels) != names:
raise ValueError("名单或标签缺层")
total, variance, weights, seen = F(base_total), F(0), {}, set()
for h in cells:
name, L = h["name"], h["L"]
ids, ys = chosen[name], labels[name]
k = len(ids)
if (len(set(ids)) != k or seen.intersection(ids)
or not h["minimum"] <= k <= L or set(ys) != set(ids)
or any(type(y) is not int or y not in (0, 1) for y in ys.values())):
raise ValueError("实际名单或全员有效标签错误")
seen.update(ids)
weight = F(h["w"]) * F(L, k)
weights[name] = weight
total += weight * sum(ys.values())
if k == L:
continue
if k == 1:
variance = None
elif variance is not None:
ybar = F(sum(ys.values()), k)
s2 = sum((F(y) - ybar)**2 for y in ys.values()) / (k - 1)
variance += (F(h["w"]) * L / N)**2 * (1 - F(k, L)) * s2 / k
return dict(mean=total / N, weights=weights, variance2_hat=variance)
cells = [dict(name="A", L=4, w=1, v=F(1, 3), cost=1, minimum=2),
dict(name="B", L=4, w=1, v=F(1, 4), cost=2, minimum=2)]
plan = allocate(cells, N=8, budget=8)
assert plan["quota"] == {"A": 4, "B": 2}
assert plan["planned_variance"] == F(1, 64)
assert planning_variance(cells, (2, 3), 8) == F(5, 192)
print("plan", plan)
pools = {name: [f"{name}{i}" for i in range(4)] for name in ("A", "B")}
# 只供模拟档案返回;draw 与 allocate 均不读取真值。
truth = dict(zip(pools["A"] + pools["B"], [0, 0, 1, 1, 0, 0, 0, 1]))
chosen = draw(cells, plan["quota"], pools, seed=20261101)
labels = {h: {i: truth[i] for i in ids} for h, ids in chosen.items()}
print("realized", chosen, estimate(cells, 8, 0, chosen, labels))
# 六个等概率加强名单,精确验证真实重复抽样均值和方差。
values = []
for pair in combinations(pools["B"], 2):
selected = {"A": pools["A"], "B": list(pair)}
observed = {h: {i: truth[i] for i in ids} for h, ids in selected.items()}
values.append(estimate(cells, 8, 0, selected, observed)["mean"])
mean = sum(values) / len(values)
variance = sum((x - mean)**2 for x in values) / len(values)
assert mean == F(3, 8) and variance == F(1, 64)
print("design mean", mean, "design variance", variance)python最后一行输出 design mean 3/8 design variance 1/64。base_total 是 ,由冻结旧标签和普通响应账本提供。本例取零。这里没有模型训练;规划器做离散优化,抽样器执行随机设计,估计器计算标签贡献。
itertools.product ↗按各层合法范围的笛卡尔积枚举配额;Fraction ↗避免成本和方差比较受浮点舍入影响;Random.sample ↗从序列中不放回抽取。接口已核对 Python 官方文档。成本应传整数或有理数,避免先用二进制浮点小数再转分数。
若每层允许人数有 种,穷举约需 时间,适合教学和小型配额;实际大池可先将目标与约束交给整数优化器。保存固定的层顺序、完整池快照、配额、实际名单、运行环境和种子,重放应优先读取实际名单。
06 规划精度、实际标准误与工程风险怎样分开?#
planned_variance 使用外部 ;variance2_hat 使用本轮加强样本方差。两者通常不同。八人例中,B 若抽到 [0,0],样本方差为零,返回的方差估计也为零;但真实重复抽样方差仍是 。六份名单平均的方差估计恢复该值,单份小样本不能保证区间质量。
如果某非普查层只有一名加强对象,无法计算该层样本方差,代码用 None 表示第二阶段总方差估计不可得。首抽未普查时,全设计方差还包含第一阶段波动;这里的 variance2_hat 只覆盖已冻结名单条件下的加强阶段。
| 现象 | 检查顺序 | 对策 |
|---|---|---|
| 配额总成本超支 | 是否把连续解直接四舍五入 | 用整数约束重新求解并保留预算余量 |
| 历史某层全零,配额降为零 | 是否把小样本方差当作已知真值 | 保留最低覆盖,比较保守方差情景 |
| 规划方差远小于实测波动 | 试点是否过时、遗漏首抽误差或成本相关性 | 更新规划输入版本,分开报告阶段误差 |
| 某层抽中 4 人,只查到 3 人 | 是否用成功人数回写配额 | 保留原配额与未响应状态,停止全响应估计 |
| 规划器可行,实际费用仍超额 | cost 是否只是平均成本 | 单列随机成本、重试和固定启动费用,预留缓冲 |
| 汇总接受了错误层的人 | 名单与完整池是否按唯一键连接 | 由抽样服务固化名单;估计前复核成员归属 |
示例估计器核对标签与实际名单完全一致;它信任实际名单来自已验证的 draw。生产接口应同时校验名单属于冻结池、首抽权重来自原设计、base_total 无重复贡献,并将规划与标签写入权限分开。
最低覆盖服务于目标精度,不能只由总体均值最小方差决定。如果任务要求比较两组差距,目标会变成差距估计的方差;如果要求每组置信区间足够窄,还需多重精度约束。为总体均值优化的配额可能让一个小组的单独报告很不稳定。
与按复核增量价值分配分钟相比,本篇的收益是减少估计波动,核验不承担改变用户结果的任务。与主动学习(Active Learning)按模型不确定性挑训练标签相比,本篇维持层内随机抽样,估计冻结总体的均值。与按人数比例分配相比,奈曼方向还使用结果变异与单位成本。
历史方差错配会损害效率;永久无法获得结果、档案错标、核验影响行为则会破坏当前估计条件。预算非常小时,应明确哪些精度目标不可达。跨多个核验批次不断更新策略时,还要保存每一轮实际概率与结果截止时间。
思考练习#
- 把预算改为 7、9、12,分别手算最优配额与条件方差,再运行程序。哪一个预算开始允许两层普查?剩余金额为什么有时无法继续降低方差?
- 把规划输入改为 ,保留真实教学标签不变。比较规划器的输出与枚举得到的真实方差,解释无偏性和分配效率为什么是两件事。
- 预算仍为 8,把目标改为两层均值差 。推导新的方差目标,用相同枚举框架检查最优配额是否改变,并解释为什么不能复用总体均值的规划分数。
相关工作#
- Neyman (1934), On the Two Different Aspects of the Representative Method: The Method of Stratified Sampling and the Method of Purposive Selection ↗:分层随机抽样及精度导向分配的经典来源,连接人数、层内变异和配额。
- Hansen & Hurwitz (1946), The Problem of Non-Response in Sample Surveys ↗:以未响应者子抽样与加强追访改善调查,连接本篇预算与两阶段测量设计。
- Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:用入样概率构建总体估计,解释配额改变后为何必须保留实际设计权重。
- Wesołowski, Wieczorkowski & Wójciak (2024 revision), Recursive Neyman Algorithm for Optimum Sample Allocation under Box Constraints on Sample Sizes in Strata ↗:研究上下界下的分配条件与递归算法;其连续配额结构帮助理解覆盖和普查边界,异质成本整数求解仍须匹配本篇约束。
下一篇预告#
目前把加强渠道返回的标签当作正确测量。下一篇将讨论另一种失败:两个渠道都返回了结果却互相矛盾。怎样用独立金标准复核抽样区分错标与缺失,并追踪错误标签对队列均值的影响?