观文听傑

返回

两组待核验档案之间分配有限预算筹码,天平和放大镜象征精度与核验成本两组待核验档案之间分配有限预算筹码,天平和放大镜象征精度与核验成本

上一篇对未响应者随机加强核验,用第二次随机名单恢复普通核验仍缺失的结果。现在普通核验已经截止,两个渠道各留下若干未响应者:甲渠道查一条档案只花 1 个预算单位,乙渠道花 2 个。平均分人数会超支,平均分金额又可能忽略结果变异。怎样把有限预算变成可执行的分层配额?

本篇围绕成本约束分配(Cost-Constrained Allocation)讲清三件事:写出配额影响的条件方差、推导连续配额的方向、在覆盖和人数上限下选择整数配额。目标是提高冻结队列结果均值的估计精度;核验对象仍在每层内随机产生。

01 先冻结池,再决定每层抽几人#

完整成熟队列有 NN 人,二元结果 Yi∈{0,1}Y_i\in\{0,1\} 表示七日内是否报名。沿用上一篇的两阶段设计,将原缺失人群按预先登记的档案渠道分为 HH 层。第 hh 层原缺失人数为 UhU_h,首抽人数为 mhm_h,首抽权重为 wh=Uh/mhw_h=U_h/m_h。普通核验截止后,首抽中取得标签的集合是 RhR_h,未响应池是 FhF_h,人数 Lh=∣Fh∣L_h=|F_h|。

在每个非空 FhF_h 中,独立地简单随机、不放回抽取 khk_h 人,名单记为 qhq_h。第二阶段条件概率为 ηh=kh/Lh\eta_h=k_h/L_h,加强标签的组合权重为 wh/ηhw_h/\eta_h。所有抽中的加强对象都要取得准确结果,且核验只测量已经发生的结果。旧标签成功总数为 POP_O,完整均值估计是

μ^=1N[PO+∑h=1Hwh(∑i∈RhYi+Lhkh∑i∈qhYi)].\widehat\mu=\frac1N\left[P_O+\sum_{h=1}^H w_h \left(\sum_{i\in R_h}Y_i+\frac{L_h}{k_h}\sum_{i\in q_h}Y_i\right)\right].

空池的加强项置零。普通响应贡献已经确定,配额优化只改变第二阶段的抽样误差。非空层的 kh≥1k_h\ge1 保证正入样概率;需要从加强样本估计层内方差时,通常要求 kh≥2k_h\ge2,人数只有 1 的层则直接普查。

环节输入与形状输出此时能否读取本轮加强标签?
冻结全队列键 [N],普通核验状态各层完整未响应键 [L_h]、whw_h尚未取得
规划人数、外部规划方差、成本、最低配额各 [H],预算标量整数配额 [H]、规划方差标量配额不使用这些标签
抽样每层完整键与已冻结配额实际名单 [k_h]、ηh\eta_h抽样不看结果
核验与汇总实际名单和有效标签 [k_h]均值、权重、完成情况、抽样方差估计只在此阶段读取

这张表的关键是时间顺序:先规划,再抽签,最后取得标签。若一边看新标签一边调整配额,最终名单的设计概率就改变了,需要专门的自适应设计与估计。

02 配额究竟在减少哪一种波动?#

先固定首抽名单、普通响应状态以及各层未响应池。令 Sh2S_h^2 是 FhF_h 中全部真实结果的有限总体方差,分母为 Lh−1L_h-1。层间加强抽样独立时,第二阶段的条件方差为

V2(k)=Var⁡(μ^∣已冻结的首抽与响应状态)=∑h:Lh>0(whLhN)2(1−khLh)Sh2kh.V_2(\boldsymbol k)=\operatorname{Var}(\widehat\mu\mid\text{已冻结的首抽与响应状态}) =\sum_{h:L_h>0}\left(\frac{w_hL_h}{N}\right)^2 \left(1-\frac{k_h}{L_h}\right)\frac{S_h^2}{k_h}.

k\boldsymbol k 是长度 [H] 的整数向量。whLh/Nw_hL_h/N 衡量这一池在最终估计中的扩张质量;1−kh/Lh1-k_h/L_h 是有限总体修正(Finite Population Correction),普查时该层抽样误差为零。单人池普查的方差项也直接置零。

规划时尚不知道完整的 Sh2S_h^2。用历史独立核验或预先完成的试点提供 vhv_h,构造规划方差(Planning Variance):

V~2(k)=∑hah(1kh−1Lh),ah=(whLhN)2vh.\widetilde V_2(\boldsymbol k) =\sum_h a_h\left(\frac1{k_h}-\frac1{L_h}\right), \qquad a_h=\left(\frac{w_hL_h}{N}\right)^2v_h.

vhv_h 的单位是结果平方。它决定分配效率;设计权重仍使用实际配额 kh/Lhk_h/L_h。规划方差预测错了,只要配额事先冻结、层内随机抽样和完整核验仍成立,均值的设计无偏性依旧成立,宣称的精度收益则可能落空。

若没有可信试点,二元结果可用有限总体上界:Sh2=LhYˉh(1−Yˉh)/(Lh−1)≤Lh/[4(Lh−1)]S_h^2=L_h\bar Y_h(1-\bar Y_h)/(L_h-1)\le L_h/[4(L_h-1)]。直接用 1/41/4 会漏掉有限总体分母修正,尤其在小池中明显。历史上抽到两个相同标签得到零样本方差,也不足以支持取消该层覆盖。

03 为什么配额与成本的平方根成反比?#

设完成一名加强对象的固定成本为 ch>0c_h>0,可用预算为 CC,固定启动费用已提前扣除。整数问题为

min⁡kV~2(k),∑hchkh≤C,ℓh≤kh≤Lh,kh∈Z.\min_{\boldsymbol k}\widetilde V_2(\boldsymbol k),\qquad \sum_hc_hk_h\le C,\quad \ell_h\le k_h\le L_h,\quad k_h\in\mathbb Z.

ℓh\ell_h 是事先约定的最低覆盖。先忽略整数、上下限,假设所有 vh>0v_h>0 且预算可以用完。−ah/Lh-a_h/L_h 与配额无关,拉格朗日函数只需保留 ∑hah/kh+λ(∑hchkh−C)\sum_ha_h/k_h+\lambda(\sum_hc_hk_h-C)。对 khk_h 求导:

−ahkh2+λch=0,kh=ahλch ∝ whLhvhch.-\frac{a_h}{k_h^2}+\lambda c_h=0, \qquad k_h=\sqrt{\frac{a_h}{\lambda c_h}} \ \propto\ \frac{w_hL_h\sqrt{v_h}}{\sqrt{c_h}}.

定义 bh=whLhvh/chb_h=w_hL_h\sqrt{v_h}/\sqrt{c_h},内点解是 kh=Cbh/∑jcjbjk_h=C b_h/\sum_jc_jb_j。相同成本下,这就是奈曼分配(Neyman Allocation)的方向:给规模大、变异大的层更多名额。成本增加四倍,在同一拉格朗日乘子下对应配额减半;预算归一化还会同时改变其他层。

连续解适合解释方向。若某层超过人数上限,应固定到上限后对剩余层重新分配;最低覆盖同理。直接四舍五入可能超支,取整后按“方差减少/成本”贪心补位也不保证异质整数成本下全局最优。极小问题可以穷举全部合法配额,生产规模可用动态规划或整数优化器。

04 八人手算:同花 8 单位,为什么精度不同?#

为单独看清配额作用,令首抽普查且八人都普通未响应:N=8N=8,wA=wB=1w_A=w_B=1,LA=LB=4L_A=L_B=4,没有旧标签。以下真值是合成教学数据,生产规划器看不到它们;这里把真实方差当作理想规划输入,方便精确验证。

层完整教学真值均值Sh2=vhS_h^2=v_h每人成本最低配额
A[0,0,1,1]1/21/21/31/312
B[0,0,0,1]1/41/41/41/422

完整均值是真值 3/83/8。两个可行方案都花费 8 单位:

方案(kA,kB)(k_A,k_B)成本A 方差贡献B 方差贡献总条件方差
多查昂贵 B(2,3)(2,3)81/481/481/1921/1925/1925/192
普查便宜 A(4,2)(4,2)801/641/641/641/64

例如第二行 B 的贡献是 (4/8)2(1−2/4)(1/4)/2=1/64(4/8)^2(1-2/4)(1/4)/2=1/64。总方差从 5/1925/192 降到 3/1923/192,减少 40%。这比较的是同预算下的重复抽样波动,不表示某一次估计一定更接近真值。

对 (4,2)(4,2),假设 B 抽到 [0,1],估计为 [2+2(0+1)]/8=1/2[2+2(0+1)]/8=1/2;抽到 [0,0],估计为 2/8=1/42/8=1/4。B 的六个等概率二人名单中,各有三个产生这两种情况,均值为 3/83/8,方差为 1/641/64。本例首抽普查,所以没有第一阶段抽样误差。

先判断:两层各抽三人,是否比四人加两人更均衡?

它的成本为 3+2×3=93+2\times3=9,超出预算。均衡人数没有自动满足成本约束;应该先列出每层最低配额、真实人数上限和成本,再谈精度。若预算只有 5,连每层两人的最低覆盖成本 6 都无法满足,规划器应返回不可行。

05 纯 Python:先规划配额,再随机抽取实际名单#

下面的规划器输入层记录列表 [H]:层名、人数 L、首抽权重 w、外部规划方差 v、固定单位成本 cost、最低人数 minimum,以及队列大小 N 和预算。输出每层配额、花费与规划方差。估计器另外消费旧成功贡献、普通响应加权贡献、完整层名单与实际加强标签;输出均值、每层组合权重、第二阶段方差估计。

验证每层人数、最低覆盖、单位成本和规划方差
枚举所有合法整数配额组合,删去超预算组合
计算规划方差,选最小者;同值时先选低成本再按配额排序
保存配额与输入版本,从每层完整池独立不放回抽签
全部抽中对象核验完成后,按实际 k/L 汇总
单独报告条件方差估计和未完成状态
text

最后一行输出 design mean 3/8 design variance 1/64。base_total 是 PO+∑hwh∑i∈RhYiP_O+\sum_hw_h\sum_{i\in R_h}Y_i,由冻结旧标签和普通响应账本提供。本例取零。这里没有模型训练;规划器做离散优化,抽样器执行随机设计,估计器计算标签贡献。

itertools.product ↗按各层合法范围的笛卡尔积枚举配额;Fraction ↗避免成本和方差比较受浮点舍入影响;Random.sample ↗从序列中不放回抽取。接口已核对 Python 官方文档。成本应传整数或有理数,避免先用二进制浮点小数再转分数。

若每层允许人数有 dh=Lh−ℓh+1d_h=L_h-\ell_h+1 种,穷举约需 O(H∏hdh)O(H\prod_hd_h) 时间,适合教学和小型配额;实际大池可先将目标与约束交给整数优化器。保存固定的层顺序、完整池快照、配额、实际名单、运行环境和种子,重放应优先读取实际名单。

06 规划精度、实际标准误与工程风险怎样分开?#

planned_variance 使用外部 vhv_h;variance2_hat 使用本轮加强样本方差。两者通常不同。八人例中,B 若抽到 [0,0],样本方差为零,返回的方差估计也为零;但真实重复抽样方差仍是 1/641/64。六份名单平均的方差估计恢复该值,单份小样本不能保证区间质量。

如果某非普查层只有一名加强对象,无法计算该层样本方差,代码用 None 表示第二阶段总方差估计不可得。首抽未普查时,全设计方差还包含第一阶段波动;这里的 variance2_hat 只覆盖已冻结名单条件下的加强阶段。

现象检查顺序对策
配额总成本超支是否把连续解直接四舍五入用整数约束重新求解并保留预算余量
历史某层全零,配额降为零是否把小样本方差当作已知真值保留最低覆盖,比较保守方差情景
规划方差远小于实测波动试点是否过时、遗漏首抽误差或成本相关性更新规划输入版本,分开报告阶段误差
某层抽中 4 人,只查到 3 人是否用成功人数回写配额保留原配额与未响应状态,停止全响应估计
规划器可行,实际费用仍超额cost 是否只是平均成本单列随机成本、重试和固定启动费用,预留缓冲
汇总接受了错误层的人名单与完整池是否按唯一键连接由抽样服务固化名单;估计前复核成员归属

示例估计器核对标签与实际名单完全一致;它信任实际名单来自已验证的 draw。生产接口应同时校验名单属于冻结池、首抽权重来自原设计、base_total 无重复贡献,并将规划与标签写入权限分开。

最低覆盖服务于目标精度,不能只由总体均值最小方差决定。如果任务要求比较两组差距,目标会变成差距估计的方差;如果要求每组置信区间足够窄,还需多重精度约束。为总体均值优化的配额可能让一个小组的单独报告很不稳定。

与按复核增量价值分配分钟相比,本篇的收益是减少估计波动,核验不承担改变用户结果的任务。与主动学习(Active Learning)按模型不确定性挑训练标签相比,本篇维持层内随机抽样,估计冻结总体的均值。与按人数比例分配相比,奈曼方向还使用结果变异与单位成本。

历史方差错配会损害效率;永久无法获得结果、档案错标、核验影响行为则会破坏当前估计条件。预算非常小时,应明确哪些精度目标不可达。跨多个核验批次不断更新策略时,还要保存每一轮实际概率与结果截止时间。

思考练习#

  1. 把预算改为 7、9、12,分别手算最优配额与条件方差,再运行程序。哪一个预算开始允许两层普查?剩余金额为什么有时无法继续降低方差?
  2. 把规划输入改为 vA=0v_A=0,保留真实教学标签不变。比较规划器的输出与枚举得到的真实方差,解释无偏性和分配效率为什么是两件事。
  3. 预算仍为 8,把目标改为两层均值差 YˉA−YˉB\bar Y_A-\bar Y_B。推导新的方差目标,用相同枚举框架检查最优配额是否改变,并解释为什么不能复用总体均值的规划分数。

相关工作#

  1. Neyman (1934), On the Two Different Aspects of the Representative Method: The Method of Stratified Sampling and the Method of Purposive Selection ↗:分层随机抽样及精度导向分配的经典来源,连接人数、层内变异和配额。
  2. Hansen & Hurwitz (1946), The Problem of Non-Response in Sample Surveys ↗:以未响应者子抽样与加强追访改善调查,连接本篇预算与两阶段测量设计。
  3. Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:用入样概率构建总体估计,解释配额改变后为何必须保留实际设计权重。
  4. Wesołowski, Wieczorkowski & Wójciak (2024 revision), Recursive Neyman Algorithm for Optimum Sample Allocation under Box Constraints on Sample Sizes in Strata ↗:研究上下界下的分配条件与递归算法;其连续配额结构帮助理解覆盖和普查边界,异质成本整数求解仍须匹配本篇约束。

下一篇预告#

目前把加强渠道返回的标签当作正确测量。下一篇将讨论另一种失败:两个渠道都返回了结果却互相矛盾。怎样用独立金标准复核抽样区分错标与缺失,并追踪错误标签对队列均值的影响?

加强核验预算该怎样分层?从条件方差到成本约束下的整数配额
https://zwjcode.cn/blog/intensive-followup-cost-aware-allocation
作者 傑
发布于 2026年11月1日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。