观文听傑

返回

透明样本卡片被依次抽离,黄铜平衡装置随之调整的装饰性插画透明样本卡片被依次抽离,黄铜平衡装置随之调整的装饰性插画

上一篇迭代比例调整让审计样本匹配已知人群边际。现在报表已经给出“校准后的报名率为 75%”,同事接着问:这次随机名单换一批,数字会波动多少?把最终权重当常数,对加权标签直接计算普通均值标准误,会漏掉权重随名单重新拟合的过程。

本篇讲删除一项杰克刀(Delete-One Jackknife)如何重跑校准估计:改变初始设计权重、重新匹配固定总体总量,再汇总重复估计。为让每一步都能手算,我们把上一篇的多个边际简化为一个二分类边际;它可以一次精确缩放,仍然保留“权重由随机样本决定”的关键机制。全部数字是合成教学数据,封面只作装饰。

01 要重复的是完整估计程序#

冻结一个 N=8N=8 人的模型服务队列,地区分组 Gi∈{A,B}G_i\in\{A,B\} 在抽样前已经知道,两组各有 NA=NB=4N_A=N_B=4 人。参考结果 Yi∈{0,1}Y_i\in\{0,1\} 是按固定协议核实的“七日内正式报名”。目标为有限总体均值

μ=1N∑i=1NYi.\mu=\frac1N\sum_{i=1}^N Y_i.

从全部八人中简单随机不放回抽样(Simple Random Sampling Without Replacement, SRSWOR),取 n=4n=4 人;每人的真实入样概率为 πi=n/N=1/2\pi_i=n/N=1/2,初始设计权重 di=1/πi=2d_i=1/\pi_i=2。所有入选者都获得参考结果。这里冻结模型、辅助分类与总体总量,分析的随机性来自审计名单;不包含重训模型、未响应或参考标签错误。

设样本 ss 中第 hh 组人数为 nhn_h。用该组已知总人数校准,得到

wi=diNh∑j∈s:Gj=hdj=Nhnh,Gi=h,w_i=d_i\frac{N_h}{\sum_{j\in s:G_j=h}d_j} =\frac{N_h}{n_h},\qquad G_i=h, μ^cal=1N∑i∈swiYi=∑h∈{A,B}NhNY‾s,h.\widehat\mu_{cal}=\frac1N\sum_{i\in s}w_iY_i =\sum_{h\in\{A,B\}}\frac{N_h}{N}\overline Y_{s,h}.

这叫后分层(Post-stratification):先整体随机抽样,再按已知组总量调整。nhn_h 是随机的。事前固定每组抽几人的分层抽样则有不同设计,不能因为最后都按组汇总,就套用同一方差公式。校准权重与辅助总量的关系见 Deville 与 Särndal 的原论文 ↗。

输入形状可写成:案例键 [n],分组 [n],参考标签 Ys∈Rn\boldsymbol Y_s\in\mathbb R^n,辅助矩阵 Xs∈{0,1}n×2X_s\in\{0,1\}^{n\times2}。两列分别是组 A 和组 B 的指示变量,总量 t=(4,4)⊤∈R2\boldsymbol t=(4,4)^\top\in\mathbb R^2,约束为 Xs⊤w=tX_s^\top\boldsymbol w=\boldsymbol t。人数约束已被这两列包含,无需再加一个线性相关的截距列。每个权重的单位是代表人数,估计均值无量纲。

下面的对比表就是数据流:关键差别发生在连接参考标签之前。

阶段完整重复程序冻结最终权重的错误捷径
冻结输入原始设计、案例键、辅助类别、已知总体总量同左
删除一项第 rr 人初始权重为零,其他人按原设计放大直接把第 rr 人最终权重置零
重新校准对本轮初始权重重新求解,检查全部总量沿用原来的校准倍率
结果汇总按键连接同一份已核实标签,计算 μ^(−r)\widehat\mu^{(-r)}可能已不代表同一目标队列
精度输出按约定系数汇总,保留所有轮次状态约束失配或失败轮次可能被隐藏

02 删除后的初始权重,怎样变成重复估计?#

对实际名单中的每个案例 rr,构造重复设计权重(Replicate Design Weights):

di(−r)={0,i=r,nn−1di=Nn−1,i≠r.d_i^{(-r)}= \begin{cases} 0,&i=r,\\ \dfrac{n}{n-1}d_i=\dfrac{N}{n-1},&i\ne r. \end{cases}

这里的 n/(n−1)n/(n-1) 恢复删除后初始权重的总和。随后重算校准倍率,保持目标 NA,NBN_A,N_B 不变:

wi(−r)=Nhdi(−r)∑j∈s:Gj=hdj(−r),μ^(−r)=1N∑i∈swi(−r)Yi.w_i^{(-r)}= \frac{N_h d_i^{(-r)}}{\sum_{j\in s:G_j=h}d_j^{(-r)}}, \qquad \widehat\mu^{(-r)}=\frac1N\sum_{i\in s}w_i^{(-r)}Y_i.

删除者权重为零;保留者如果属于 hh 组,最终权重为 Nh/(nh−1{Gr=h})N_h/(n_h-\mathbf1\{G_r=h\})。分母为零时该轮不可校准。对于上一篇的两个分类边际,把这一步替换为重新运行整个比例调整循环,直到全部边际同时通过容差检查;对有界校准,则重新求解相同边界规则。不能只更新最后一个边际。

这种“修改设计权重,再重新解校准方程”的结构也出现在 Kott 与 Liao 的杰克刀推导 ↗中。该文处理更复杂的未响应设计,其分层系数和目标定义须按原文使用;本篇下面只实现完整响应的整体简单随机设计。

记 μ‾rep=n−1∑rμ^(−r)\overline\mu_{rep}=n^{-1}\sum_r\widehat\mu^{(-r)} 为重复估计平均,采用以它为中心的杰克刀约定:

V^J=(1−nN)n−1n∑r∈s(μ^(−r)−μ‾rep)2,SE^J=V^J.\widehat V_J= \left(1-\frac nN\right)\frac{n-1}{n} \sum_{r\in s}\left(\widehat\mu^{(-r)}-\overline\mu_{rep}\right)^2, \qquad \widehat{SE}_J=\sqrt{\widehat V_J}.

V^J\widehat V_J 的单位为均值单位的平方;标准误(Standard Error, SE)回到均值单位。此处 nn 次删除是相互重叠的重复估计,不是 nn 个独立实验。把它们的普通样本方差再除以 nn,会错误缩小波动。μ‾rep\overline\mu_{rep} 用于方差中心,最终点估计仍是完整样本的 μ^cal\widehat\mu_{cal}。

系数可以从普通样本均值核对。若估计程序不做校准,Y‾(−r)−Y‾s=(Y‾s−Yr)/(n−1)\overline Y_{(-r)}-\overline Y_s=(\overline Y_s-Y_r)/(n-1)。代入上式得到

V^J=(1−n/N)sY2n,sY2=1n−1∑r∈s(Yr−Y‾s)2.\widehat V_J=(1-n/N)\frac{s_Y^2}{n},\qquad s_Y^2=\frac1{n-1}\sum_{r\in s}(Y_r-\overline Y_s)^2.

这正是该设计下普通均值的无偏方差估计。1−n/N1-n/N 是有限总体修正(Finite Population Correction, FPC):同一固定队列查得越完整,剩余名单随机性越少;普查时为零。对后分层这种非线性估计,它是光滑且组覆盖稳定条件下的设计近似,不能由普通均值恒等式推出有限样本精确无偏性。文献中也有以完整估计为中心的杰克刀约定;非线性小样本下两者数值可能不同,报告须保存中心与系数。本篇不据四人样本构造声称可靠覆盖率的正态区间。

03 四人手算:两组权重都相同,为什么还要重算?#

完整队列的组 A 为 a、b、e、f,组 B 为 c、d、g、h。本次随机名单为 a、b、c、d,标签如下;其余四人的标签在实际审计中未知。

轮次a:A,Y=0Y=0b:A,Y=1Y=1c:B,Y=1Y=1d:B,Y=1Y=1重算后的均值
完整样本22226/8=3/46/8=3/4
删除 a04228/8=18/8=1
删除 b40224/8=1/24/8=1/2
删除 c22046/8=3/46/8=3/4
删除 d22406/8=3/46/8=3/4

以删除 a 为例:剩余初始权重都是 8/38/3。A 组当前代表 8/38/3 人,要乘 4/(8/3)=3/24/(8/3)=3/2,所以 b 的最终权重为 4;B 组当前代表 16/316/3 人,要乘 4/(16/3)=3/44/(16/3)=3/4,所以 c、d 各回到 2。两组仍各代表四人。简单把剩余最终权重统一放大到 8/38/3,会让 A 组代表 8/38/3 人、B 组代表 16/316/3 人,改变已知组构成。

四个重复估计平均仍为 3/43/4,平方离差之和为 1/81/8:

V^J=12×34×18=364=0.046875,SE^J≈0.216506.\widehat V_J= \frac12\times\frac34\times\frac18=\frac3{64}=0.046875, \quad \widehat{SE}_J\approx0.216506.

如果冻结完整权重,仅删除后统一乘 4/34/3,四个“重复均值”为 [1,2/3,2/3,2/3][1,2/3,2/3,2/3],同样系数给出 1/321/32。它比 3/643/64 小三分之一,计算的却不是完整校准程序的重复波动。

换一组标签:如果 A 组全是 0、B 组全是 1,重算与冻结会怎样?

把四人标签改为 [0,0,1,1]。每个可解重复都精确匹配 A、B 各四人,因此重算均值全是 1/21/2,本份样本的杰克刀方差为零。冻结权重的重复值为 [2/3,2/3,1/3,1/3][2/3,2/3,1/3,1/3],方差却为 1/241/24。因此,冻结权重既可能低估,也可能高估完整程序的重复波动。真实总体是否也组内恒定,仍需独立证据;这份样本的零方差本身不能证明它。

04 Python:权重生成不读取标签,失败轮次也返回#

下面的代码只用标准库。groups 是完整冻结框的“案例键 → 类别”字典 [N],已知总量从框中计算;chosen 是实际简单随机名单 [n],gold 是恰好覆盖该名单的二元标签字典 [n]。建立字典之前先检查原始行主键唯一,防止重复行被字典覆盖。

weights 不接收标签,返回每轮权重及空组诊断。audit_jackknife 默认采用严格规则:完整样本或任一重复不可解,就不给方差数值,同时保留失败位置。显式指定 fallback=True 则在不可校准时用该轮初始设计权重,形成另一个事前规定的完整程序。回退选择依据组覆盖,不读取标签大小。

冻结抽样设计、完整分组框和总体总量
生成完整名单的校准权重,连接参考标签,得到点估计
若是普查:所有参考结果已知,名单方差直接为零
对实际名单中的每个案例 r:
    令其初始权重为 0,其余权重放大 n/(n-1)
    重算同样的校准和事前回退规则
    保存状态、约束诊断和重复均值
若有未解决的失败:保留完整记录,不输出方差
否则按固定中心、杰克刀系数和有限总体修正汇总
text

主要输出为 hand 3/4 3/64 0.21650635094610965,随后得到 36 份全轮可解、32 份删除后失败、2 份完整样本就失败。回退例中删除 c 会失去整个 B 组,该轮状态为 raw_fallback,而不是伪装成校准成功。输出的 ok 表示所有规定运算都执行成功,统计近似是否适用仍要检查覆盖与规则光滑性。

重要 API 已核对官方文档:Counter ↗按类别计数;Fraction ↗保留精确有理数,避免把约束残差和舍入混淆;combinations ↗枚举不放回无序名单;math.sqrt ↗把方差转成标准误。没有预测模型训练或额外机器学习依赖。标签先独立核实,再按案例键进入汇总;重复时沿用观测标签,不重新请求核验服务。

教学代码每轮重扫完整框计算总量,总时间约 O(nN+n2)O(nN+n^2),输出记录占 O(n)O(n),另保存框与标签 O(N+n)O(N+n);生产可预缓存不可变总量,降为 O(N+n2)O(N+n^2)。多边际比例调整若每轮需要 TT 个迭代、每次扫描 nn 人和 pp 个分类,全部删除约为 O(n2pT)O(n^2pT)。可以并行各轮、只存重复均值与诊断,避免无必要地保存完整 [n,n] 权重矩阵。

05 空组与回退:运算完成,不等于近似可靠#

完整八人框中,四人名单共有 (84)=70\binom84=70 份且等概率。两组人数分别为 4、0 或 0、4 时有两份名单,完整校准已不可行;人数为 1、3 或 3、1 时共 32 份,删除唯一组员后失败;只有 2、2 的 36 份在全部删除后仍有组覆盖。

如果只报告这 36 份的方差表现,评价对象已经变成“给定两组各抽中两人”的条件程序。它不能代表原来允许全部 70 份名单的整体简单随机抽样。看到完整样本中每组都有人,也不足以证明删除重复可以运行。

事前回退到原始设计估计能让每轮都有数值,但“校准或回退”在空组边界发生跳变。即使完整样本采用校准,某个删除重复也可能采用回退;必须记录这次切换。非光滑分支会破坏简单杰克刀近似的条件,不能因为代码返回数字就给出可靠正态区间。Stukel、Hidiroglou 与 Särndal ↗比较了校准估计的杰克刀与线性化方差;Kott 与 Liao ↗则专门讨论常规校准重复权重失败的处理。不同设计需要各自的推导。

为什么不直接把缺席类别的已知总量改成零,让这一轮“成功”?

目标是原来八人的均值,已知 B 组仍有四人。把目标改成零会把总体换掉;把剩下的 A 组权重归一化到八人,又等价于额外假定 A 组结果可以代替 B 组。两者都没有保留原来的精确校准约束。可以事前设计分层抽样、合理合并类别、增加随机核验或使用明确建模方法,但这些选择需要相应设计和误差评估。

对真实项目,先用冻结的合理总体与原抽样设计模拟整条程序,报告完整校准失败率、重复失败率、回退率、偏差、均方误差和区间覆盖率。杰克刀主要估计方差,校准偏差、遗漏人群和参考测量偏差不因重复而消失;均方误差还包含偏差平方。样本量小、组稀疏、权重上限频繁激活、根据标签选择辅助列时,应分别审查非光滑性与额外选择过程。

06 怎样定位错误,怎样选择相近方法?#

现象优先核对可执行的修复
重复均值异常偏移删除后每组权重和、目标版本、标签键每轮重新校准,逐组打印约束残差
方差小了几个数量级是否对重复值用了“样本方差再除以 nn”保存并核对本设计的杰克刀系数
抽了大半队列仍用无限总体误差n,Nn,N 与是否不放回本设计显式使用 FPC;复杂设计重新推导
个别重复不可解空组、辅助矩阵秩、边界和求解状态保留轮次,按预定规则处理;不删除失败记录
比例调整残差很小,精度却异常迭代误差与重复差值的相对量级收紧容差做稳定性复核,同时检查组覆盖
一位用户有多行、整店随机分配实际抽样单位、簇标识和分层信息删除与设计对应的单位,使用对应系数
总体总量来自另一份样本辅助总量是否也随机联合处理两份抽样;固定总量公式只含当前设计

线性化(Linearization) 用估计函数的局部展开和残差近似方差,通常更省重复计算;杰克刀通过完整程序的局部扰动取得类似信息。 自助重采样(Bootstrap) 生成另一类重复样本,抽样方式、权重和方差系数须匹配原设计。不能把逐行有放回抽取替换进本篇后,沿用删除一项的系数。 交叉验证(Cross-validation) 主要评价模型对未见样本的预测,本篇固定预测系统与参考标签,重复的是总体结果估计。

上线保存原始名单、分组框版本、已知总量、参考标签协议、完整点估计、每轮删除键与状态、是否回退、中心约定、系数及 FPC。仅保存一个标准误,无法复盘它究竟来自哪条估计路径。页面中的表格支持横向滚动和键盘聚焦,两个自测可用 Enter 或空格展开;内容沿用网站深浅色主题。

思考练习#

  1. 不看代码,手算删除 a 后的初始权重、两组倍率、最终权重和均值;再复现 3/643/64。证明普通均值代入本篇公式会得到 (1−n/N)sY2/n(1-n/N)s_Y^2/n,解释为何重复值不能当独立观测。
  2. 把标签换为 [0,0,1,1],比较重新校准与冻结权重的四个重复值。零杰克刀方差说明当前观测到了什么,为什么还不能证明未入选者也组内恒定?
  3. 为八人合成总体预先规定校准失败就用原始均值的规则,枚举全部 70 份名单,比较完整程序的精确设计方差、平均杰克刀方差与偏差。分别报告点估计回退和重复回退的频率;不要只保留 calibrated 的轮次。

相关工作#

  1. Deville & Särndal (1992), Calibration Estimators in Survey Sampling ↗:从设计权重和辅助总量构造校准估计,解释权重为何随样本拟合。
  2. Stukel, Hidiroglou & Särndal (1996), Variance Estimation for Calibration Estimators: A Comparison of Jackknifing Versus Taylor Linearization ↗:直接比较校准估计的两类方差方法,连接本篇机制与正式调查设计。
  3. Kott & Liao (2021), An Alternative Jackknife Variance Estimator When Calibrating Weights to Adjust for Unit Nonresponse in a Complex Survey ↗:分析常规重复校准失败及替代办法;未响应模型和复杂设计的条件须另行满足。

下一篇预告#

本篇把抽样设计固定为整体简单随机,校准是在抽样之后发生的。下一篇回到设计环节:怎样预先按渠道分层并为每层保留核验名额,按层删除和合并方差又怎样变化?用同一份审计预算比较“先整体抽再校准”和“先分层再抽”,把覆盖稳定性与精度放到一起看。

删掉一人后为何必须重算权重?校准审计均值的杰克刀方差
https://zwjcode.cn/blog/jackknife-recalibration-audit-variance
作者 傑
发布于 2026年11月4日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。