删掉一人后为何必须重算权重?校准审计均值的杰克刀方差
用四人手算和精确有理数 Python,解释删除一项后重新校准的必要性、杰克刀系数与有限总体修正,并保留空组失败和回退分支。
上一篇迭代比例调整让审计样本匹配已知人群边际。现在报表已经给出“校准后的报名率为 75%”,同事接着问:这次随机名单换一批,数字会波动多少?把最终权重当常数,对加权标签直接计算普通均值标准误,会漏掉权重随名单重新拟合的过程。
本篇讲删除一项杰克刀(Delete-One Jackknife)如何重跑校准估计:改变初始设计权重、重新匹配固定总体总量,再汇总重复估计。为让每一步都能手算,我们把上一篇的多个边际简化为一个二分类边际;它可以一次精确缩放,仍然保留“权重由随机样本决定”的关键机制。全部数字是合成教学数据,封面只作装饰。
01 要重复的是完整估计程序#
冻结一个 人的模型服务队列,地区分组 在抽样前已经知道,两组各有 人。参考结果 是按固定协议核实的“七日内正式报名”。目标为有限总体均值
从全部八人中简单随机不放回抽样(Simple Random Sampling Without Replacement, SRSWOR),取 人;每人的真实入样概率为 ,初始设计权重 。所有入选者都获得参考结果。这里冻结模型、辅助分类与总体总量,分析的随机性来自审计名单;不包含重训模型、未响应或参考标签错误。
设样本 中第 组人数为 。用该组已知总人数校准,得到
这叫后分层(Post-stratification):先整体随机抽样,再按已知组总量调整。 是随机的。事前固定每组抽几人的分层抽样则有不同设计,不能因为最后都按组汇总,就套用同一方差公式。校准权重与辅助总量的关系见 Deville 与 Särndal 的原论文 ↗。
输入形状可写成:案例键 [n],分组 [n],参考标签 ,辅助矩阵 。两列分别是组 A 和组 B 的指示变量,总量 ,约束为 。人数约束已被这两列包含,无需再加一个线性相关的截距列。每个权重的单位是代表人数,估计均值无量纲。
下面的对比表就是数据流:关键差别发生在连接参考标签之前。
| 阶段 | 完整重复程序 | 冻结最终权重的错误捷径 |
|---|---|---|
| 冻结输入 | 原始设计、案例键、辅助类别、已知总体总量 | 同左 |
| 删除一项 | 第 人初始权重为零,其他人按原设计放大 | 直接把第 人最终权重置零 |
| 重新校准 | 对本轮初始权重重新求解,检查全部总量 | 沿用原来的校准倍率 |
| 结果汇总 | 按键连接同一份已核实标签,计算 | 可能已不代表同一目标队列 |
| 精度输出 | 按约定系数汇总,保留所有轮次状态 | 约束失配或失败轮次可能被隐藏 |
02 删除后的初始权重,怎样变成重复估计?#
对实际名单中的每个案例 ,构造重复设计权重(Replicate Design Weights):
这里的 恢复删除后初始权重的总和。随后重算校准倍率,保持目标 不变:
删除者权重为零;保留者如果属于 组,最终权重为 。分母为零时该轮不可校准。对于上一篇的两个分类边际,把这一步替换为重新运行整个比例调整循环,直到全部边际同时通过容差检查;对有界校准,则重新求解相同边界规则。不能只更新最后一个边际。
这种“修改设计权重,再重新解校准方程”的结构也出现在 Kott 与 Liao 的杰克刀推导 ↗中。该文处理更复杂的未响应设计,其分层系数和目标定义须按原文使用;本篇下面只实现完整响应的整体简单随机设计。
记 为重复估计平均,采用以它为中心的杰克刀约定:
的单位为均值单位的平方;标准误(Standard Error, SE)回到均值单位。此处 次删除是相互重叠的重复估计,不是 个独立实验。把它们的普通样本方差再除以 ,会错误缩小波动。 用于方差中心,最终点估计仍是完整样本的 。
系数可以从普通样本均值核对。若估计程序不做校准,。代入上式得到
这正是该设计下普通均值的无偏方差估计。 是有限总体修正(Finite Population Correction, FPC):同一固定队列查得越完整,剩余名单随机性越少;普查时为零。对后分层这种非线性估计,它是光滑且组覆盖稳定条件下的设计近似,不能由普通均值恒等式推出有限样本精确无偏性。文献中也有以完整估计为中心的杰克刀约定;非线性小样本下两者数值可能不同,报告须保存中心与系数。本篇不据四人样本构造声称可靠覆盖率的正态区间。
03 四人手算:两组权重都相同,为什么还要重算?#
完整队列的组 A 为 a、b、e、f,组 B 为 c、d、g、h。本次随机名单为 a、b、c、d,标签如下;其余四人的标签在实际审计中未知。
| 轮次 | a:A, | b:A, | c:B, | d:B, | 重算后的均值 |
|---|---|---|---|---|---|
| 完整样本 | 2 | 2 | 2 | 2 | |
| 删除 a | 0 | 4 | 2 | 2 | |
| 删除 b | 4 | 0 | 2 | 2 | |
| 删除 c | 2 | 2 | 0 | 4 | |
| 删除 d | 2 | 2 | 4 | 0 |
以删除 a 为例:剩余初始权重都是 。A 组当前代表 人,要乘 ,所以 b 的最终权重为 4;B 组当前代表 人,要乘 ,所以 c、d 各回到 2。两组仍各代表四人。简单把剩余最终权重统一放大到 ,会让 A 组代表 人、B 组代表 人,改变已知组构成。
四个重复估计平均仍为 ,平方离差之和为 :
如果冻结完整权重,仅删除后统一乘 ,四个“重复均值”为 ,同样系数给出 。它比 小三分之一,计算的却不是完整校准程序的重复波动。
换一组标签:如果 A 组全是 0、B 组全是 1,重算与冻结会怎样?
把四人标签改为 [0,0,1,1]。每个可解重复都精确匹配 A、B 各四人,因此重算均值全是 ,本份样本的杰克刀方差为零。冻结权重的重复值为 ,方差却为 。因此,冻结权重既可能低估,也可能高估完整程序的重复波动。真实总体是否也组内恒定,仍需独立证据;这份样本的零方差本身不能证明它。
04 Python:权重生成不读取标签,失败轮次也返回#
下面的代码只用标准库。groups 是完整冻结框的“案例键 → 类别”字典 [N],已知总量从框中计算;chosen 是实际简单随机名单 [n],gold 是恰好覆盖该名单的二元标签字典 [n]。建立字典之前先检查原始行主键唯一,防止重复行被字典覆盖。
weights 不接收标签,返回每轮权重及空组诊断。audit_jackknife 默认采用严格规则:完整样本或任一重复不可解,就不给方差数值,同时保留失败位置。显式指定 fallback=True 则在不可校准时用该轮初始设计权重,形成另一个事前规定的完整程序。回退选择依据组覆盖,不读取标签大小。
冻结抽样设计、完整分组框和总体总量
生成完整名单的校准权重,连接参考标签,得到点估计
若是普查:所有参考结果已知,名单方差直接为零
对实际名单中的每个案例 r:
令其初始权重为 0,其余权重放大 n/(n-1)
重算同样的校准和事前回退规则
保存状态、约束诊断和重复均值
若有未解决的失败:保留完整记录,不输出方差
否则按固定中心、杰克刀系数和有限总体修正汇总textfrom collections import Counter
from fractions import Fraction as F
from itertools import combinations
from math import sqrt
def validate(groups, chosen, gold):
if (not isinstance(groups, dict) or not groups
or any(not isinstance(i, str) or not i for i in groups)
or any(not isinstance(h, str) or not h for h in groups.values())):
raise ValueError("分组框须使用非空字符串键和类别")
if (not isinstance(chosen, (list, tuple))
or any(not isinstance(i, str) for i in chosen)
or not 2 <= len(chosen) <= len(groups)
or len(set(chosen)) != len(chosen)
or not set(chosen) <= set(groups)):
raise ValueError("实际名单须唯一、属于框,且 2 <= n <= N")
if not isinstance(gold, dict) or set(gold) != set(chosen):
raise ValueError("参考标签必须恰好覆盖实际名单")
if any(type(y) is not int or y not in (0, 1) for y in gold.values()):
raise ValueError("参考标签须为整数 0 或 1")
def weights(groups, ids, fallback=False):
# 内部接口:ids 已校验,删除后至少仍有一项。
totals = Counter(groups.values())
counts = Counter(groups[i] for i in ids)
missing = tuple(sorted(h for h in totals if counts[h] == 0))
if missing:
if not fallback:
return None, dict(status="empty_group", missing=missing)
w = {i: F(len(groups), len(ids)) for i in ids}
return w, dict(status="raw_fallback", missing=missing)
d = F(len(groups), len(ids))
w = {i: d * F(totals[groups[i]], 1) / (d * counts[groups[i]])
for i in ids}
assert all(sum(w[i] for i in ids if groups[i] == h) == totals[h]
for h in totals)
return w, dict(status="calibrated", missing=())
def jk_variance(values, N, n):
center = sum(values, F(0)) / n
return (1 - F(n, N)) * F(n-1, n) * sum(
((v-center)**2 for v in values), F(0))
def audit_jackknife(groups, chosen, gold, fallback=False):
validate(groups, chosen, gold)
if type(fallback) is not bool:
raise ValueError("fallback 须显式为布尔值")
N, n = len(groups), len(chosen)
w, full_state = weights(groups, chosen, fallback)
point = None if w is None else sum(w[i]*gold[i] for i in chosen) / N
out = dict(point=point, variance=None, se=None,
full=full_state, replicates=[], status="point_infeasible")
if point is None:
return out
if n == N:
out.update(variance=F(0), se=0.0, status="census")
return out
for dropped in chosen:
keep = [i for i in chosen if i != dropped]
wr, state = weights(groups, keep, fallback)
value = None if wr is None else sum(wr[i]*gold[i] for i in keep) / N
out["replicates"].append(dict(dropped=dropped, value=value, **state))
if any(r["value"] is None for r in out["replicates"]):
out["status"] = "replicate_infeasible"
return out
values = [r["value"] for r in out["replicates"]]
v = jk_variance(values, N, n)
out.update(variance=v, se=sqrt(float(v)), status="ok")
return out
groups = dict(zip("abcdefgh", ["A","A","B","B","A","A","B","B"]))
chosen = ["a", "b", "c", "d"]
gold = dict(zip(chosen, [0,1,1,1]))
out = audit_jackknife(groups, chosen, gold)
assert out["point"] == F(3,4) and out["variance"] == F(3,64)
assert [r["value"] for r in out["replicates"]] == [F(1), F(1,2), F(3,4), F(3,4)]
print("hand", out["point"], out["variance"], out["se"])
# 以下完整标签只供模拟器验证失败率;实际审计没有未入选者的真值。
truth = dict(zip("abcdefgh", [0,1,1,1,0,1,0,1]))
states = Counter()
for ids in combinations(sorted(groups), 4):
result = audit_jackknife(groups, ids, {i: truth[i] for i in ids})
states[result["status"]] += 1
assert states == {"ok": 36, "replicate_infeasible": 32, "point_infeasible": 2}
print("all 70 samples", dict(states))
# 明确观察一次回退;这里不把光滑近似提升为覆盖率保证。
ids = ["a", "b", "c", "e"]
strict = audit_jackknife(groups, ids, {i: truth[i] for i in ids})
adaptive = audit_jackknife(groups, ids, {i: truth[i] for i in ids}, fallback=True)
assert strict["status"] == "replicate_infeasible"
assert adaptive["status"] == "ok"
print("fallback rounds", [(r["dropped"], r["status"]) for r in adaptive["replicates"]])python主要输出为 hand 3/4 3/64 0.21650635094610965,随后得到 36 份全轮可解、32 份删除后失败、2 份完整样本就失败。回退例中删除 c 会失去整个 B 组,该轮状态为 raw_fallback,而不是伪装成校准成功。输出的 ok 表示所有规定运算都执行成功,统计近似是否适用仍要检查覆盖与规则光滑性。
重要 API 已核对官方文档:Counter ↗按类别计数;Fraction ↗保留精确有理数,避免把约束残差和舍入混淆;combinations ↗枚举不放回无序名单;math.sqrt ↗把方差转成标准误。没有预测模型训练或额外机器学习依赖。标签先独立核实,再按案例键进入汇总;重复时沿用观测标签,不重新请求核验服务。
教学代码每轮重扫完整框计算总量,总时间约 ,输出记录占 ,另保存框与标签 ;生产可预缓存不可变总量,降为 。多边际比例调整若每轮需要 个迭代、每次扫描 人和 个分类,全部删除约为 。可以并行各轮、只存重复均值与诊断,避免无必要地保存完整 [n,n] 权重矩阵。
05 空组与回退:运算完成,不等于近似可靠#
完整八人框中,四人名单共有 份且等概率。两组人数分别为 4、0 或 0、4 时有两份名单,完整校准已不可行;人数为 1、3 或 3、1 时共 32 份,删除唯一组员后失败;只有 2、2 的 36 份在全部删除后仍有组覆盖。
如果只报告这 36 份的方差表现,评价对象已经变成“给定两组各抽中两人”的条件程序。它不能代表原来允许全部 70 份名单的整体简单随机抽样。看到完整样本中每组都有人,也不足以证明删除重复可以运行。
事前回退到原始设计估计能让每轮都有数值,但“校准或回退”在空组边界发生跳变。即使完整样本采用校准,某个删除重复也可能采用回退;必须记录这次切换。非光滑分支会破坏简单杰克刀近似的条件,不能因为代码返回数字就给出可靠正态区间。Stukel、Hidiroglou 与 Särndal ↗比较了校准估计的杰克刀与线性化方差;Kott 与 Liao ↗则专门讨论常规校准重复权重失败的处理。不同设计需要各自的推导。
为什么不直接把缺席类别的已知总量改成零,让这一轮“成功”?
目标是原来八人的均值,已知 B 组仍有四人。把目标改成零会把总体换掉;把剩下的 A 组权重归一化到八人,又等价于额外假定 A 组结果可以代替 B 组。两者都没有保留原来的精确校准约束。可以事前设计分层抽样、合理合并类别、增加随机核验或使用明确建模方法,但这些选择需要相应设计和误差评估。
对真实项目,先用冻结的合理总体与原抽样设计模拟整条程序,报告完整校准失败率、重复失败率、回退率、偏差、均方误差和区间覆盖率。杰克刀主要估计方差,校准偏差、遗漏人群和参考测量偏差不因重复而消失;均方误差还包含偏差平方。样本量小、组稀疏、权重上限频繁激活、根据标签选择辅助列时,应分别审查非光滑性与额外选择过程。
06 怎样定位错误,怎样选择相近方法?#
| 现象 | 优先核对 | 可执行的修复 |
|---|---|---|
| 重复均值异常偏移 | 删除后每组权重和、目标版本、标签键 | 每轮重新校准,逐组打印约束残差 |
| 方差小了几个数量级 | 是否对重复值用了“样本方差再除以 ” | 保存并核对本设计的杰克刀系数 |
| 抽了大半队列仍用无限总体误差 | 与是否不放回 | 本设计显式使用 FPC;复杂设计重新推导 |
| 个别重复不可解 | 空组、辅助矩阵秩、边界和求解状态 | 保留轮次,按预定规则处理;不删除失败记录 |
| 比例调整残差很小,精度却异常 | 迭代误差与重复差值的相对量级 | 收紧容差做稳定性复核,同时检查组覆盖 |
| 一位用户有多行、整店随机分配 | 实际抽样单位、簇标识和分层信息 | 删除与设计对应的单位,使用对应系数 |
| 总体总量来自另一份样本 | 辅助总量是否也随机 | 联合处理两份抽样;固定总量公式只含当前设计 |
线性化(Linearization) 用估计函数的局部展开和残差近似方差,通常更省重复计算;杰克刀通过完整程序的局部扰动取得类似信息。 自助重采样(Bootstrap) 生成另一类重复样本,抽样方式、权重和方差系数须匹配原设计。不能把逐行有放回抽取替换进本篇后,沿用删除一项的系数。 交叉验证(Cross-validation) 主要评价模型对未见样本的预测,本篇固定预测系统与参考标签,重复的是总体结果估计。
上线保存原始名单、分组框版本、已知总量、参考标签协议、完整点估计、每轮删除键与状态、是否回退、中心约定、系数及 FPC。仅保存一个标准误,无法复盘它究竟来自哪条估计路径。页面中的表格支持横向滚动和键盘聚焦,两个自测可用 Enter 或空格展开;内容沿用网站深浅色主题。
思考练习#
- 不看代码,手算删除 a 后的初始权重、两组倍率、最终权重和均值;再复现 。证明普通均值代入本篇公式会得到 ,解释为何重复值不能当独立观测。
- 把标签换为
[0,0,1,1],比较重新校准与冻结权重的四个重复值。零杰克刀方差说明当前观测到了什么,为什么还不能证明未入选者也组内恒定? - 为八人合成总体预先规定校准失败就用原始均值的规则,枚举全部 70 份名单,比较完整程序的精确设计方差、平均杰克刀方差与偏差。分别报告点估计回退和重复回退的频率;不要只保留
calibrated的轮次。
相关工作#
- Deville & Särndal (1992), Calibration Estimators in Survey Sampling ↗:从设计权重和辅助总量构造校准估计,解释权重为何随样本拟合。
- Stukel, Hidiroglou & Särndal (1996), Variance Estimation for Calibration Estimators: A Comparison of Jackknifing Versus Taylor Linearization ↗:直接比较校准估计的两类方差方法,连接本篇机制与正式调查设计。
- Kott & Liao (2021), An Alternative Jackknife Variance Estimator When Calibrating Weights to Adjust for Unit Nonresponse in a Complex Survey ↗:分析常规重复校准失败及替代办法;未响应模型和复杂设计的条件须另行满足。
下一篇预告#
本篇把抽样设计固定为整体简单随机,校准是在抽样之后发生的。下一篇回到设计环节:怎样预先按渠道分层并为每层保留核验名额,按层删除和合并方差又怎样变化?用同一份审计预算比较“先整体抽再校准”和“先分层再抽”,把覆盖稳定性与精度放到一起看。