每层都留了核验名额,方差该怎样合并?分层杰克刀的层内删除与重新校准
用两层四人的手算与精确 Python,解释只放大同层设计权重、按层使用有限总体修正,以及跨层辅助类别校准后为何仍须重跑全部估计。
上一篇校准均值的杰克刀方差从整个队列随机抽一份名单,再根据已知类别总量调权重。实际的模型审计常常先给每个渠道留名额:渠道 A 查两人,渠道 B 也查两人。这样可以保证小渠道被看见,但名单已经来自两次独立抽样;把四个人混在一起删除、统一放大权重,会模拟出另一种设计。
本篇只解决一个问题:分层抽样(Stratified Sampling)之后,怎样生成与原设计一致的删除重复,并合并方差?我们先用不做校准的估计推导精确恒等式,再把同样的设计扰动送进完整校准程序。三张表分别展示数据流、可手算权重和排障路径。全部数字为合成教学数据,封面只作装饰。
01 先抽每层两人,与整体抽四人有什么不同?#
冻结一个 人的模型服务队列,目标为已核实的七日内报名率
按抽样前已知的渠道划分两层,A 层有 人,B 层有 人。每层独立进行简单随机不放回抽样(Simple Random Sampling Without Replacement, SRSWOR),预先固定 。每个入选者都获得参考标签;模型、名单框与核验协议保持冻结。
第 层的入样概率 ,设计权重 ,总体占比 。于是 A 层每人代表 2 人,B 层每人代表 4 人,设计估计为
两层各占一半样本,实际分别占总体的 、。直接取四个标签的平均,会把渠道构成改成一半一半。这一权重机制与分层金标准复核相同;本篇新增的是把原来的分层随机性编码进每次删除。
输入包含:完整框的案例键、渠道、辅助类别,均为 [N];实际名单键与参考标签为 [n],其中 ;设计权重向量 。下文另用风险类别 作辅助信息,其指示矩阵 ,已知风险总量 。渠道是抽样层(Sampling Stratum),风险是辅助类别(Auxiliary Category),两者按不同列保存。
同一预算四人,整体简单随机抽样可能完全漏掉 A 层,其概率是 ;分层固定配额使这件事的概率为零。两层总体结果方差分别为 时,分层设计方差是 。是否比整体抽样更精确,取决于分层与结果的关系及配额,覆盖保证本身不等于统一的精度优势。配额的成本与精度权衡见成本约束下的整数配额。
02 删除 A 层一人,为什么 B 层初始权重不动?#
删除层 的案例 ,重复设计权重定义为
只有被扰动层重新分配它代表的 人。每轮、每层仍有 。这些是权重扰动,案例没有真的从核验数据库删除。
接着把这份重复设计权重交给原来的估计程序。若还要匹配风险总量,则每一轮重新计算
是风险组 的总体人数,本例 。分母为零时,该轮风险校准不可解。完整样本也用相同校准函数,只把输入换回原始 。这是一组互斥分类的一次比例缩放;多个交叉边际要像迭代比例调整那样重新迭代全部约束。
| 阶段 | 输入与动作 | 本轮检查 |
|---|---|---|
| 设计冻结 | 各层完整名单、固定 、独立层内抽样 | 每层有入样者,案例键唯一 |
| 层内删除 | 删除 ;仅同层其他设计权重乘 | 各渠道初始权重和仍为 |
| 全部重算 | 用新设计权重匹配固定风险总量 | 每个风险组最终权重和为 |
| 标签汇总 | 按键连接已核实的同一份 | 分母固定为总体人数 |
| 方差合并 | 保存删除层、重复均值、该层系数 | 各层贡献相加,保留失败轮次 |
这里仅校准风险总量,因此校准后的渠道权重和可以改变;“别层不动”说的是初始设计权重。例如删除 A 层一个 L 类案例后,风险 H 的倍率会同时作用于 A、B 两层的 H 类案例。若业务要求风险和渠道总量都精确保留,应把两套边际同时写入校准器,再重跑整个求解;不能把本例的一次缩放当成同时满足两套约束。
03 方差为何要逐层乘系数,再相加?#
记完整样本采用的估计为 ,可以是 或 。本篇明确采用完整点估计中心(Full-Estimate Center),分层杰克刀(Stratified Jackknife)的方差写为
是层数, 是本层系数, 是有限总体修正(Finite Population Correction, FPC)。本例 A 层 ,B 层 。方差的单位是报名率的平方,标准误(Standard Error, SE)为 。重复值彼此重叠,不能把所有重复值的普通样本方差再除以重复次数。
上一篇为了展示整体简单随机设计,使用全部重复值的平均作中心;本篇选择文献中常见的完整点估计中心,并把 center="full_point" 放进输出。对下面的线性设计估计,两种中心一致;非线性校准的小样本结果会不同,中心约定必须随报告保存。Kott 与 Liao 的第 4 节 ↗给出了分层删除、层内放大、重新校准的常规形式;本篇的有限总体修正对应独立、单阶段、层内不放回抽人的设计。
先核对线性估计。在第 层删除 后,
平方求和并乘 ,得到
这是该设计下分层均值的无偏方差估计:层内样本方差估计本层总体方差,独立抽样让层间协方差为零。校准估计通过重新拟合权重产生非线性,杰克刀给出光滑、支持稳定条件下的设计近似;线性恒等式并未赋予它有限样本无偏性。四个核验者也不足以据此宣称正态区间具有可靠覆盖率。
04 四人手算:点估计一样,重复路径可以完全不同#
完整框中 A 层为 a、b、e、f,其余八人属于 B 层;L 类为 a、c、e、g、i、k,其余为 H 类。本次名单 a、b、c、d 的标签是 [0,1,1,1]。
| 删除者 | a:A/L,0 | b:A/H,1 | c:B/L,1 | d:B/H,1 | 设计均值 | 风险校准均值 |
|---|---|---|---|---|---|---|
| 无 | 2 | 2 | 4 | 4 | ||
| a | 0 | 4 | 4 | 4 | ||
| b | 4 | 0 | 4 | 4 | ||
| c | 2 | 2 | 0 | 8 | ||
| d | 2 | 2 | 8 | 0 |
表内四个人的列是重复设计权重。完整样本两类的设计权重和恰好各为 6,因此完整校准权重没有变化。删除 c 后,L 类只剩 a,其设计权重和为 2,倍率是 ;H 类的 b、d 权重和为 10,倍率是 。最终权重为 ,校准均值是 。
设计估计只有 A 层的两个重复偏离 ,所以
风险校准后的 A 层重复为 ,B 层为 ,得到
两者标准误约为 0.11785、0.22807。完整点估计相等,并不表示换名单后它们会以同样方式变化;这份样本的校准方差更大,也说明“辅助总量对齐”不保证每份样本都提高精度。
若冻结完整校准权重,只做层内删除与放大,会得到哪个结果?
完整校准权重恰好是 [2,2,4,4]。冻结后生成的四个均值就是设计均值列,给出 ,并未评估风险校准程序。若坚持使用层内重复平均中心,校准后的中心分别是 、,同样的层系数会得到 ;这是另一个明确约定,不能在输出中仍标成 full_point。
05 Python:先生成设计扰动,再连接参考标签#
下面实现只用 Python 标准库。frame 是“案例键 → (抽样层, 辅助类别)”字典 [N],chosen 为实际名单 [n],gold 为恰好覆盖名单的二元参考标签。构造字典之前先检验原始行主键唯一,避免重复案例被覆盖。总体人数与风险总量直接由完整冻结框计算。
calibrate=False 返回分层设计估计,True 则每轮重新匹配风险总量。若完整样本不可校准,返回 point_infeasible;若任一重复不可解,保留各轮并返回 replicate_infeasible,方差为 None。本例采用严格规则,不隐式删除失败轮次,也不根据结果标签挑选回退方案。
冻结每层完整框、实际配额和风险总量
计算完整设计权重,可选风险校准,得到完整点估计
对每个非普查层 h:
若该层只有一名入样者:报告本设计无法估计层内方差
对该层每个案例 r:
删除者权重置零,仅同层其余设计权重放大
重跑完整校准;保存删除键、层、状态与均值
全部成功后,用本层系数汇总到完整点估计的平方偏差
普查层名单方差贡献为零;逐层贡献相加后开平方textfrom collections import Counter
from fractions import Fraction as F
from itertools import combinations, product
from math import sqrt
def validate(frame, chosen, gold, calibrate):
if (not isinstance(frame, dict) or not frame
or any(not isinstance(i, str) or not i for i in frame)
or any(not isinstance(v, tuple) or len(v) != 2
or any(not isinstance(x, str) or not x for x in v)
for v in frame.values())):
raise ValueError("框须为非空字符串键到(抽样层,辅助类别)的字典")
if (not isinstance(chosen, (list, tuple)) or not chosen
or any(not isinstance(i, str) for i in chosen)
or len(set(chosen)) != len(chosen)
or not set(chosen) <= set(frame)):
raise ValueError("名单须唯一、非空且属于冻结框")
if not isinstance(gold, dict) or set(gold) != set(chosen):
raise ValueError("参考标签必须恰好覆盖名单")
if any(type(v) is not int or v not in (0, 1) for v in gold.values()):
raise ValueError("标签须为整数0或1")
if type(calibrate) is not bool:
raise ValueError("calibrate须为布尔值")
sizes = Counter(v[0] for v in frame.values())
counts = Counter(frame[i][0] for i in chosen)
if set(counts) != set(sizes):
raise ValueError("每个非空抽样层都须有入样者")
return sizes, counts
def final_weights(frame, design, calibrate):
# 权重函数不读取参考标签。设计权重包含删除者的0。
if not calibrate:
return design.copy(), ()
targets = Counter(v[1] for v in frame.values())
current = {g: sum((d for i, d in design.items()
if frame[i][1] == g), F(0)) for g in targets}
missing = tuple(sorted(g for g in targets if current[g] == 0))
if missing:
return None, missing
w = {i: d * targets[frame[i][1]] / current[frame[i][1]]
for i, d in design.items()}
assert all(sum(w[i] for i in w if frame[i][1] == g) == targets[g]
for g in targets)
return w, ()
def stratified_jackknife(frame, chosen, gold, calibrate=False):
sizes, counts = validate(frame, chosen, gold, calibrate)
N = len(frame)
d = {i: F(sizes[frame[i][0]], counts[frame[i][0]]) for i in chosen}
w, missing = final_weights(frame, d, calibrate)
out = dict(point=None, variance=None, se=None, replicates=[],
components={}, missing=missing, center="full_point",
status="point_infeasible")
if w is None:
return out
point = sum(w[i] * gold[i] for i in chosen) / N
out["point"] = point
singletons = tuple(h for h in sizes if counts[h] == 1 < sizes[h])
if singletons:
out.update(status="noncensus_singleton", singleton_strata=singletons)
return out
for h, Nh in sizes.items():
nh = counts[h]
if nh == Nh:
out["components"][h] = F(0) # 普查层没有名单随机性。
continue
coeff = (1 - F(nh, Nh)) * F(nh - 1, nh)
rows = []
for dropped in (i for i in chosen if frame[i][0] == h):
dr = {i: (F(0) if i == dropped else
di * F(nh, nh-1) if frame[i][0] == h else di)
for i, di in d.items()}
# 删除扰动只在h层;重新校准可改变所有辅助组的最终权重。
assert all(sum(dr[i] for i in chosen if frame[i][0] == k) == Nk
for k, Nk in sizes.items())
wr, missing = final_weights(frame, dr, calibrate)
value = None if wr is None else sum(wr[i]*gold[i] for i in chosen) / N
row = dict(stratum=h, dropped=dropped, value=value,
missing=missing, coefficient=coeff)
rows.append(row)
out["replicates"].append(row)
out["components"][h] = (None if any(r["value"] is None for r in rows)
else coeff * sum((r["value"]-point)**2 for r in rows))
if any(v is None for v in out["components"].values()):
out["status"] = "replicate_infeasible"
return out
variance = sum(out["components"].values(), F(0))
out.update(variance=variance, se=sqrt(float(variance)), status="ok")
return out
frame = {i: ("A" if i in "abef" else "B",
"L" if i in "acegik" else "H") for i in "abcdefghijkl"}
chosen = ["a", "b", "c", "d"]
gold = dict(zip(chosen, [0, 1, 1, 1]))
raw = stratified_jackknife(frame, chosen, gold)
cal = stratified_jackknife(frame, chosen, gold, calibrate=True)
assert raw["point"] == cal["point"] == F(5, 6)
assert raw["variance"] == F(1, 72)
assert cal["variance"] == F(749, 14400)
assert [r["value"] for r in cal["replicates"]] == [F(1), F(3,4), F(1,2), F(9,10)]
print("design", raw["point"], raw["variance"], raw["se"])
print("calibrated", cal["point"], cal["variance"], cal["se"])
# 模拟器才拥有全部参考真值;实际函数只接收入样者标签。
truth = {i: int(i not in "aeg") for i in frame}
parts = [[i for i in frame if frame[i][0] == h] for h in ("A", "B")]
states = Counter()
points, variances = [], []
for sa, sb in product(combinations(parts[0], 2), combinations(parts[1], 2)):
ids = sa + sb
labels = {i: truth[i] for i in ids}
r = stratified_jackknife(frame, ids, labels)
points.append(r["point"])
variances.append(r["variance"])
states[stratified_jackknife(frame, ids, labels, True)["status"]] += 1
mean = sum(points) / len(points)
variance = sum((v-mean)**2 for v in points) / len(points)
assert mean == F(sum(truth.values()), len(frame))
assert variance == sum(variances) / len(variances)
print("all 168 designs", mean, variance, dict(states))python代码输出:
design 5/6 1/72 0.11785113019775792
calibrated 5/6 749/14400 0.2280655363900668
all 168 designs 3/4 13/432 {'ok': 76, 'replicate_infeasible': 80, 'point_infeasible': 12}text最后一行枚举了 份等概率的分层名单,模拟总体标签规定 a、e、g 为 0,其余为 1。设计估计平均为真值 ,真实设计方差和平均方差估计都为 。风险校准则只有 76 份全轮可解,80 份删除后失败,12 份完整样本就不可解;这些状态只由覆盖决定,与标签取值无关。实际审计没有未抽中者的参考标签,完整 truth 只属于验证模拟器。
重要 API 使用当前官方文档中的稳定接口:Counter ↗统计人数,Fraction ↗以整数分子分母保存精确分数,combinations 与 product ↗枚举层内无序名单及各层组合,sqrt ↗返回浮点标准误。避免用 Fraction(0.1)代替精确的 Fraction(1,10),前者保留二进制浮点输入的真实值。本文没有模型训练;参考标签固定,重复的是审计总体估计与权重拟合。
教学实现每次校准重扫完整框,约需 时间;缓存冻结的类别总量后可降到 。重复记录只存 [n] 的标量与诊断,临时权重为 [n],不必持久化完整 [n,n] 矩阵。枚举所有名单仅适合极小验证,总次数为 ;生产使用设计相符的模拟检查偏差、方差和覆盖,保留其随机种子。
06 留足渠道名额,为什么风险校准仍可能失败?#
渠道分层保证每层抽中两人,却没有保证每个风险类别被抽中两次。若实际四人名单中只有一位 L 类,删除此人后 L 类设计权重和为零,而已知目标仍是 6,风险校准方程就没有解。本例 168 份名单的状态枚举把这个区别完整保留下来。
需要稳定风险覆盖时,可以事前把渠道与风险交叉成抽样层、给每个非普查单元至少两个名额,或根据设计合并合理类别;这会改变配额需求、设计权重与方差系数。单纯把风险 L 的目标从 6 改成零,会改变估计目标。若事前规定校准失败就回退设计估计,应在完整样本与每个重复中执行相同规则,并单独评估边界跳变的误差;不要只在本轮失败时临时发明回退。
某层只核验一人,或某层已经普查,代码分别怎样处理?
非普查层若 ,无法通过本层一个观测估计层内结果方差,删除倍率也没有定义。函数保留点估计,返回 noncensus_singleton 与层名,方差为 None。扩大该层随机名额或事前合理合并层可以改变设计;直接把这一层方差设为零会制造虚假的确定性。
普查层 的标签已经全部观测,该层自身没有名单随机性,因此跳过删除并记零贡献,包括 的情况。若其他非普查层的删除使全局风险校准重新分配普查案例的最终权重,这种变化仍会进入其他层的重复估计。整个框普查时完整风险校准权重为 1,均值精确,名单方差为零。
| 现象 | 最先打印什么 | 修复或解释 |
|---|---|---|
| 删 A 层时 B 层设计权重也增加 | 每轮删除层、初始设计权重与各层权重和 | 放大范围限定在同层;最终校准权重另行检查 |
| 所有层共用一个有限总体修正 | 每层 | 按层计算修正后合并,避免抹去不同抽样比例 |
| 设计均值与手算不一致 | 实际案例键、层内配额、总体分母 | 用总体占比而非样本占比汇总;固定分母 |
| 完整校准成功但缺少方差 | 每轮辅助组权重和、失败删除键 | 保留失败状态,检查单人辅助组与设计支持 |
| 和另一个软件结果不同 | 中心约定、FPC、校准约束及重复单位 | 先对齐估计程序,再比较数值和容差 |
| 同一用户多次出现、按门店抽样 | 抽样单位键与簇键、层标识 | 以设计规定的单位生成重复并使用相应系数 |
| 权重和正确,结果仍有系统偏差 | 未响应、核验错误、冻结框遗漏 | 这些误差需各自的识别与测量方案 |
后分层(Post-stratification) 在整体抽样之后校准类别人数,类别样本量随机;本篇事前固定渠道配额,两者可同时存在,方差仍由真实抽样设计决定。 簇抽样(Cluster Sampling) 一次抽中的是一组相关案例,例如整家门店;本例逐个抽人的删除规则不能直接用于删掉门店中的某一行。 线性化(Linearization)用局部残差近似方差,通常省去多次拟合; 自助重采样(Bootstrap) 使用另一套匹配设计的重复与系数,不能直接替换层内删除后沿用这里的公式。
这套流程估计冻结系统、完整响应、独立层内 SRSWOR 下的名单波动。校准辅助信息与结果关系弱、类别稀疏、上限约束频繁激活时,校准可能增加方差或出现非光滑切换;按结果选择分层、重训模型、标签测量误差和未响应都需要额外处理。每次运行保存框版本、实际配额、抽样随机种子、标签协议、校准目标、删除单位、中心、各层系数及全部轮次状态,才能把一个标准误追溯到具体设计。页面表格可聚焦后用方向键滚动,自测可用 Enter 或空格展开,并继承网站深浅色主题。
思考练习#
- 手算删除 c 后两层的设计权重和、两个风险校准倍率与最终权重,再算出 。为什么“B 层设计权重只在 B 层内调整”仍允许 A 层最终校准权重变化?
- 保持 a、b 标签不变,把 c、d 改成
[0,1],分别计算设计估计的两层方差贡献。证明线性设计估计的完整点中心与层内重复平均中心一致,并比较风险校准的两个中心约定。 - 运行全部 168 份名单的枚举,逐类统计完整风险缺席、删除后风险缺席和全部成功。另设计渠道×风险交叉分层方案,在相同四人预算下能否让每个非普查交叉层都至少抽两人?解释覆盖要求、预算和推断之间的冲突。
相关工作#
- Deville & Särndal (1992), Calibration Estimators in Survey Sampling ↗:从原始设计权重和已知辅助总量建立校准估计,连接本篇的两套权重。
- Stukel, Hidiroglou & Särndal (1996), Variance Estimation for Calibration Estimators: A Comparison of Jackknifing Versus Taylor Linearization ↗:比较校准估计的重复方差与线性化方法,讨论设计条件下的表现。
- Kott & Liao (2021), An Alternative Jackknife Variance Estimator When Calibrating Weights to Adjust for Unit Nonresponse in a Complex Survey ↗:第 4 节展示常规分层删除权重和重复校准,并研究校准失败的替代办法;其复杂调查与未响应模型条件须按原文使用。
下一篇预告#
本篇逐层保留抽样设计、重跑校准,得到可追溯的名单方差。下一篇把误差来源再往前追一步:参考标签由复核员测量时,怎样用盲法重复标注与争议裁决,区分抽样波动、标注不一致和参考标准本身的偏差?