多查可疑标签,怎样仍代表全队列?分层金标准复核的差值权重
按旧标签与渠道冻结复核层,用总体占比还原不同比例的随机样本;通过八人手算和精确穷举,区分无偏性、抽样方差与分层后的辅助信息收益。
上一篇用随机金标准复核校正标签均值,从整队列等概率抽人。现在某个小渠道频繁把“保存草稿”记成“正式报名”,审计员想多查这个渠道。这个选择合理,但复核样本的人群比例已经变了:可疑渠道占总体十分之一、占样本一半时,直接平均样本差值会把它的影响放大。
本篇讲分层差值估计(Stratified Difference Estimation):先固定层和层内随机配额,再用各层的总体占比合并净错标。只推进四个紧密相连的问题:权重从哪里来、方差怎样相加、按旧标签分层后差值法还剩什么收益,以及怎样把设计写成可审计的程序。
01 先决定每个案例属于哪里,再看参考结果#
设成熟固定队列有 人,旧标签 完整可得,1 表示决策后七日内正式报名。参考标签 来自上一篇的独立证据协议:统一时间边界、盲判旧标签、记录凭证和争议裁决。目标仍是同一队列的参考结果均值 ,本篇不训练新分类器。
在看本轮参考标签前,用“旧标签 × 档案渠道”给每人分配唯一的层(Stratum) 。各层互斥且覆盖全部队列;非空层人数为 ,总体占比为 。每层独立执行简单随机、不放回抽样(Simple Random Sampling Without Replacement),预先固定人数 ,实际名单为 。
层内每人的入样概率 。非空层必须有 ;本篇要求入选者全部取得有效参考标签。未响应不能删去后用成功人数改写原配额,应回到未响应校正或随机加强追访的设计。
下表是数据处理顺序,也是接口契约。窄屏可横向滑动表格,键盘可按 Tab 聚焦后用左右方向键查看。输入列中的方括号表示一维数组长度;标签和均值均无量纲。
| 阶段 | 输入与形状 | 输出与形状 | 此时允许读取的信息 |
|---|---|---|---|
| 冻结抽样框 | 案例键、旧标签、层号各 [N] | 每层完整键 [N_h]、占比 [H] | 旧账本、旧模型和渠道版本 |
| 固定配额并抽签 | 人数 [H]、配额 [H]、随机种子 | 实际名单总长 [M], | 抽样器不读取参考结果 |
| 独立复核并配对 | 实际名单 [M]、参考标签 [M] | 配对差值 [M], | 只接收名单内标签,按案例键连接 |
| 还原总体 | 旧均值、占比 [H]、各层差值 | 校正均值、方差估计两个标量 | 使用冻结的 ,保留未完成状态 |
可疑层可以多抽,层内仍要抽签。只挑冲突案例会让其余案例概率为零;事后按参考结果重新定义层,则无法沿用这份事前概率表。空的“旧标签 × 渠道”组合不创建层,未知渠道也须在抽签前按固定规则归入一个有覆盖的层。
02 为什么是总体占比,而不是样本占比?#
旧均值 已知。第 层完整差值均值记为 ,样本差值均值记为 。完整总体有恒等式
每层的样本均值估计自己的层均值,于是
是一个入选者代表的总体人数; 是这一整层在队列中的占比。这两个量用途不同:对差值总和乘扩张人数,对差值均值乘总体占比。两者择一表示即可,不能重复加权。
固定队列与所有潜在参考结果,只对名单抽签取期望,则 ,因此 。这就是设计无偏性(Design Unbiasedness),不需要假设各渠道错误率相同。
若把全部复核差值合起来直接平均,实际使用的是 :
这是可检查的偏差来源。按人数比例抽样时 ,两种合并恰好相同;不等比例时,只有特殊的差值结构会让偏差抵消。
03 八人手算:一半样本不能代表一半总体#
以下是合成教学数据。A 是旧标签为 1 的两人层,B 是旧标签为 0 的六人层;可进一步按渠道拆层。A 全查两人,B 随机查两人。
| 层 | 完整案例键 | 旧标签 | 完整参考标签,仅供教学验证 | ||||
|---|---|---|---|---|---|---|---|
| A | A1、A2 | [1,1] | [1,0] | 2 | 2 | 1 | |
| B | B1 至 B6 | [0,0,0,0,0,0] | [1,0,0,0,0,0] | 6 | 2 | 3 |
旧均值为 ,真实参考均值也是 :一处假阳性与一处假阴性恰好抵消。这里的真值只用于模拟核验服务,抽样器看不到它。
假设实际名单是 A1、A2、B1、B2。A 差值为 [0,-1],均值 ;B 为 [1,0],均值 。正确的校正值为
未经加权的平均差值恰好是零,得到 ,这一次反而更接近真值。评价估计规则应看所有可能随机名单,而不是挑一次幸运结果。
B 有 份等概率名单:5 份包含 B1,10 份不包含。A 是普查,没有名单变化。
| B 的随机结果 | 名单数与概率 | B 样本差值均值 | 正确分层校正 | 直接合并差值 | 直接平均参考样本 |
|---|---|---|---|---|---|
| 含 B1 | 5 份, | ||||
| 不含 B1 | 10 份, | 0 | 0 | ||
| 重复抽样平均 | 全部 15 份 |
正确分层法的期望为 。直接合并差值把 A 的权重从 提高到 ,更重地计入了负差值,因而平均降到 。直接平均参考标签则估计了样本构成下的均值,平均为 。
先算再展开:每个 B 样本代表三人,为什么 A 不也乘三?
A 已经普查,一个人只代表自己。正确的参考成功总量估计是 A 中 1 人加上 B 中 人,再除以总体 8,得到 。给所有样本相同权重,会把两层不同的入样概率抹掉。
04 方差逐层计算;按旧标签分层还会改变方法关系#
记第 层完整差值的有限总体方差为
层间抽样独立,所以方差不含跨层协方差:
把 换成实际样本方差 ,得到设计无偏的方差估计 。 是有限总体修正(Finite Population Correction)。普查层的贡献直接为零,单人普查也如此;非普查层 时均值可估,样本方差不可得,应返回明确状态。
八人例 A 为普查;B 的完整差值方差为 。故
抽到 B1 时,B 样本差值方差为 ,返回 ;没抽到时返回零。15 份名单平均的方差估计为 。本次零方差估计只能说明样本差值一致,不能证明没有错标。这里报告抽样方差;四人样本不支持把正态近似区间当成可靠的覆盖保证。
还有一个容易忽略的等价关系。若按“旧标签 × 渠道”分层,每层旧标签都是同一个常数 ,那么
也就是说,分层差值估计恰好等于按总体占比加权的参考样本均值,且层内 。差值表示法便于追踪净错标;它不会在同一份旧标签分层设计之上额外降低方差。若只按渠道分层、层内旧标签仍有变化,差值法与直接分层参考均值才可能有不同方差;效率比较看的是层内残差变异。
| 方法 | 合并规则 | 在当前设计中的性质 |
|---|---|---|
| 直接合并差值 | 用 合并各层差值均值 | 不等比例抽样时通常有偏 |
| 分层差值校正 | 旧均值加 | 层内随机、全响应下设计无偏 |
| 分层参考均值 | 设计无偏;旧标签层内恒定时与差值法完全相同 | |
| 主动学习(Active Learning)选训练标签 | 按学习目标挑例,再更新模型 | 优化预测;当前审计估计冻结队列的总体量 |
05 可运行 Python:抽样函数不能读取参考真值#
代码仅使用 Python 标准库。输入 proxy 是案例键到旧标签的字典 [N],stratum 是同一组键到层名的字典 [N],quota 是层名到预定人数的字典 [H]。draw 输出分层实际名单;estimate 另接参考标签字典 [M],输出校正均值、方差估计、各层设计权重和加权参考均值。
核对完整键、二元旧标签、互斥层和每层正配额
按固定层顺序,从各层完整键独立不放回抽样
保存实际名单;参考服务只复核这些键
拒绝跨层名单、重复键、名单外标签和未返回标签
逐层计算平均差值与有限总体修正方差
按冻结总体占比合并;保留均值与精度的不同状态textfrom fractions import Fraction as F
from itertools import combinations
from random import Random
def frame(proxy, stratum, quota):
if not isinstance(proxy, dict) or not proxy:
raise ValueError("旧标签必须是非空字典")
if any(not isinstance(i, str) or not i for i in proxy):
raise ValueError("案例键须为非空字符串")
if any(type(y) is not int or y not in (0, 1) for y in proxy.values()):
raise ValueError("旧标签须为整数 0 或 1")
if not isinstance(stratum, dict) or set(stratum) != set(proxy):
raise ValueError("每个案例须恰好有一个冻结层")
pools = {}
for i in sorted(proxy):
h = stratum[i]
if not isinstance(h, str) or not h:
raise ValueError("层名须为非空字符串")
pools.setdefault(h, []).append(i)
if not isinstance(quota, dict) or set(quota) != set(pools):
raise ValueError("配额须覆盖所有且仅非空层")
for h, ids in pools.items():
if type(quota[h]) is not int or not 1 <= quota[h] <= len(ids):
raise ValueError("每层人数须为 1 到 N_h 的整数")
return pools
def draw(proxy, stratum, quota, seed):
pools = frame(proxy, stratum, quota)
rng = Random(seed)
return {h: sorted(rng.sample(pools[h], k=quota[h])) for h in sorted(pools)}
def estimate(proxy, stratum, quota, chosen, gold):
pools = frame(proxy, stratum, quota)
if not isinstance(chosen, dict) or set(chosen) != set(pools):
raise ValueError("实际名单须覆盖全部层")
flat = []
for h, ids in chosen.items():
if (not isinstance(ids, (list, tuple)) or len(ids) != quota[h]
or any(not isinstance(i, str) for i in ids)
or len(set(ids)) != len(ids) or not set(ids) <= set(pools[h])):
raise ValueError("实际名单人数、唯一性或层归属错误")
flat.extend(ids)
if not isinstance(gold, dict) or set(gold) != set(flat):
raise ValueError("参考标签须恰好覆盖实际名单,不能删除未响应者")
if any(type(y) is not int or y not in (0, 1) for y in gold.values()):
raise ValueError("参考标签须为整数 0 或 1")
N = len(proxy)
old = F(sum(proxy.values()), N)
correction, weighted_gold, variance = F(0), F(0), F(0)
weights = {}
for h, ids in chosen.items():
Nh, mh = len(pools[h]), len(ids)
W = F(Nh, N)
weights[h] = F(Nh, mh)
ds = [gold[i] - proxy[i] for i in ids]
dbar = F(sum(ds), mh)
correction += W * dbar
weighted_gold += W * F(sum(gold[i] for i in ids), mh)
if mh == Nh:
continue
if mh == 1:
variance = None
elif variance is not None:
s2 = sum((F(d) - dbar)**2 for d in ds) / (mh - 1)
variance += W**2 * (1 - F(mh, Nh)) * s2 / mh
return dict(mean=old + correction, variance_hat=variance,
weighted_gold=weighted_gold, weights=weights)
proxy = {"A1": 1, "A2": 1, **{f"B{i}": 0 for i in range(1, 7)}}
stratum = {i: i[0] for i in proxy}
quota = {"A": 2, "B": 2}
# 完整参考只模拟核验服务,不传给抽样器。
truth = {i: int(i in ("A1", "B1")) for i in proxy}
chosen = draw(proxy, stratum, quota, seed=20261102)
gold = {i: truth[i] for ids in chosen.values() for i in ids}
print("random audit", chosen, estimate(proxy, stratum, quota, chosen, gold))
hand = {"A": ["A1", "A2"], "B": ["B1", "B2"]}
out = estimate(proxy, stratum, quota, hand,
{i: truth[i] for ids in hand.values() for i in ids})
assert out["mean"] == out["weighted_gold"] == F(1, 2)
assert out["variance_hat"] == F(3, 32)
print("hand", out)
values, vhats, pooled = [], [], []
for pair in combinations([f"B{i}" for i in range(1, 7)], 2):
s = {"A": ["A1", "A2"], "B": list(pair)}
observed = {i: truth[i] for ids in s.values() for i in ids}
result = estimate(proxy, stratum, quota, s, observed)
assert result["mean"] == result["weighted_gold"]
values.append(result["mean"])
vhats.append(result["variance_hat"])
pooled.append(F(1, 4) + F(sum(observed[i] - proxy[i] for i in observed), 4))
mean = sum(values) / len(values)
variance = sum((v - mean)**2 for v in values) / len(values)
assert mean == F(1, 4) and variance == sum(vhats) / len(vhats) == F(1, 32)
assert sum(pooled) / len(pooled) == F(1, 12)
print("design mean", mean, "variance", variance, "pooled mean", sum(pooled) / len(pooled))python最后输出 design mean 1/4 variance 1/32 pooled mean 1/12。随机一次的结果可能不同;手算名单仅用作计算核验,真实审计使用抽样器保存的实际名单。variance_hat=None 表示至少一层非普查且只抽一人,整个方差估计不可得,均值仍可计算。
已核对官方文档:Random.sample ↗的 k 是不放回抽样人数,输入须为序列;Fraction ↗精确表示有理数;combinations ↗枚举无序、不重复名单。本例未引入持续更新的机器学习库。固定种子服务于教学重放,生产应保存实际名单、Python 版本与随机状态,而不是只保存种子。
除穷举外,冻结框的排序约需 时间,汇总约需 时间、 存储。示例使用字典,因此原始数据进入字典前须先验证主键唯一,防止重复行被静默覆盖。函数能检查名单归属,不能从一份手选名单证明抽样过程随机;实际概率要由抽样服务及其日志保证。
06 上线前用哪张表定位问题?#
| 现象 | 先检查的证据 | 修正方向 |
|---|---|---|
| 多查小渠道后总体结果剧烈变化 | 合并时用的是 还是 | 同时报出总体人数、配额、实际权重与净差值 |
| 差值贡献放大了两次 | 是否对平均差值再乘 | 均值用总体占比,总和用扩张人数 |
| 某层净差值方向反常 | 案例配对与标签版本 | 用一例旧 1、参考 0 核对差值为负 |
| 配额两人,却只收到一人 | 预约名单与返回状态 | 保留原配额;补齐测量或采用未响应设计 |
| 抽样后渠道归属又变了 | 抽样框版本、历史渠道记录 | 按冻结归属估计,新版本另建审计 |
| 看似完整,仍有一批人无覆盖 | 未知渠道、异常状态是否被排除 | 让每个目标案例进入一个正概率层 |
| 参考员与旧标签几乎完全一致 | 复核员是否看见旧判断、证据是否同源 | 独立盲判并复核协议自身的测量质量 |
配额可以使用抽签前的独立历史试点;若借用成本约束分配的思路,本篇要规划的是层内差值方差 ,不是照搬加强追访的两阶段权重。按旧标签分层时,差值方差才与参考标签方差相同。大量稀疏小层会消耗最低覆盖预算,应事前规定合层规则;看完本轮参考标签再合层、再挑估计器,会改变分析程序。
这里的方差只描述随机复核名单的波动。参考协议若系统性错标,估计会校正到该协议定义的均值;核验若改变用户行为,就需要把它作为干预重新设计。估计目标是固定队列结果水平,策略效果仍需先前的随机分配或混杂识别条件。若仅按渠道分层、旧标签层内变化,线性差值估计也可能落出 ,应保留原始值并排查设计,事后截断会改变其无偏性;旧标签层内恒定时,它等于加权二元参考均值,天然位于 。
调试自测:把所有旧标签改成参考标签的反值,分层差值法一定比直接参考均值更差吗?
先看分层规则。若每层旧标签恒定,两者逐份名单完全相等,谈不上额外变差。若只按渠道分层、层内旧标签有变化,差值的波动可能变大,才需要比较两种估计的设计方差。应以独立试点事前固定规则,并保存本轮所有入样概率。
思考练习#
- 八人例把配额改成 A 抽 1 人、B 抽 3 人。推导正确均值、直接合并差值的设计期望,并穷举所有名单验证。哪一层使方差估计返回
None?它是否破坏均值的无偏性? - 把八人分成两个渠道层,每层各含旧 0 和旧 1,先自行指定一个完整参考总体。计算每层 与 ,比较差值法和分层参考均值的真实设计方差。为什么结论可能与旧标签分层时不同?
- 某非普查层两份复核都没有发现错误。构造两个与这份观测一致、却具有不同未复核真值的完整总体。它们的真实设计方差各是多少?零样本方差为什么无法区分它们?
相关工作#
- Neyman (1934), On the Two Different Aspects of the Representative Method: The Method of Stratified Sampling and the Method of Purposive Selection ↗:分层随机抽样与精度分析的经典工作,说明事前分层和主观挑例的区别。
- Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:以入样概率还原有限总体量;本篇对配对差值使用这项设计原则。
- Deville & Särndal (1992), Calibration Estimators in Survey Sampling ↗:研究让加权样本匹配已知辅助总量的校准估计。以层指示变量校准,可连接本篇的 权重;广义校准还可利用更多辅助变量。
- Angelopoulos et al. (2023), Prediction-Powered Inference ↗:用大量廉价预测与有限可信测量进行统计推断,连接预测基线与残差校正。其样本设置和覆盖结论须与这里固定队列的设计方差分开使用。
下一篇预告#
本篇用分层权重让随机复核样本准确代表各层人数。若还知道全队列的连续模型分数、地区比例等辅助总量,能否让审计权重同时匹配这些信息?下一篇讨论校准加权如何写成约束问题,以及过多约束和极端权重何时让精度变差。