标签都查到了,结果仍有偏差?随机金标准复核与差值校正
把缺失与错标分开:冻结全队列旧标签,随机取得少量独立参考标签,用配对差值校正结果均值,并手算和穷举验证抽样方差。
上一篇给加强核验分配有限预算,暂时把返回的标签视为正确结果。现在档案渠道把一位用户记作“七日内报名”,独立报名凭证却显示他只是保存了草稿。两边都有记录,问题已经从“查不到”变成“查错了”。继续提高响应率,并不能消除这种偏差。
本篇讲随机金标准复核(Randomized Gold-Standard Audit):先冻结全队列的旧标签,再随机抽取少量案例取得独立参考标签,用两种标签的配对差值校正总体均值。核心只有三步:定义参考测量、按已知概率抽签、估计净错标及其抽样波动。
01 标签完整与标签正确,是两份不同的证据#
假设一个已经成熟的固定队列有 人,每个人都有旧标签 。这里的 1 表示决策后七日内完成正式报名。标签可能来自模型、人工录入或廉价档案渠道。我们要估计参考协议下的结果均值
是按统一证据规则可以确定的参考结果。金标准(Gold Standard)在这里是一份可执行的测量协议:核对正式提交凭证和时间戳,预先规定撤回、重复报名和时间边界的处理方式,由独立人员在看不到旧判定的条件下复核;争议案例按固定裁决流程解决。两名标注员投票一致,仍可能共享同一个定义错误。
为单独研究错标,本篇要求全部 人都有旧标签,随机抽中的案例全部获得有效参考标签。上一篇通过抽样补缺得到的加权账本,并不自动满足这个条件。若旧标签仍有缺失,应先保留缺失状态并使用对应设计;不能把空值填零后套用本篇公式。
| 数据对象 | 形状或类型 | 何时可用 | 用途 |
|---|---|---|---|
| 稳定案例键与旧标签 | [N]、[N] | 抽签前完整冻结 | 构成抽样框和旧总量 |
| 参考协议、旧模型或渠道版本 | 固定版本号 | 抽签前冻结 | 确保同一测量目标 |
| 实际随机名单 | [m] 个唯一键 | 抽签后保存 | 确定哪些标签可进入校正 |
| 参考标签 | [m] | 独立复核后 | 与同一案例的旧标签配对 |
| 差值 | [m],元素为 | 按键连接后 | 校正净偏差、估计方差 |
每个标签都是无量纲的二元标量,均值和差值也无量纲。正差值表示旧标签漏记成功,负差值表示旧标签误记成功。旧标签用于抽样后的统计比较;参考复核员应先独立作出判定,再进行配对。
02 为什么要把“净差值”扩张回全队列?#
从完整名单中简单随机、不放回抽样(Simple Random Sampling Without Replacement) 人,且 。每个人的入样概率为 。定义旧均值和配对差值
完整总体满足一个恒等式:。旧标签总量已知,只需估计还不知道的差值总量。于是得到差值估计量(Difference Estimator):
括号中的 把复核样本的差值扩张为全队列差值总量;最外层仍除以完整的 。不能把已经计算出的样本平均差值再乘一次 。
令 为是否抽中的指示变量。固定队列、旧标签和参考结果,只对名单抽签取期望,有 ,所以
这里的设计无偏性(Design Unbiasedness)来自随机复核。它不要求旧标签的错误与人群特征无关,也不要求旧分类器概率校准;要求的是旧标签在抽签前固定、每人具有正入样概率,以及参考测量可靠且完整。
冻结 N 个案例的旧标签 ───────────────→ 已知旧均值
│ │
└→ 随机抽 m 人 → 独立参考复核 │
│ │
按同一案例键配对 │
↓ ↓
平均参考-旧差值 → 相加
↓
校正均值+抽样方差text图中的抽签覆盖整个队列,不能只覆盖已经发生渠道冲突的人。冲突案例可以用于排障;总体偏差估计需要一份有设计概率的参考样本。教学图的可编辑源文件随本文保存为 label-audit-flow.drawio。
把错误拆成两类更容易检查符号。令 为全队列中“旧 1、参考 0”的假阳性(False Positive)人数比例, 为“旧 0、参考 1”的假阴性(False Negative)人数比例,则 。总错标率是 。例如两类都占 10%,总错标率达到 20%,但均值净偏差为零;总体均值碰巧正确,也不表示逐人标签可靠。
03 八人手算:校正一次,为什么还没有得到真值?#
以下是合成教学队列。完整参考列只用于解释和验证;实际估计器只能看到抽中的四人。
| 案例 | 旧标签 | 参考 | 差值 | 本次抽中? |
|---|---|---|---|---|
| 1 | 1 | 1 | 0 | 是 |
| 2 | 1 | 1 | 0 | 否 |
| 3 | 1 | 1 | 0 | 是 |
| 4 | 1 | 0 | -1 | 是 |
| 5 | 0 | 0 | 0 | 是 |
| 6 | 0 | 0 | 0 | 否 |
| 7 | 0 | 0 | 0 | 否 |
| 8 | 0 | 0 | 0 | 否 |
旧成功数为 4,旧均值为 ;完整参考成功数为 3,目标均值为 。本次复核名单 ,,样本差值和为 。校正值为
若只替换抽中者的旧标签,报表会变成 ,本次恰好等于真值;但这种做法只修了样本内错误,忽略尚未复核者可能存在的同类错误。若本次没有抽中案例 4,它会仍然报告 。
全部 份四人名单等概率。35 份含案例 4,差值估计为 ;另 35 份不含它,估计为 。重复抽样平均为 。只替换法的重复抽样平均却为 ,仍高于 。
先想一想:抽中一处错误,就断言全队列只有这一处,错在哪里?
你知道的是四人样本中的错误,不是全部八人的错误总量。这里每人代表两人,所以样本内净差值 对应总体差值总量估计 。名单可能刚好查到唯一错误,也可能漏过它;无偏性描述所有随机名单的平均行为。
04 精度取决于差值的波动,不只取决于复核人数#
旧均值已知且固定,随机误差完全来自 。设全队列的差值均值为 ,有限总体差值方差为
对 ,设计方差和可计算的样本方差估计为
是有限总体修正(Finite Population Correction),普查时抽样方差为零。非普查且 时,均值可算,但样本方差不可估;实现应返回明确的不可得状态。 是直接普查,方差为零。
八人例中 ,,因此真实设计方差是 。含错误者的名单有 ,返回 ;未含错误者则返回零。70 份名单平均的方差估计为 。一次没看到错误,不能据此宣称标签误差为零。
同样随机查四人,直接使用参考样本均值 也设计无偏。它的方差为 ,本例 ,得到 ;差值法为 。这一次旧标签提供了有用辅助信息。若旧标签与参考标签几乎反向, 可能更大,差值法反而比直接参考均值更不稳定。可以用独立试点比较残差变异;看完本轮结果再挑方差最小的估计器,会改变原先的分析流程。
这些是固定队列的抽样方差,未包含参考协议自身的系统性错标。四人样本也不足以支撑可靠的正态近似区间;代码报告方差,不把零方差或一个近似标准误包装成确定结论。
05 可运行 Python:名单、参考测量与汇总分开#
这里没有模型训练。若旧标签来自分类器,先冻结模型和推理结果,随后才生成随机名单。抽样器只读完整键与旧标签;参考服务只处理实际名单;估计器按键配对,输出旧均值、平均差值、校正均值、参考样本均值和设计方差估计。
验证旧账本完整、键唯一、标签二元
从完整键中不放回抽 m 人,保存实际名单与版本
按固定协议取得每名入选者的参考标签
拒绝名单外标签、缺失标签和重复键
计算 D = 参考标签 - 同一人的旧标签
返回 旧均值 + 样本平均 D,以及有限总体修正方差textfrom fractions import Fraction as F
from itertools import combinations
from random import Random
def validate_proxy(proxy):
if not isinstance(proxy, dict) or not proxy:
raise ValueError("旧标签账本必须是非空字典")
if any(not isinstance(i, str) or not i for i in proxy):
raise ValueError("案例键必须是非空字符串")
if any(type(y) is not int or y not in (0, 1) for y in proxy.values()):
raise ValueError("每个旧标签必须是整数 0 或 1")
def draw_audit(proxy, m, seed):
validate_proxy(proxy)
if type(m) is not int or not 1 <= m <= len(proxy):
raise ValueError("抽样人数须在 1 到 N 之间")
return sorted(Random(seed).sample(sorted(proxy), k=m))
def summarize(proxy, selected, gold):
validate_proxy(proxy)
N, m = len(proxy), len(selected)
if not 1 <= m <= N:
raise ValueError("实际名单人数错误")
if (any(not isinstance(i, str) or not i for i in selected)
or len(set(selected)) != m or not set(selected) <= set(proxy)):
raise ValueError("实际名单必须唯一且属于冻结队列")
if not isinstance(gold, dict) or set(gold) != set(selected):
raise ValueError("参考标签必须恰好覆盖实际名单")
if any(type(y) is not int or y not in (0, 1) for y in gold.values()):
raise ValueError("参考标签缺失或不是整数 0、1")
ds = [gold[i] - proxy[i] for i in selected]
proxy_mean, dbar = F(sum(proxy.values()), N), F(sum(ds), m)
if m == N:
variance = F(0)
elif m == 1:
variance = None
else:
s2 = sum((F(d) - dbar)**2 for d in ds) / (m - 1)
variance = (1 - F(m, N)) * s2 / m
return dict(proxy_mean=proxy_mean, residual_mean=dbar,
corrected_mean=proxy_mean + dbar,
gold_only_mean=F(sum(gold.values()), m),
variance_hat=variance)
proxy = {str(i): y for i, y in enumerate([1, 1, 1, 1, 0, 0, 0, 0], 1)}
# 完整参考仅模拟档案服务;draw_audit 不接收它。
reference = {str(i): y for i, y in enumerate([1, 1, 1, 0, 0, 0, 0, 0], 1)}
selected = draw_audit(proxy, m=4, seed=20261102)
gold = {i: reference[i] for i in selected}
print("random audit", selected, summarize(proxy, selected, gold))
hand = ["1", "3", "4", "5"]
out = summarize(proxy, hand, {i: reference[i] for i in hand})
assert out["corrected_mean"] == F(1, 4)
assert out["variance_hat"] == F(1, 32)
print("hand example", out)
# 穷举所有 70 份等概率名单,检查均值、方差及其估计。
results = [summarize(proxy, s, {i: reference[i] for i in s})
for s in combinations(sorted(proxy), 4)]
values = [r["corrected_mean"] for r in results]
mean = sum(values) / len(values)
variance = sum((x - mean)**2 for x in values) / len(values)
avg_vhat = sum(r["variance_hat"] for r in results) / len(results)
assert mean == F(3, 8) and variance == avg_vhat == F(1, 64)
print("design mean", mean, "variance", variance, "mean variance_hat", avg_vhat)python手算输出为 corrected_mean=1/4、variance_hat=1/32;最后输出 design mean 3/8 variance 1/64 mean variance_hat 1/64。实际随机名单可能产生另一个数,它代表一次抽样结果;手算名单仅用于核验计算,不能在真实审计中挑选后冒充随机名单。
Random.sample ↗从序列不放回抽取,参数 k 是人数;先对稳定键排序,使输入顺序明确。Fraction ↗用精确有理数复核手算;itertools.combinations ↗枚举无序、不重复的名单。已核对官方接口,代码仅依赖 Python 标准库。固定种子方便教学,长期重放仍应优先读取已保存的实际名单和运行环境。
除教学穷举外,抽样前排序约需 时间,汇总需扫描 个旧标签和 个参考标签。生产账本应由数据仓库保证主键唯一;字典构造之前发生的重复覆盖,估计器已经看不见。保存队列快照、旧标签版本、协议版本、抽样人数、种子、实际名单、参考证据和判定时间,才能复核一次结果。
06 工程中先检查哪一步?#
| 现象 | 先检查 | 处理方式 |
|---|---|---|
| 校正方向与已发现错误相反 | 是否写成“旧减参考” | 固定差值为参考减旧,用一例假阳性核对负号 |
| 均值下降得异常多 | 是否重复乘了 | 分开记录差值总量与平均差值,核对外层分母 |
| 只复核渠道互相矛盾的记录 | 其他记录的入样概率是否为零 | 保留完整队列随机审计;冲突排障另立名单 |
| 抽中四人,只返回三人 | 是否删掉未返回者并改写 | 保留实际名单,补齐参考或使用未响应设计 |
| 本轮审计后又改写旧预测 | 校正项是否仍配对原版本 | 冻结原预测;新模型另设独立审计 |
| 参考员总是赞同旧标签 | 是否看见旧判断或复制同源档案 | 独立盲判,检查证据来源与裁决协议 |
| 未看到错误,方差估计为零 | 样本是否太小、稀有错标是否漏过 | 增加设计覆盖,用独立试点规划人数 |
实现信任名单确实来自冻结队列的随机抽样,不能从一个任意手选名单推断入样概率。若各人概率不同,总量校正应写成 ,方差还需匹配联合入样概率;本篇的 公式仅适用于固定人数的简单随机抽样。
差值估计可能落到 外。例如四人的旧标签为 [1,0,0,0],参考全为 0,只抽一人:抽中首人时得到 ,其余三种名单都得到 ,平均仍为零。这是线性估计量在极小样本下的可能结果;保留原始估计并排查样本、符号、协议和版本。截断会改变估计量及其无偏性,若另报有界结果,应明确其估计规则。
当参考标签也系统性出错,当前方法校正到的是参考协议定义的均值;它无法从相同错误的两套记录中识别隐藏真值。核验若改变了用户行为,测量对象也随之变化,应该改用能评估干预的设计。本文校正的是冻结队列结果水平,不是处理效应;要比较策略因果价值,还须保留此前的分配与混杂条件。
| 相近做法 | 估计什么 | 与本篇的关键差别 |
|---|---|---|
| 直接参考样本均值 | 参考结果均值 | 同样无偏;舍弃全量旧标签,方差由 决定 |
| 只替换已复核标签 | 部分修订账本的均值 | 修正没有扩张到未复核者,通常仍残留偏差 |
| 按敏感度(Sensitivity)、特异度(Specificity)反演 | 给定错分模型下的真实比例 | 需要相应错误率及其适用条件;本篇直接抽样估计配对差值 |
| 噪声标签训练 | 从错误标签学出预测函数 | 改进模型;本篇冻结模型,估计队列总体量 |
本篇的差值校正也连接了预测辅助推断:大量廉价预测提供基线,少量可信标签估计其偏差。Prediction-powered inference ↗研究了这一思路下更广泛的统计推断;其独立同分布样本设置与这里固定队列、不放回抽样的方差公式须分别处理。
思考练习#
- 穷举八人例中 的全部名单,计算差值估计、只替换法和参考样本均值各自的设计期望与方差。为什么普查时三者都相同?
- 把旧标签改成参考标签的逐位反值。手算 与 的关系,再用代码检查哪种无偏估计更稳定。怎样使用独立试点作出事前选择?
- 将八人队列分为旧标签为 1 和为 0 两层,前一层随机抽三人,后一层随机抽一人。推导各层差值应乘的总体占比,并解释此时为何不能直接合并成未经加权的平均差值。
相关工作#
- Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:以实际入样概率估计有限总体量,是把复核差值扩张回总体的设计基础。
- Cassel, Särndal & Wretman (1976), Some Results on Generalized Difference Estimation and Generalized Regression Estimation for Finite Populations ↗:讨论广义差值和回归估计,为利用已知辅助总量理解估计效率提供经典框架。
- Angelopoulos et al. (2023), Prediction-powered Inference ↗:将大量机器预测与有限可信测量结合,用偏差校正支持统计推断;可进一步学习均值之外的目标。
- Northcutt, Athalye & Mueller (2021), Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks ↗:实证展示评测标签错误会影响模型比较,说明参考标签质量也需要独立审查。
下一篇预告#
本篇从整队列等概率复核,可能漏过数量很少却错误集中的渠道。下一篇将按旧标签与渠道分层抽取金标准样本,推导分层差值权重,说明为什么“多查可疑层”必须同时保留其余层的覆盖与正确分母。