观文听傑

返回

整齐的档案卡中,少量卡片被放大镜和独立参考卡复核,象征对已有标签进行随机质量审计整齐的档案卡中,少量卡片被放大镜和独立参考卡复核,象征对已有标签进行随机质量审计

上一篇给加强核验分配有限预算,暂时把返回的标签视为正确结果。现在档案渠道把一位用户记作“七日内报名”,独立报名凭证却显示他只是保存了草稿。两边都有记录,问题已经从“查不到”变成“查错了”。继续提高响应率,并不能消除这种偏差。

本篇讲随机金标准复核(Randomized Gold-Standard Audit):先冻结全队列的旧标签,再随机抽取少量案例取得独立参考标签,用两种标签的配对差值校正总体均值。核心只有三步:定义参考测量、按已知概率抽签、估计净错标及其抽样波动。

01 标签完整与标签正确,是两份不同的证据#

假设一个已经成熟的固定队列有 NN 人,每个人都有旧标签 Y~i∈{0,1}\widetilde Y_i\in\{0,1\}。这里的 1 表示决策后七日内完成正式报名。标签可能来自模型、人工录入或廉价档案渠道。我们要估计参考协议下的结果均值

μ=1N∑i=1NYi.\mu=\frac1N\sum_{i=1}^N Y_i.

YiY_i 是按统一证据规则可以确定的参考结果。金标准(Gold Standard)在这里是一份可执行的测量协议:核对正式提交凭证和时间戳,预先规定撤回、重复报名和时间边界的处理方式,由独立人员在看不到旧判定的条件下复核;争议案例按固定裁决流程解决。两名标注员投票一致,仍可能共享同一个定义错误。

为单独研究错标,本篇要求全部 NN 人都有旧标签,随机抽中的案例全部获得有效参考标签。上一篇通过抽样补缺得到的加权账本,并不自动满足这个条件。若旧标签仍有缺失,应先保留缺失状态并使用对应设计;不能把空值填零后套用本篇公式。

数据对象形状或类型何时可用用途
稳定案例键与旧标签[N]、[N]抽签前完整冻结构成抽样框和旧总量
参考协议、旧模型或渠道版本固定版本号抽签前冻结确保同一测量目标
实际随机名单 ss[m] 个唯一键抽签后保存确定哪些标签可进入校正
参考标签 YsY_s[m]独立复核后与同一案例的旧标签配对
差值 Ds=Ys−Y~sD_s=Y_s-\widetilde Y_s[m],元素为 −1,0,1-1,0,1按键连接后校正净偏差、估计方差

每个标签都是无量纲的二元标量,均值和差值也无量纲。正差值表示旧标签漏记成功,负差值表示旧标签误记成功。旧标签用于抽样后的统计比较;参考复核员应先独立作出判定,再进行配对。

02 为什么要把“净差值”扩张回全队列?#

从完整名单中简单随机、不放回抽样(Simple Random Sampling Without Replacement) mm 人,且 1≤m≤N1\le m\le N。每个人的入样概率为 πi=m/N\pi_i=m/N。定义旧均值和配对差值

μ~=1N∑iY~i,Di=Yi−Y~i.\widetilde\mu=\frac1N\sum_i\widetilde Y_i, \qquad D_i=Y_i-\widetilde Y_i.

完整总体满足一个恒等式:μ=μ~+N−1∑iDi\mu=\widetilde\mu+N^{-1}\sum_iD_i。旧标签总量已知,只需估计还不知道的差值总量。于是得到差值估计量(Difference Estimator):

μ^D=1N[∑i=1NY~i+Nm∑i∈s(Yi−Y~i)]=μ~+D‾s.\widehat\mu_D =\frac1N\left[\sum_{i=1}^N\widetilde Y_i +\frac Nm\sum_{i\in s}(Y_i-\widetilde Y_i)\right] =\widetilde\mu+\overline D_s.

括号中的 N/mN/m 把复核样本的差值扩张为全队列差值总量;最外层仍除以完整的 NN。不能把已经计算出的样本平均差值再乘一次 N/mN/m。

令 AiA_i 为是否抽中的指示变量。固定队列、旧标签和参考结果,只对名单抽签取期望,有 E(Ai)=m/NE(A_i)=m/N,所以

Es(μ^D)=μ~+1m∑iE(Ai)Di=μ~+1N∑iDi=μ.E_s(\widehat\mu_D) =\widetilde\mu+\frac1m\sum_iE(A_i)D_i =\widetilde\mu+\frac1N\sum_iD_i=\mu.

这里的设计无偏性(Design Unbiasedness)来自随机复核。它不要求旧标签的错误与人群特征无关,也不要求旧分类器概率校准;要求的是旧标签在抽签前固定、每人具有正入样概率,以及参考测量可靠且完整。

冻结 N 个案例的旧标签 ───────────────→ 已知旧均值
          │                               │
          └→ 随机抽 m 人 → 独立参考复核     │
                              │           │
                    按同一案例键配对       │
                              ↓           ↓
                       平均参考-旧差值 → 相加
                                          ↓
                              校正均值+抽样方差
text

图中的抽签覆盖整个队列,不能只覆盖已经发生渠道冲突的人。冲突案例可以用于排障;总体偏差估计需要一份有设计概率的参考样本。教学图的可编辑源文件随本文保存为 label-audit-flow.drawio。

把错误拆成两类更容易检查符号。令 f+f_+ 为全队列中“旧 1、参考 0”的假阳性(False Positive)人数比例,f−f_- 为“旧 0、参考 1”的假阴性(False Negative)人数比例,则 μ−μ~=f−−f+\mu-\widetilde\mu=f_--f_+。总错标率是 f−+f+f_-+f_+。例如两类都占 10%,总错标率达到 20%,但均值净偏差为零;总体均值碰巧正确,也不表示逐人标签可靠。

03 八人手算:校正一次,为什么还没有得到真值?#

以下是合成教学队列。完整参考列只用于解释和验证;实际估计器只能看到抽中的四人。

案例旧标签 Y~i\widetilde Y_i参考 YiY_i差值 DiD_i本次抽中?
1110是
2110否
3110是
410-1是
5000是
6000否
7000否
8000否

旧成功数为 4,旧均值为 1/21/2;完整参考成功数为 3,目标均值为 3/83/8。本次复核名单 s={1,3,4,5}s=\{1,3,4,5\},m=4m=4,样本差值和为 −1-1。校正值为

μ^D=48+−14=14.\widehat\mu_D=\frac48+\frac{-1}{4}=\frac14.

若只替换抽中者的旧标签,报表会变成 3/83/8,本次恰好等于真值;但这种做法只修了样本内错误,忽略尚未复核者可能存在的同类错误。若本次没有抽中案例 4,它会仍然报告 1/21/2。

全部 (84)=70\binom84=70 份四人名单等概率。35 份含案例 4,差值估计为 1/41/4;另 35 份不含它,估计为 1/21/2。重复抽样平均为 (1/4+1/2)/2=3/8(1/4+1/2)/2=3/8。只替换法的重复抽样平均却为 (3/8+1/2)/2=7/16(3/8+1/2)/2=7/16,仍高于 3/83/8。

先想一想:抽中一处错误,就断言全队列只有这一处,错在哪里?

你知道的是四人样本中的错误,不是全部八人的错误总量。这里每人代表两人,所以样本内净差值 −1-1 对应总体差值总量估计 −2-2。名单可能刚好查到唯一错误,也可能漏过它;无偏性描述所有随机名单的平均行为。

04 精度取决于差值的波动,不只取决于复核人数#

旧均值已知且固定,随机误差完全来自 D‾s\overline D_s。设全队列的差值均值为 D‾\overline D,有限总体差值方差为

SD2=1N−1∑i(Di−D‾)2.S_D^2=\frac1{N-1}\sum_i(D_i-\overline D)^2.

对 N>1N>1,设计方差和可计算的样本方差估计为

Var⁡s(μ^D)=(1−mN)SD2m,V^D=(1−mN)sD2m,sD2=1m−1∑i∈s(Di−D‾s)2.\operatorname{Var}_s(\widehat\mu_D) =\left(1-\frac mN\right)\frac{S_D^2}{m}, \qquad \widehat V_D=\left(1-\frac mN\right)\frac{s_D^2}{m}, \quad s_D^2=\frac1{m-1}\sum_{i\in s}(D_i-\overline D_s)^2.

1−m/N1-m/N 是有限总体修正(Finite Population Correction),普查时抽样方差为零。非普查且 m=1m=1 时,均值可算,但样本方差不可估;实现应返回明确的不可得状态。N=m=1N=m=1 是直接普查,方差为零。

八人例中 D‾=−1/8\overline D=-1/8,SD2=1/8S_D^2=1/8,因此真实设计方差是 (1−4/8)(1/8)/4=1/64(1-4/8)(1/8)/4=1/64。含错误者的名单有 sD2=1/4s_D^2=1/4,返回 V^D=1/32\widehat V_D=1/32;未含错误者则返回零。70 份名单平均的方差估计为 1/641/64。一次没看到错误,不能据此宣称标签误差为零。

同样随机查四人,直接使用参考样本均值 Y‾s\overline Y_s 也设计无偏。它的方差为 (1−m/N)SY2/m(1-m/N)S_Y^2/m,本例 SY2=15/56S_Y^2=15/56,得到 15/44815/448;差值法为 7/4487/448。这一次旧标签提供了有用辅助信息。若旧标签与参考标签几乎反向,SD2S_D^2 可能更大,差值法反而比直接参考均值更不稳定。可以用独立试点比较残差变异;看完本轮结果再挑方差最小的估计器,会改变原先的分析流程。

这些是固定队列的抽样方差,未包含参考协议自身的系统性错标。四人样本也不足以支撑可靠的正态近似区间;代码报告方差,不把零方差或一个近似标准误包装成确定结论。

05 可运行 Python:名单、参考测量与汇总分开#

这里没有模型训练。若旧标签来自分类器,先冻结模型和推理结果,随后才生成随机名单。抽样器只读完整键与旧标签;参考服务只处理实际名单;估计器按键配对,输出旧均值、平均差值、校正均值、参考样本均值和设计方差估计。

验证旧账本完整、键唯一、标签二元
从完整键中不放回抽 m 人,保存实际名单与版本
按固定协议取得每名入选者的参考标签
拒绝名单外标签、缺失标签和重复键
计算 D = 参考标签 - 同一人的旧标签
返回 旧均值 + 样本平均 D,以及有限总体修正方差
text

手算输出为 corrected_mean=1/4、variance_hat=1/32;最后输出 design mean 3/8 variance 1/64 mean variance_hat 1/64。实际随机名单可能产生另一个数,它代表一次抽样结果;手算名单仅用于核验计算,不能在真实审计中挑选后冒充随机名单。

Random.sample ↗从序列不放回抽取,参数 k 是人数;先对稳定键排序,使输入顺序明确。Fraction ↗用精确有理数复核手算;itertools.combinations ↗枚举无序、不重复的名单。已核对官方接口,代码仅依赖 Python 标准库。固定种子方便教学,长期重放仍应优先读取已保存的实际名单和运行环境。

除教学穷举外,抽样前排序约需 O(Nlog⁡N)O(N\log N) 时间,汇总需扫描 NN 个旧标签和 mm 个参考标签。生产账本应由数据仓库保证主键唯一;字典构造之前发生的重复覆盖,估计器已经看不见。保存队列快照、旧标签版本、协议版本、抽样人数、种子、实际名单、参考证据和判定时间,才能复核一次结果。

06 工程中先检查哪一步?#

现象先检查处理方式
校正方向与已发现错误相反是否写成“旧减参考”固定差值为参考减旧,用一例假阳性核对负号
均值下降得异常多是否重复乘了 N/mN/m分开记录差值总量与平均差值,核对外层分母
只复核渠道互相矛盾的记录其他记录的入样概率是否为零保留完整队列随机审计;冲突排障另立名单
抽中四人,只返回三人是否删掉未返回者并改写 mm保留实际名单,补齐参考或使用未响应设计
本轮审计后又改写旧预测校正项是否仍配对原版本冻结原预测;新模型另设独立审计
参考员总是赞同旧标签是否看见旧判断或复制同源档案独立盲判,检查证据来源与裁决协议
未看到错误,方差估计为零样本是否太小、稀有错标是否漏过增加设计覆盖,用独立试点规划人数

实现信任名单确实来自冻结队列的随机抽样,不能从一个任意手选名单推断入样概率。若各人概率不同,总量校正应写成 ∑i∈sDi/πi\sum_{i\in s}D_i/\pi_i,方差还需匹配联合入样概率;本篇的 1−m/N1-m/N 公式仅适用于固定人数的简单随机抽样。

差值估计可能落到 [0,1][0,1] 外。例如四人的旧标签为 [1,0,0,0],参考全为 0,只抽一人:抽中首人时得到 1/4−1=−3/41/4-1=-3/4,其余三种名单都得到 1/41/4,平均仍为零。这是线性估计量在极小样本下的可能结果;保留原始估计并排查样本、符号、协议和版本。截断会改变估计量及其无偏性,若另报有界结果,应明确其估计规则。

当参考标签也系统性出错,当前方法校正到的是参考协议定义的均值;它无法从相同错误的两套记录中识别隐藏真值。核验若改变了用户行为,测量对象也随之变化,应该改用能评估干预的设计。本文校正的是冻结队列结果水平,不是处理效应;要比较策略因果价值,还须保留此前的分配与混杂条件。

相近做法估计什么与本篇的关键差别
直接参考样本均值参考结果均值同样无偏;舍弃全量旧标签,方差由 SY2S_Y^2 决定
只替换已复核标签部分修订账本的均值修正没有扩张到未复核者,通常仍残留偏差
按敏感度(Sensitivity)、特异度(Specificity)反演给定错分模型下的真实比例需要相应错误率及其适用条件;本篇直接抽样估计配对差值
噪声标签训练从错误标签学出预测函数改进模型;本篇冻结模型,估计队列总体量

本篇的差值校正也连接了预测辅助推断:大量廉价预测提供基线,少量可信标签估计其偏差。Prediction-powered inference ↗研究了这一思路下更广泛的统计推断;其独立同分布样本设置与这里固定队列、不放回抽样的方差公式须分别处理。

思考练习#

  1. 穷举八人例中 m=2,4,8m=2,4,8 的全部名单,计算差值估计、只替换法和参考样本均值各自的设计期望与方差。为什么普查时三者都相同?
  2. 把旧标签改成参考标签的逐位反值。手算 SD2S_D^2 与 SY2S_Y^2 的关系,再用代码检查哪种无偏估计更稳定。怎样使用独立试点作出事前选择?
  3. 将八人队列分为旧标签为 1 和为 0 两层,前一层随机抽三人,后一层随机抽一人。推导各层差值应乘的总体占比,并解释此时为何不能直接合并成未经加权的平均差值。

相关工作#

  1. Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:以实际入样概率估计有限总体量,是把复核差值扩张回总体的设计基础。
  2. Cassel, Särndal & Wretman (1976), Some Results on Generalized Difference Estimation and Generalized Regression Estimation for Finite Populations ↗:讨论广义差值和回归估计,为利用已知辅助总量理解估计效率提供经典框架。
  3. Angelopoulos et al. (2023), Prediction-powered Inference ↗:将大量机器预测与有限可信测量结合,用偏差校正支持统计推断;可进一步学习均值之外的目标。
  4. Northcutt, Athalye & Mueller (2021), Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks ↗:实证展示评测标签错误会影响模型比较,说明参考标签质量也需要独立审查。

下一篇预告#

本篇从整队列等概率复核,可能漏过数量很少却错误集中的渠道。下一篇将按旧标签与渠道分层抽取金标准样本,推导分层差值权重,说明为什么“多查可疑层”必须同时保留其余层的覆盖与正确分母。

标签都查到了,结果仍有偏差?随机金标准复核与差值校正
https://zwjcode.cn/blog/gold-standard-label-audit-difference-estimator
作者 傑
发布于 2026年11月2日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。