观文听傑

返回

蓝色与琥珀色卡片经过磨砂棱镜后进入分类托盘的装饰性插画蓝色与琥珀色卡片经过磨砂棱镜后进入分类托盘的装饰性插画

上一篇盲法双标、Cohen κ 与参考标准偏差说明:两位复核员高度一致,仍可能共享同一种错误。现在我们多得到一份独立证据:参考标签在真实正类中能认出多少,在真实负类中又会误报多少。能否用它修正“完成正式报名”的总体比例?

直接平均参考标签,得到的是“被判成成功”的比例。把它当真实成功率,会同时混入漏报和误报;简单减去一个整体错误率又分不清两个方向。本篇只讲透已知二元错分机制时,怎样从观察比例反演真实比例,并检查什么时候反演没有信息。数字均为合成教学数据,封面只作装饰。

01 两个条件概率,分母必须是真实类别#

令 Y∗∈{0,1}Y^*\in\{0,1\} 表示根据冻结定义及可信独立凭证确定的真实状态,R∈{0,1}R\in\{0,1\} 是待校正的参考标签。目标为 p=P(Y∗=1)p=P(Y^*=1),观察量为 q=P(R=1)q=P(R=1)。两者都是目标人群的无量纲概率。有限队列中相应频率可以观测或估计;下面的概率等式描述错分模型,有限次随机判定的实际人数未必恰好等于模型期望。

定义敏感度(Sensitivity) a=P(R=1∣Y∗=1)a=P(R=1\mid Y^*=1),以及特异度(Specificity) b=P(R=0∣Y∗=0)b=P(R=0\mid Y^*=0)。前者衡量真实正类被认出的比例,后者衡量真实负类被正确排除的比例。漏报率是 1−a1-a,误报率是 1−b1-b。为了减少代码缩写,使用 sensitivity、specificity 全名。

独立验证集同时保存 truth 与 reference 两列,每列形状为 [m]。按真实状态分组,得到四个计数:真正类中参考判 1 的真正例(True Positive),参考判 0 的假负例(False Negative);真负类中参考判 1 的假正例(False Positive),参考判 0 的真负例(True Negative)。这四个名字都相对于可信 truth,与上一篇没有真值的双标表不同。

量由什么数据得到分子与分母输出与用途
a^\widehat a验证集真实正类,人数 m1m_1真正例数 / m1m_1标量,估计敏感度
b^\widehat b验证集真实负类,人数 m0m_0真负例数 / m0m_0标量,估计特异度
q^\widehat q目标人群参考标签 [n]参考正类数 / nn标量,估计观察比例
p^\widehat p上述三个量通过错分反演计算标量,目标真实比例估计

可故意多招真实正类进入验证集,只要各真实类别内部仍能代表目标中该类别的错分行为;验证集正类占比无需等于目标的 pp。如果只挑容易确认的正类、或使用另一套证据与标签协议,验证集的 a,ba,b 就未必能用于目标人群。若按参考标签 RR 分层招募,则不能把未加权的类内计数直接套入上表,须恢复相应抽样机制。

尤其不要把阳性预测值(Positive Predictive Value) P(Y∗=1∣R=1)P(Y^*=1\mid R=1) 当敏感度。它以参考正类为分母,随目标类别比例改变;反演所需的是相反方向的条件概率。上一篇的 κ 也没有提供 a,ba,b。

02 为什么是“先减误报,再除区分能力”?#

对真实正负两类使用全概率公式:

q=ap+(1−b)(1−p)=(1−b)+(a+b−1)p.q=ap+(1-b)(1-p)=(1-b)+(a+b-1)p.

第一项 apap 来自真实正类中被认出的部分,第二项 (1−b)(1−p)(1-b)(1-p) 来自真实负类中的误报。记 J=a+b−1J=a+b-1,它也是约登指数(Youden’s J)。JJ 为参考正类比例对真实比例的斜率;当 J>0J>0 时,真实正类比真实负类更容易被判为正类。

相同数据流也可写成矩阵。列按真实类别 0、1 排列,行按参考类别 0、1 排列:

[1−qq]=[b1−a1−ba]⏟M  [2,2][1−pp]⏟π  [2].\begin{bmatrix}1-q\\q\end{bmatrix} = \underbrace{\begin{bmatrix}b&1-a\\1-b&a\end{bmatrix}}_{M\;[2,2]} \underbrace{\begin{bmatrix}1-p\\p\end{bmatrix}}_{\boldsymbol\pi\;[2]}.

每列的和为 1,因为固定真实状态后只有两个参考结果。MM 是错分矩阵(Misclassification Matrix),行列方向必须写入元数据。其行列式为 ab−(1−a)(1−b)=Jab-(1-a)(1-b)=J;仅在 J≠0J\ne0 时可逆。无需在程序中构造通用矩阵逆,解下面的标量方程更容易检查:

p=q+b−1a+b−1=q−(1−b)J.p=\frac{q+b-1}{a+b-1}=\frac{q-(1-b)}{J}.

用估计量代入就是Rogan–Gladen 比例校正(Rogan–Gladen Prevalence Correction)。它最初用于筛查比例,模型也适用于这里的二元参考标签;Rogan 与 Gladen 的原文 ↗讨论了以筛查阳性比例估计真实比例的问题。本文把机制展开成可核对的数据流。

“减误报”减的是假设全部为真实负类时的参考正类基线 1−b1-b,不是从每个人身上扣去同样数量的错误。随后除以斜率 JJ,把被错分压缩的比例变化拉回原尺度。它校正总体比例,不会告诉我们哪个具体用户错标,也没有重新训练分类器或选择决策阈值。

03 三十人手算:40% 怎样对应 1/3?#

构造一份能看到真值的教学队列,用来检查正向与反向运算。真实正类 10 人,真实负类 20 人;参考规则在两类中均有 80% 判对:

真实类别参考判 0参考判 1类内人数类内正确比例
Y∗=0Y^*=016420b=16/20=4/5b=16/20=4/5
Y∗=1Y^*=12810a=8/10=4/5a=8/10=4/5
合计181230不能用总体准确率替代两个参数

真实比例 p=10/30=1/3p=10/30=1/3,参考正类比例 q=12/30=2/5q=12/30=2/5。多报的 4 人与漏报的 2 人相抵后,观察均值高了 2/302/30。代入公式:

J=45+45−1=35,p=2/5+4/5−13/5=13.J=\frac45+\frac45-1=\frac35,\qquad p=\frac{2/5+4/5-1}{3/5}=\frac13.

正向重建也必须成立:q=(4/5)(1/3)+(1/5)(2/3)=2/5q=(4/5)(1/3)+(1/5)(2/3)=2/5。参考正类的阳性预测值则为 8/12=2/38/12=2/3,并非敏感度 4/54/5;把它塞进 aa 会改写模型。

教学队列显露全部真值,用于核对机制。实际校正的错误率应来自独立验证证据。假设另有一份验证集:5 名可信正类中认出 4 名,5 名可信负类中正确排除 4 名,就能得到相同的参数估计。但 10 人验证集估出的 4/54/5 有很大不确定性,不能因此声称已恢复准确的 1/31/3;本例只验证代入算法。下一篇专门处理这份不确定性。

先算一算:把敏感度和特异度都设为 1,会退化成什么?

此时 J=1J=1,误报基线为 0,因此 p=qp=q。若只存在漏报,即 b=1b=1、a>0a>0,则 p=q/ap=q/a;若只存在误报,即 a=1a=1、b>0b>0,则 p=(q+b−1)/bp=(q+b-1)/b。三个边界都可作为实现检查。

04 分母接近零,为何更多小数位也无济于事?#

固定 a,ba,b 时,∂p/∂q=1/J\partial p/\partial q=1/J。上例中观察比例误差 0.01 会变成真实比例误差 0.01/(3/5)=1/600.01/(3/5)=1/60,约 1.67 个百分点。若 a=b=0.51a=b=0.51,则 J=0.02J=0.02,q=0.5q=0.5 对应 p=0.5p=0.5,而 q=0.505q=0.505 已对应 p=0.75p=0.75。小数位足够多仍无法弥补输入缺乏区分类别的信息。

当 a+b=1a+b=1,RR 的分布不随真实状态改变。若 q=1−bq=1-b,任何 p∈[0,1]p\in[0,1] 都符合,真实比例不可识别(Non-identifiable);若 q≠1−bq\ne1-b,给定的精确参数与精确观察概率互不相容。这里的相容性针对精确概率;有限样本频率偏离并不是对模型的自动拒绝检验。

J<0J<0 则表示标签方向反了,代数上仍可识别:把参考标签改为 1−R1-R 后,敏感度变为 1−a1-a,特异度变为 1−b1-b,斜率变为 −J-J。业务实现应明确记录重编码或报警,不能为了让分母为正只取绝对值。

更常见的异常是 J>0J>0,但 q^\widehat q 不在 [1−b^,a^][1-\widehat b,\widehat a] 内。例如 a=b=0.8,q=0.1a=b=0.8,q=0.1 得到 p=−1/6p=-1/6。这可能由抽样波动、错误率不适用于目标、协议版本错位或行列方向写反造成。保留原始值与状态,再决定是否使用预先规定的约束似然模型;直接截成 0 会隐藏模型冲突,也改变估计程序。

05 Python:显式返回退化与超界状态#

下面的标准库实现接收三个整数或精确分数标量,输出错分增益、原始候选值、可行观察范围与状态。验证计数函数接收形状 [2,2] 的表:行是真实类别,列是参考类别;它把真实类别放在行上,与上面 MM 的行列方向相反,代码注释固定这个约定。参数学习是类内计数,目标推断是反演,两步分开。

冻结真实状态定义、证据和参考协议版本
在独立验证数据中按真实类别统计两种正确率
在目标人群估计参考正类比例;保留其抽样设计
检查 J 和可行观察范围,计算未经截断的候选值
返回状态和全部输入;另行估计误差,不把候选值当真值
text

输出第一行为 ok p 1/3 J 3/5,第二行为 outside -1/6。官方 Fraction(numerator, denominator) ↗ 用于精确有理数;整数计数直接构造分数,不经过 Fraction(0.8),后者保留的是二进制浮点近似。

推断本体只需常数时间与空间;从 [n] 标签生成计数需 O(n)O(n) 时间,分批汇总四格表即可,不必保留全部数组。加权抽样目标的 q^\widehat q 应使用此前设计匹配的估计器;本函数只计算给定比例的反演,不能靠输入一个“有效人数”自动恢复方差。验证集有权重或缺失时,同样须先解决类内估计与核验选择问题。

先想一想:把参考标签整体翻转,应该改哪三个输入?

同时改为 q′=1−q,a′=1−a,b′=1−bq'=1-q,a'=1-a,b'=1-b。新分子与分母都变号,真实比例保持不变。只改 qq,或只把分母取绝对值,都不满足这一恒等式。

06 同一个校正公式,怎样在新渠道失效?#

假设训练时的标签协议在渠道 A 中 a=b=0.9a=b=0.9,搬到证据更残缺的渠道 B 后实际为 a=0.6,b=0.9a=0.6,b=0.9。B 的真实比例若为 0.4,则 q=0.6×0.4+0.1×0.6=0.3q=0.6\times0.4+0.1\times0.6=0.3。误用 A 参数得到 (0.3−0.1)/0.8=0.25(0.3-0.1)/0.8=0.25,即使 B 有无限多参考标签,这个偏差也不会消失。

校正需要的是适用于目标人群的两种条件错误率。若错误机制依赖已观测渠道 hh,可在每个渠道使用 qh,ah,bhq_h,a_h,b_h 计算 php_h,再按已知目标占比 WhW_h 合并 p=∑hWhphp=\sum_hW_hp_h;不能直接把三个参数各自按同一总体权重平均后反演。敏感度的跨层合并还依赖真实正类在层间的构成,特异度则依赖真实负类的构成。类别条件内都相同的假设需要验证或业务证据支撑。

信号或需求先查什么对应处理
候选值小于 0 或大于 1四格方向、协议版本、可行观察范围保留超界值,区分抽样波动与模型错配
很小的比例变化造成大幅校正JJ、类内验证人数、错误率稳定性评估弱识别和不确定性,补有信息的验证证据
所有渠道结果一起恶化窗口定义、证据来源、错误率能否迁移对齐定义,按目标机制验证,必要时分层
要知道谁被错标只有总体 q,a,bq,a,b 是否足够需要个案证据;总体反演无法定位个人
已有本队列随机金标准复核设计概率和逐人新旧标签差可用此前差值估计,不必依赖跨人群错误率
没有可信真值双标是否只是重复同一证据另建识别假设,不能从 κ 直接推出 a,ba,b

本方法与分类概率校准也不同:后者检查模型分数是否匹配观测标签频率,这里纠正的是观测标签相对真实状态的错误。用带偏标签做得很好的概率校准,仍可能只准确预测“参考会判成什么”。保存队列版本、验证抽样规则、真值证据、四格表、三项输入、JJ、原始候选值和失败状态,才能重放每一步。

思考练习#

  1. 从三十人表重建 MM 与 π\boldsymbol\pi,手乘得到参考比例。若误把阳性预测值 2/32/3 当敏感度,代入的真实比例是多少?错误来自哪个分母?
  2. 固定 a=b=0.51a=b=0.51,分别代入 q=0.495,0.5,0.505q=0.495,0.5,0.505。再令 a=b=0.5a=b=0.5,解释“无唯一解”与“精确参数不相容”的区别。
  3. 两个渠道各占一半,真实比例分别为 0.2,0.80.2,0.8,敏感度分别为 0.9,0.60.9,0.6,特异度都为 0.90.9。先逐层校正再合并;再比较把三个输入简单平均后反演,解释为何不同。

相关工作#

  1. Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:本篇二元比例错分校正的原始工作。
  2. Hui & Walter (1980), Estimating the Error Rates of Diagnostic Tests ↗:在多个人群、条件独立等假设下讨论没有完美金标准时的识别;两人一致本身不足以替代这些条件。
  3. Reiczigel, Földi & Ozsvári (2010), Exact Confidence Limits for Prevalence of a Disease with an Imperfect Diagnostic Test ↗:研究错误率已知时的区间问题,区别于仅返回反演点估计。
  4. Lang & Reiczigel (2014), Confidence Limits for Prevalence of Disease Adjusted for Estimated Sensitivity and Specificity ↗:把独立验证样本估计错误率的不确定性纳入区间,承接下一篇。

下一篇预告#

实际的敏感度和特异度来自有限验证集。下一篇将把目标参考比例、正类验证、负类验证三路波动一起传播到校正比例,用一阶近似说明为何目标标签再多,标准误也可能降不下来。

参考标签会错,正类比例怎样校正?敏感度、特异度与 Rogan–Gladen 反演
https://zwjcode.cn/blog/reference-label-misclassification-rogan-gladen
作者 傑
发布于 2026年11月6日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。