参考标签会错,正类比例怎样校正?敏感度、特异度与 Rogan–Gladen 反演
从 30 人四格表推导错分矩阵及其反演,用精确分数实现正类比例校正,识别分母退化、超界结果与跨人群错误率失配。
上一篇盲法双标、Cohen κ 与参考标准偏差说明:两位复核员高度一致,仍可能共享同一种错误。现在我们多得到一份独立证据:参考标签在真实正类中能认出多少,在真实负类中又会误报多少。能否用它修正“完成正式报名”的总体比例?
直接平均参考标签,得到的是“被判成成功”的比例。把它当真实成功率,会同时混入漏报和误报;简单减去一个整体错误率又分不清两个方向。本篇只讲透已知二元错分机制时,怎样从观察比例反演真实比例,并检查什么时候反演没有信息。数字均为合成教学数据,封面只作装饰。
01 两个条件概率,分母必须是真实类别#
令 表示根据冻结定义及可信独立凭证确定的真实状态, 是待校正的参考标签。目标为 ,观察量为 。两者都是目标人群的无量纲概率。有限队列中相应频率可以观测或估计;下面的概率等式描述错分模型,有限次随机判定的实际人数未必恰好等于模型期望。
定义敏感度(Sensitivity) ,以及特异度(Specificity) 。前者衡量真实正类被认出的比例,后者衡量真实负类被正确排除的比例。漏报率是 ,误报率是 。为了减少代码缩写,使用 sensitivity、specificity 全名。
独立验证集同时保存 truth 与 reference 两列,每列形状为 [m]。按真实状态分组,得到四个计数:真正类中参考判 1 的真正例(True Positive),参考判 0 的假负例(False Negative);真负类中参考判 1 的假正例(False Positive),参考判 0 的真负例(True Negative)。这四个名字都相对于可信 truth,与上一篇没有真值的双标表不同。
| 量 | 由什么数据得到 | 分子与分母 | 输出与用途 |
|---|---|---|---|
| 验证集真实正类,人数 | 真正例数 / | 标量,估计敏感度 | |
| 验证集真实负类,人数 | 真负例数 / | 标量,估计特异度 | |
目标人群参考标签 [n] | 参考正类数 / | 标量,估计观察比例 | |
| 上述三个量 | 通过错分反演计算 | 标量,目标真实比例估计 |
可故意多招真实正类进入验证集,只要各真实类别内部仍能代表目标中该类别的错分行为;验证集正类占比无需等于目标的 。如果只挑容易确认的正类、或使用另一套证据与标签协议,验证集的 就未必能用于目标人群。若按参考标签 分层招募,则不能把未加权的类内计数直接套入上表,须恢复相应抽样机制。
尤其不要把阳性预测值(Positive Predictive Value) 当敏感度。它以参考正类为分母,随目标类别比例改变;反演所需的是相反方向的条件概率。上一篇的 κ 也没有提供 。
02 为什么是“先减误报,再除区分能力”?#
对真实正负两类使用全概率公式:
第一项 来自真实正类中被认出的部分,第二项 来自真实负类中的误报。记 ,它也是约登指数(Youden’s J)。 为参考正类比例对真实比例的斜率;当 时,真实正类比真实负类更容易被判为正类。
相同数据流也可写成矩阵。列按真实类别 0、1 排列,行按参考类别 0、1 排列:
每列的和为 1,因为固定真实状态后只有两个参考结果。 是错分矩阵(Misclassification Matrix),行列方向必须写入元数据。其行列式为 ;仅在 时可逆。无需在程序中构造通用矩阵逆,解下面的标量方程更容易检查:
用估计量代入就是Rogan–Gladen 比例校正(Rogan–Gladen Prevalence Correction)。它最初用于筛查比例,模型也适用于这里的二元参考标签;Rogan 与 Gladen 的原文 ↗讨论了以筛查阳性比例估计真实比例的问题。本文把机制展开成可核对的数据流。
“减误报”减的是假设全部为真实负类时的参考正类基线 ,不是从每个人身上扣去同样数量的错误。随后除以斜率 ,把被错分压缩的比例变化拉回原尺度。它校正总体比例,不会告诉我们哪个具体用户错标,也没有重新训练分类器或选择决策阈值。
03 三十人手算:40% 怎样对应 1/3?#
构造一份能看到真值的教学队列,用来检查正向与反向运算。真实正类 10 人,真实负类 20 人;参考规则在两类中均有 80% 判对:
| 真实类别 | 参考判 0 | 参考判 1 | 类内人数 | 类内正确比例 |
|---|---|---|---|---|
| 16 | 4 | 20 | ||
| 2 | 8 | 10 | ||
| 合计 | 18 | 12 | 30 | 不能用总体准确率替代两个参数 |
真实比例 ,参考正类比例 。多报的 4 人与漏报的 2 人相抵后,观察均值高了 。代入公式:
正向重建也必须成立:。参考正类的阳性预测值则为 ,并非敏感度 ;把它塞进 会改写模型。
教学队列显露全部真值,用于核对机制。实际校正的错误率应来自独立验证证据。假设另有一份验证集:5 名可信正类中认出 4 名,5 名可信负类中正确排除 4 名,就能得到相同的参数估计。但 10 人验证集估出的 有很大不确定性,不能因此声称已恢复准确的 ;本例只验证代入算法。下一篇专门处理这份不确定性。
先算一算:把敏感度和特异度都设为 1,会退化成什么?
此时 ,误报基线为 0,因此 。若只存在漏报,即 、,则 ;若只存在误报,即 、,则 。三个边界都可作为实现检查。
04 分母接近零,为何更多小数位也无济于事?#
固定 时,。上例中观察比例误差 0.01 会变成真实比例误差 ,约 1.67 个百分点。若 ,则 , 对应 ,而 已对应 。小数位足够多仍无法弥补输入缺乏区分类别的信息。
当 , 的分布不随真实状态改变。若 ,任何 都符合,真实比例不可识别(Non-identifiable);若 ,给定的精确参数与精确观察概率互不相容。这里的相容性针对精确概率;有限样本频率偏离并不是对模型的自动拒绝检验。
则表示标签方向反了,代数上仍可识别:把参考标签改为 后,敏感度变为 ,特异度变为 ,斜率变为 。业务实现应明确记录重编码或报警,不能为了让分母为正只取绝对值。
更常见的异常是 ,但 不在 内。例如 得到 。这可能由抽样波动、错误率不适用于目标、协议版本错位或行列方向写反造成。保留原始值与状态,再决定是否使用预先规定的约束似然模型;直接截成 0 会隐藏模型冲突,也改变估计程序。
05 Python:显式返回退化与超界状态#
下面的标准库实现接收三个整数或精确分数标量,输出错分增益、原始候选值、可行观察范围与状态。验证计数函数接收形状 [2,2] 的表:行是真实类别,列是参考类别;它把真实类别放在行上,与上面 的行列方向相反,代码注释固定这个约定。参数学习是类内计数,目标推断是反演,两步分开。
冻结真实状态定义、证据和参考协议版本
在独立验证数据中按真实类别统计两种正确率
在目标人群估计参考正类比例;保留其抽样设计
检查 J 和可行观察范围,计算未经截断的候选值
返回状态和全部输入;另行估计误差,不把候选值当真值textfrom fractions import Fraction as F
def probability(x):
if type(x) is not int and type(x) is not F:
raise ValueError("使用整数或 Fraction,避免隐藏的浮点取整")
x = F(x)
if not 0 <= x <= 1:
raise ValueError("概率须在 0 到 1 之间")
return x
def validation_rates(table):
# 行 truth=0,1;列 reference=0,1。
if not isinstance(table, (list, tuple)) or len(table) != 2:
raise ValueError("验证表须为 2x2")
if any(not isinstance(row, (list, tuple)) or len(row) != 2
for row in table):
raise ValueError("验证表须为 2x2")
if any(type(x) is not int or x < 0 for row in table for x in row):
raise ValueError("计数须为非负整数")
negative, positive = map(sum, table)
if min(negative, positive) == 0:
raise ValueError("验证集须包含真实正类与真实负类")
return F(table[1][1], positive), F(table[0][0], negative)
def correct_proportion(observed, sensitivity, specificity):
q, a, b = map(probability, (observed, sensitivity, specificity))
gain = a + b - 1
feasible = tuple(sorted((1 - b, a)))
if gain == 0:
status = "unidentified" if q == 1 - b else "incompatible"
return dict(status=status, gain=gain, raw=None,
feasible_observed=feasible, reconstructed=None)
raw = (q + b - 1) / gain
status = ("ok" if gain > 0 else "reversed") if 0 <= raw <= 1 else "outside"
return dict(status=status, gain=gain, raw=raw,
feasible_observed=feasible,
reconstructed=(1 - b) + gain * raw)
a, b = validation_rates([[4, 1], [1, 4]])
result = correct_proportion(F(12, 30), a, b)
print(result["status"], "p", result["raw"], "J", result["gain"])
print("outside", correct_proportion(F(1, 10), a, b)["raw"])
assert result["raw"] == F(1, 3)
assert result["reconstructed"] == F(2, 5)
assert correct_proportion(F(1, 2), F(1, 2), F(1, 2))["status"] == "unidentified"
assert correct_proportion(F(3, 5), F(1, 5), F(1, 5))["status"] == "reversed"python输出第一行为 ok p 1/3 J 3/5,第二行为 outside -1/6。官方 Fraction(numerator, denominator) ↗ 用于精确有理数;整数计数直接构造分数,不经过 Fraction(0.8),后者保留的是二进制浮点近似。
推断本体只需常数时间与空间;从 [n] 标签生成计数需 时间,分批汇总四格表即可,不必保留全部数组。加权抽样目标的 应使用此前设计匹配的估计器;本函数只计算给定比例的反演,不能靠输入一个“有效人数”自动恢复方差。验证集有权重或缺失时,同样须先解决类内估计与核验选择问题。
先想一想:把参考标签整体翻转,应该改哪三个输入?
同时改为 。新分子与分母都变号,真实比例保持不变。只改 ,或只把分母取绝对值,都不满足这一恒等式。
06 同一个校正公式,怎样在新渠道失效?#
假设训练时的标签协议在渠道 A 中 ,搬到证据更残缺的渠道 B 后实际为 。B 的真实比例若为 0.4,则 。误用 A 参数得到 ,即使 B 有无限多参考标签,这个偏差也不会消失。
校正需要的是适用于目标人群的两种条件错误率。若错误机制依赖已观测渠道 ,可在每个渠道使用 计算 ,再按已知目标占比 合并 ;不能直接把三个参数各自按同一总体权重平均后反演。敏感度的跨层合并还依赖真实正类在层间的构成,特异度则依赖真实负类的构成。类别条件内都相同的假设需要验证或业务证据支撑。
| 信号或需求 | 先查什么 | 对应处理 |
|---|---|---|
| 候选值小于 0 或大于 1 | 四格方向、协议版本、可行观察范围 | 保留超界值,区分抽样波动与模型错配 |
| 很小的比例变化造成大幅校正 | 、类内验证人数、错误率稳定性 | 评估弱识别和不确定性,补有信息的验证证据 |
| 所有渠道结果一起恶化 | 窗口定义、证据来源、错误率能否迁移 | 对齐定义,按目标机制验证,必要时分层 |
| 要知道谁被错标 | 只有总体 是否足够 | 需要个案证据;总体反演无法定位个人 |
| 已有本队列随机金标准复核 | 设计概率和逐人新旧标签差 | 可用此前差值估计,不必依赖跨人群错误率 |
| 没有可信真值 | 双标是否只是重复同一证据 | 另建识别假设,不能从 κ 直接推出 |
本方法与分类概率校准也不同:后者检查模型分数是否匹配观测标签频率,这里纠正的是观测标签相对真实状态的错误。用带偏标签做得很好的概率校准,仍可能只准确预测“参考会判成什么”。保存队列版本、验证抽样规则、真值证据、四格表、三项输入、、原始候选值和失败状态,才能重放每一步。
思考练习#
- 从三十人表重建 与 ,手乘得到参考比例。若误把阳性预测值 当敏感度,代入的真实比例是多少?错误来自哪个分母?
- 固定 ,分别代入 。再令 ,解释“无唯一解”与“精确参数不相容”的区别。
- 两个渠道各占一半,真实比例分别为 ,敏感度分别为 ,特异度都为 。先逐层校正再合并;再比较把三个输入简单平均后反演,解释为何不同。
相关工作#
- Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:本篇二元比例错分校正的原始工作。
- Hui & Walter (1980), Estimating the Error Rates of Diagnostic Tests ↗:在多个人群、条件独立等假设下讨论没有完美金标准时的识别;两人一致本身不足以替代这些条件。
- Reiczigel, Földi & Ozsvári (2010), Exact Confidence Limits for Prevalence of a Disease with an Imperfect Diagnostic Test ↗:研究错误率已知时的区间问题,区别于仅返回反演点估计。
- Lang & Reiczigel (2014), Confidence Limits for Prevalence of Disease Adjusted for Estimated Sensitivity and Specificity ↗:把独立验证样本估计错误率的不确定性纳入区间,承接下一篇。
下一篇预告#
实际的敏感度和特异度来自有限验证集。下一篇将把目标参考比例、正类验证、负类验证三路波动一起传播到校正比例,用一阶近似说明为何目标标签再多,标准误也可能降不下来。