观文听傑

返回

蓝色透明带在两端琥珀色支架之间展开,象征保留可能答案范围的装饰性插画蓝色透明带在两端琥珀色支架之间展开,象征保留可能答案范围的装饰性插画

上一篇校正比例的验证集不确定性传播计算了样本波动。新渠道刚上线时,样本标准误还无法保证旧渠道的错误率适用;已有资料可能只支持敏感度(Sensitivity)在 0.7–0.9、特异度(Specificity)在 0.8–0.9。取中点算出一个比例,会隐藏其他同样符合证据的答案。

本篇只研究有界错分率下的部分识别(Partial Identification with Bounded Misclassification Rates):把错误率范围作为明确假设,求出所有兼容的真实比例。我们先推上下界,再用两个可实现世界证明端点,最后检查空集合与抽样不确定性的区别。全部数字是合成教学设定,封面不表示实测结果。

01 数据给出的一个概率,为什么不能唯一决定答案?#

用 Y∈{0,1}Y\in\{0,1\} 表示真实结果,R∈{0,1}R\in\{0,1\} 表示旧标签;p=P(Y=1)p=P(Y=1) 是目标,q=P(R=1)q=P(R=1) 是可观测正类概率。定义敏感度 s=P(R=1∣Y=1)s=P(R=1\mid Y=1)、特异度 c=P(R=0∣Y=0)c=P(R=0\mid Y=0)。四者都是无量纲标量,满足:

q=sp+(1−c)(1−p).q=sp+(1-c)(1-p).

例如 q=2/5q=2/5。固定 s=c=4/5s=c=4/5 得 p=1/3p=1/3;若允许 s,cs,c 在范围内移动,其他 pp 也会产生同一个 qq。即使观测到无限多旧标签、把 qq 测得完全精确,也无法靠旧标签区分这些世界。

设可信范围为 s∈[sL,sU]s\in[s_L,s_U]、c∈[cL,cU]c\in[c_L,c_U],均在 [0,1][0,1] 内。本文采用一个清楚的范围条件:

sL+cL>1.s_L+c_L>1.

它确保整个允许区域的 J=s+c−1J=s+c-1 都大于零,标签方向一致且通道可区分两类。上下界来自验证研究、运输偏差预算或专家协议时,应分别保存来源与理由。本篇数值是人为指定的练习假设,并未声称真实系统已有这种证据。

把两率分别限制在区间里,还表示允许它们在矩形区域内自由组合。若证据只允许某条曲线或相关区域,矩形是放宽后的假设集合,可能给出更宽的外界;不能仍然声称它是相对原联合限制的最紧范围。

02 先沿正向通道求范围,再反解真实比例#

固定候选 pp。因为它在 [0,1][0,1] 内,qq 随 ss 增加、随 cc 减少。允许范围内最小与最大观测概率分别为:

qmin⁡(p)=sLp+(1−cU)(1−p),q_{\min}(p)=s_Lp+(1-c_U)(1-p), qmax⁡(p)=sUp+(1−cL)(1−p).q_{\max}(p)=s_Up+(1-c_L)(1-p).

候选 pp 可行,当且仅当 qmin⁡(p)≤q≤qmax⁡(p)q_{\min}(p)\le q\le q_{\max}(p)。将两边展开、移项,且分母在上述条件下为正,得到:

p≤q+cU−1sL+cU−1,p≥q+cL−1sU+cL−1.p\le\frac{q+c_U-1}{s_L+c_U-1},\qquad p\ge\frac{q+c_L-1}{s_U+c_L-1}.

再与真实概率的参数空间 [0,1][0,1] 求交,形成识别集合(Identified Set):

P(q)=[max⁡{0,q+cL−1sU+cL−1},min⁡{1,q+cU−1sL+cU−1}]=[L,U],\mathcal P(q)=\left[ \max\left\{0,\frac{q+c_L-1}{s_U+c_L-1}\right\}, \min\left\{1,\frac{q+c_U-1}{s_L+c_U-1}\right\} \right]=[L,U],

前提是 L≤UL\le U;否则是空集合。一个等价且更易检查的兼容条件是 1−cU≤q≤sU1-c_U\le q\le s_U:即使真实比例从 0 变到 1,允许通道也只能覆盖这个观测范围。

这个范围具有尖锐性(Sharpness):范围内每一个 pp 都能找到允许的 s,cs,c 产生该 qq。理由是固定 pp 后,qq 是 (s,c)(s,c) 的线性连续函数,矩形的像就是完整的 [qmin⁡,qmax⁡][q_{\min},q_{\max}]。因此我们没有遗漏额外可用的信息,也没有把两个互不兼容的边界硬拼到一起。

步骤输入和形状输出或检查
登记假设qq 标量;两率上下界 [2,2]版本、证据来源、是否允许自由组合
检查方向sL+cL−1s_L+c_L-1 标量必须正;否则本篇公式与实现拒绝处理
求可行域两条关于 pp 的线性不等式L,UL,U 两个标量,或不兼容状态
检查结论整个 [L,U][L,U] 与预设业务门槛比较所有可行世界是否支持同一方向

03 手算两个世界:同样 40%,真实比例为何可差 21 个百分点?#

取 q=2/5q=2/5,s∈[7/10,9/10]s\in[7/10,9/10],c∈[4/5,9/10]c\in[4/5,9/10]。分母最小 J=1/2>0J=1/2>0,可用本篇公式:

L=2/5+4/5−19/10+4/5−1=27,U=2/5+9/10−17/10+9/10−1=12.L=\frac{2/5+4/5-1}{9/10+4/5-1}=\frac27, \qquad U=\frac{2/5+9/10-1}{7/10+9/10-1}=\frac12.

区间宽度为 1/2−2/7=3/14≈0.21431/2-2/7=3/14\approx0.2143,即约 21.43 个百分点。两端对应的完整条件概率如下。

世界真实比例 pp敏感度 ss特异度 cc真正贡献 spsp假正贡献 (1−c)(1−p)(1-c)(1-p)观测 qq
下界世界2/72/79/109/104/54/59/359/351/71/72/52/5
上界世界1/21/27/107/109/109/107/207/201/201/202/52/5

两行都保留同一旧标签分布,也都遵守范围假设。对于“真实比例是否超过 45%”的问题,一个世界回答否,另一个回答是,因此现有信息不足以确定。若要判断是否至少 25%,整个范围都高于 25%,这条判断才对所有允许世界成立。

范围端点用到了 0 或 1,是否就是把错误估计截断?

考虑 q=3/20q=3/20,仍用相同错误率范围。代数下界为 −1/14-1/14,与概率空间求交后下界为 0;选 p=0,c=17/20p=0,c=17/20 就能产生 q=3/20q=3/20,上界为 1/121/12。这里的 0 有一个可行世界作为证据。对单套固定错误率得到负数后,直接替换成 0,则未必存在与那套固定率和观测 qq 同时兼容的世界;两种操作的依据不同。

04 Python:可行集合与输入错误要返回不同状态#

函数输入一个 qq 和两个长度为 2 的范围,输出状态与 (lower, upper)。本例用 Fraction 保存精确分数;不接收浮点数,避免二进制表示在兼容边界上制造伪冲突。Fraction(8, 10) 表示精确的 4/54/5,接口参见 Python 官方文档 ↗。

验证概率、上下界顺序和整个区域 J>0
如果 q 不在允许通道可产生的范围内,返回 incompatible
从两条正向通道不等式计算上下界
与 [0,1] 相交,输出完整范围而非其中点
用端点世界和扩大假设范围检查结果
text

第一项输出区间 (2/7, 1/2),第二项边界例输出 (0, 1/12)。设 q=1/20q=1/20 时,最高允许特异度为 0.9,即使 p=0p=0 也至少产生 0.1 的旧标签正类概率,因此函数返回 incompatible。这比输出一个“修正后的 0%”更能定位假设与观测冲突。

计算只涉及常数次有理数运算;位长固定时算术操作数量为 O(1)O(1)。若同时计算 HH 个预定群体,操作数量为 O(H)O(H)。有理数位长增长时,每次算术的成本也会增长,实际大规模处理可用明确容差与高精度数值代替,但要把边界容差写入运行记录。

这段流程没有训练步骤。若旧标签来自模型,应固定模型、阈值和推理版本,取得该版本下的 qq 与错误率证据;更换阈值后,两率范围也要重新验证。

05 范围、误差条与缺失界限各回答什么?#

此前服务差距的缺失结果界限也保留未知集合,但未知来自没有观测的标签;这里每个人都可以有旧标签,未知来自真实标签与旧标签之间的通道。两种来源可以同时存在,需要在同一个可行性问题中处理,不能只挑更窄的一组范围报告。

情况含义应采取的检查
qq 很精确,范围仍宽错分率假设允许多个真实世界补充独立参考证据或有依据地缩小范围;增加旧标签数量不能消除此宽度
返回不兼容在登记的假设下,没有世界产生这个 qq查标签方向、时间版本、范围来源及抽样波动
sL+cL≤1s_L+c_L\le1假设集合跨过本篇实现的方向边界用一般约束方法分区求解;不把本篇分母公式强行用于该区域
两率有联合限制矩形允许了原本不存在的组合保留联合约束;矩形结果只能作外界
在所有候选率上画曲线敏感性分析(Sensitivity Analysis)它展示不同设定的后果;须明确哪些设定属于可信假设集合
在边界外再加误差条部分识别的统计推断需要覆盖目标的置信集合方法,不能把识别宽度当作一个标准差

本文把 qq 当作已知的总体概率来推导。如果实际用 K/nK/n 代替 qq(nn 为目标样本人数,KK 为其中旧标签为 1 的人数),公式给出的是估计的识别集合,不是自动具有 95% 覆盖率的区间。错误率区间若各自是 95% 置信区间,也不能直接宣称最终集合有 95% 联合覆盖;还涉及联合覆盖、依赖结构和端点估计。上篇的抽样方差与本篇的识别宽度是两种不同的未知。

在两个互不相交群体中,若各自允许区域互相独立,真实比例差 pA−pBp_A-p_B 的范围为 [LA−UB,UA−LB][L_A-U_B,U_A-L_B]。若两组共享同一错误率参数,分别极端化可能使用互相冲突的参数值,只得到外界;求最紧差距范围时必须共享参数约束。同理,分层均值 ∑gWgpg\sum_gW_gp_g 的简单加权端点,需要允许各层独立实现对应端点。

把允许范围扩大以后,输出区间反而变窄,应先怀疑什么?

在 qq 和其他假设固定时,原可行世界是新可行世界的子集,识别集合只能扩大或不变。先检查上下界传反、率与错误率混用、代码中无意加入新的共享约束,以及是否比较了不同版本的 qq。这是比“结果看起来合理”更有用的不变量。

思考练习#

  1. 把敏感度范围放宽为 [3/5,1][3/5,1]、特异度范围放宽为 [7/10,1][7/10,1],保持 q=2/5q=2/5。计算新的上下界,验证它包含原区间。
  2. 令两率都精确等于 4/54/5。检验范围公式是否退化为上一篇之前的点反演;再令 q=1/20q=1/20,解释为什么出现空集合。
  3. 两个人群共享同一组 s,cs,c。解释为什么不能让 A 的差距端点使用一组率、B 的端点同时使用另一组率;写出应一起优化的目标与约束。

相关工作#

  1. Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:给定错误率时的二元反演起点。
  2. Molinari (2008), Partial Identification of Probability Distributions with Misclassified Data ↗:通过错分概率矩阵及其限制刻画可行分布,提供从点假设转向集合假设的系统框架。
  3. Imbens & Manski (2004), Confidence Intervals for Partially Identified Parameters ↗:区分识别区域与针对部分识别参数的置信推断,解释为何集合端点还需要统计处理。

下一篇预告#

范围之外还要问清楚:这套错误率到底描述谁?下一篇让两个渠道具有不同的错分机制,逐层反演后按目标构成汇总,展示为什么直接合并验证表会把一套精确率用到错误人群上。

错分率只知道范围,真实比例还能确定多少?部分识别与兼容性界限
https://zwjcode.cn/blog/misclassification-rate-bounds-partial-identification
作者 傑
发布于 2026年11月7日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。