错分率只知道范围,真实比例还能确定多少?部分识别与兼容性界限
不把未知敏感度、特异度替换成中点:从二元错分通道推导可行比例上下界,用端点世界、精确分数代码和不兼容反例区分识别范围与置信区间。
上一篇校正比例的验证集不确定性传播计算了样本波动。新渠道刚上线时,样本标准误还无法保证旧渠道的错误率适用;已有资料可能只支持敏感度(Sensitivity)在 0.7–0.9、特异度(Specificity)在 0.8–0.9。取中点算出一个比例,会隐藏其他同样符合证据的答案。
本篇只研究有界错分率下的部分识别(Partial Identification with Bounded Misclassification Rates):把错误率范围作为明确假设,求出所有兼容的真实比例。我们先推上下界,再用两个可实现世界证明端点,最后检查空集合与抽样不确定性的区别。全部数字是合成教学设定,封面不表示实测结果。
01 数据给出的一个概率,为什么不能唯一决定答案?#
用 表示真实结果, 表示旧标签; 是目标, 是可观测正类概率。定义敏感度 、特异度 。四者都是无量纲标量,满足:
例如 。固定 得 ;若允许 在范围内移动,其他 也会产生同一个 。即使观测到无限多旧标签、把 测得完全精确,也无法靠旧标签区分这些世界。
设可信范围为 、,均在 内。本文采用一个清楚的范围条件:
它确保整个允许区域的 都大于零,标签方向一致且通道可区分两类。上下界来自验证研究、运输偏差预算或专家协议时,应分别保存来源与理由。本篇数值是人为指定的练习假设,并未声称真实系统已有这种证据。
把两率分别限制在区间里,还表示允许它们在矩形区域内自由组合。若证据只允许某条曲线或相关区域,矩形是放宽后的假设集合,可能给出更宽的外界;不能仍然声称它是相对原联合限制的最紧范围。
02 先沿正向通道求范围,再反解真实比例#
固定候选 。因为它在 内, 随 增加、随 减少。允许范围内最小与最大观测概率分别为:
候选 可行,当且仅当 。将两边展开、移项,且分母在上述条件下为正,得到:
再与真实概率的参数空间 求交,形成识别集合(Identified Set):
前提是 ;否则是空集合。一个等价且更易检查的兼容条件是 :即使真实比例从 0 变到 1,允许通道也只能覆盖这个观测范围。
这个范围具有尖锐性(Sharpness):范围内每一个 都能找到允许的 产生该 。理由是固定 后, 是 的线性连续函数,矩形的像就是完整的 。因此我们没有遗漏额外可用的信息,也没有把两个互不兼容的边界硬拼到一起。
| 步骤 | 输入和形状 | 输出或检查 |
|---|---|---|
| 登记假设 | 标量;两率上下界 [2,2] | 版本、证据来源、是否允许自由组合 |
| 检查方向 | 标量 | 必须正;否则本篇公式与实现拒绝处理 |
| 求可行域 | 两条关于 的线性不等式 | 两个标量,或不兼容状态 |
| 检查结论 | 整个 与预设业务门槛比较 | 所有可行世界是否支持同一方向 |
03 手算两个世界:同样 40%,真实比例为何可差 21 个百分点?#
取 ,,。分母最小 ,可用本篇公式:
区间宽度为 ,即约 21.43 个百分点。两端对应的完整条件概率如下。
| 世界 | 真实比例 | 敏感度 | 特异度 | 真正贡献 | 假正贡献 | 观测 |
|---|---|---|---|---|---|---|
| 下界世界 | ||||||
| 上界世界 |
两行都保留同一旧标签分布,也都遵守范围假设。对于“真实比例是否超过 45%”的问题,一个世界回答否,另一个回答是,因此现有信息不足以确定。若要判断是否至少 25%,整个范围都高于 25%,这条判断才对所有允许世界成立。
范围端点用到了 0 或 1,是否就是把错误估计截断?
考虑 ,仍用相同错误率范围。代数下界为 ,与概率空间求交后下界为 0;选 就能产生 ,上界为 。这里的 0 有一个可行世界作为证据。对单套固定错误率得到负数后,直接替换成 0,则未必存在与那套固定率和观测 同时兼容的世界;两种操作的依据不同。
04 Python:可行集合与输入错误要返回不同状态#
函数输入一个 和两个长度为 2 的范围,输出状态与 (lower, upper)。本例用 Fraction 保存精确分数;不接收浮点数,避免二进制表示在兼容边界上制造伪冲突。Fraction(8, 10) 表示精确的 ,接口参见 Python 官方文档 ↗。
验证概率、上下界顺序和整个区域 J>0
如果 q 不在允许通道可产生的范围内,返回 incompatible
从两条正向通道不等式计算上下界
与 [0,1] 相交,输出完整范围而非其中点
用端点世界和扩大假设范围检查结果textfrom fractions import Fraction as F
def exact_probability(value):
if type(value) is not int and not isinstance(value, F):
raise TypeError("use int or Fraction; encode decimals as F(8, 10)")
value = F(value)
if not 0 <= value <= 1:
raise ValueError("probability outside [0, 1]")
return value
def prevalence_bounds(q, sensitivity, specificity):
q = exact_probability(q)
if len(sensitivity) != 2 or len(specificity) != 2:
raise ValueError("each rate needs lower and upper bounds")
sl, su = map(exact_probability, sensitivity)
cl, cu = map(exact_probability, specificity)
if sl > su or cl > cu:
raise ValueError("reversed bounds")
if sl + cl <= 1:
raise ValueError("this implementation requires J > 0 over the entire box")
if q < 1 - cu or q > su:
return dict(status="incompatible", interval=None)
lower = max(F(0), (q + cl - 1) / (su + cl - 1))
upper = min(F(1), (q + cu - 1) / (sl + cu - 1))
assert lower <= upper
return dict(status="ok", interval=(lower, upper))
answer = prevalence_bounds(F(2, 5), (F(7, 10), F(9, 10)), (F(8, 10), F(9, 10)))
assert answer["interval"] == (F(2, 7), F(1, 2))
assert prevalence_bounds(F(1, 20), (F(7, 10), F(9, 10)),
(F(8, 10), F(9, 10)))["status"] == "incompatible"
clipped = prevalence_bounds(F(3, 20), (F(7, 10), F(9, 10)), (F(8, 10), F(9, 10)))
assert clipped["interval"] == (F(0), F(1, 12))
assert (1 - F(17, 20)) == F(3, 20) # p=0 witness: choose c=17/20
print(answer, clipped)python第一项输出区间 (2/7, 1/2),第二项边界例输出 (0, 1/12)。设 时,最高允许特异度为 0.9,即使 也至少产生 0.1 的旧标签正类概率,因此函数返回 incompatible。这比输出一个“修正后的 0%”更能定位假设与观测冲突。
计算只涉及常数次有理数运算;位长固定时算术操作数量为 。若同时计算 个预定群体,操作数量为 。有理数位长增长时,每次算术的成本也会增长,实际大规模处理可用明确容差与高精度数值代替,但要把边界容差写入运行记录。
这段流程没有训练步骤。若旧标签来自模型,应固定模型、阈值和推理版本,取得该版本下的 与错误率证据;更换阈值后,两率范围也要重新验证。
05 范围、误差条与缺失界限各回答什么?#
此前服务差距的缺失结果界限也保留未知集合,但未知来自没有观测的标签;这里每个人都可以有旧标签,未知来自真实标签与旧标签之间的通道。两种来源可以同时存在,需要在同一个可行性问题中处理,不能只挑更窄的一组范围报告。
| 情况 | 含义 | 应采取的检查 |
|---|---|---|
| 很精确,范围仍宽 | 错分率假设允许多个真实世界 | 补充独立参考证据或有依据地缩小范围;增加旧标签数量不能消除此宽度 |
| 返回不兼容 | 在登记的假设下,没有世界产生这个 | 查标签方向、时间版本、范围来源及抽样波动 |
| 假设集合跨过本篇实现的方向边界 | 用一般约束方法分区求解;不把本篇分母公式强行用于该区域 | |
| 两率有联合限制 | 矩形允许了原本不存在的组合 | 保留联合约束;矩形结果只能作外界 |
| 在所有候选率上画曲线 | 敏感性分析(Sensitivity Analysis) | 它展示不同设定的后果;须明确哪些设定属于可信假设集合 |
| 在边界外再加误差条 | 部分识别的统计推断 | 需要覆盖目标的置信集合方法,不能把识别宽度当作一个标准差 |
本文把 当作已知的总体概率来推导。如果实际用 代替 ( 为目标样本人数, 为其中旧标签为 1 的人数),公式给出的是估计的识别集合,不是自动具有 95% 覆盖率的区间。错误率区间若各自是 95% 置信区间,也不能直接宣称最终集合有 95% 联合覆盖;还涉及联合覆盖、依赖结构和端点估计。上篇的抽样方差与本篇的识别宽度是两种不同的未知。
在两个互不相交群体中,若各自允许区域互相独立,真实比例差 的范围为 。若两组共享同一错误率参数,分别极端化可能使用互相冲突的参数值,只得到外界;求最紧差距范围时必须共享参数约束。同理,分层均值 的简单加权端点,需要允许各层独立实现对应端点。
把允许范围扩大以后,输出区间反而变窄,应先怀疑什么?
在 和其他假设固定时,原可行世界是新可行世界的子集,识别集合只能扩大或不变。先检查上下界传反、率与错误率混用、代码中无意加入新的共享约束,以及是否比较了不同版本的 。这是比“结果看起来合理”更有用的不变量。
思考练习#
- 把敏感度范围放宽为 、特异度范围放宽为 ,保持 。计算新的上下界,验证它包含原区间。
- 令两率都精确等于 。检验范围公式是否退化为上一篇之前的点反演;再令 ,解释为什么出现空集合。
- 两个人群共享同一组 。解释为什么不能让 A 的差距端点使用一组率、B 的端点同时使用另一组率;写出应一起优化的目标与约束。
相关工作#
- Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:给定错误率时的二元反演起点。
- Molinari (2008), Partial Identification of Probability Distributions with Misclassified Data ↗:通过错分概率矩阵及其限制刻画可行分布,提供从点假设转向集合假设的系统框架。
- Imbens & Manski (2004), Confidence Intervals for Partially Identified Parameters ↗:区分识别区域与针对部分识别参数的置信推断,解释为何集合端点还需要统计处理。
下一篇预告#
范围之外还要问清楚:这套错误率到底描述谁?下一篇让两个渠道具有不同的错分机制,逐层反演后按目标构成汇总,展示为什么直接合并验证表会把一套精确率用到错误人群上。