两组共用同一套错误率,差距为何不能分别求界再相减?共享错分通道的联合界限
从共享敏感度、特异度推导两组真实比例差的尖锐界限:保留共同参数,检查概率可行性,用手算世界与精确分数 Python 解释为何边际区间相减会丢失方向信息。
上一篇分层错分校正与目标人群权重讨论了错误率应该描述谁。现在审计团队比较两个成熟队列:A 组旧标签正类比例为 40%,B 组为 30%。验证证据支持两组共用一套错误率,但只能给敏感度、特异度各一个范围。给 A、B 分别计算上下界,再交叉相减,报表竟然说差距可能为负。这个负值是否真能由同一套错误率产生?
本篇讲透共享错分通道下的联合部分识别(Joint Partial Identification under a Shared Misclassification Channel):把两组观测放进同一个可行世界,再求真实比例差。我们依次处理共享假设、概率可行性、差距端点和可重放实现。数字均为合成教学设定;封面只作装饰。
01 同一个分类器,为什么还不够支持“共享”?#
设真实二元结果为 ,旧标签为 ,群体 。本篇把 用作标签,区别于早先缺失结果文章中的“结果是否可见”标记。定义每组真实正类比例 ,以及可观测比例 。所有概率与比例均无量纲。
敏感度(Sensitivity) 和特异度(Specificity) 的共享要求是:
这是条件错误机制相同的假设。用同一模型、阈值和程序,只能保证实现身份相同;两组真实正类内部的难度、设备或语言分布不同,仍可能使 不同。应先检查分组验证证据、参考测量协议、时间和覆盖,再登记是否共享。本篇比较的是群体结果比例;要把差距解释为某项处理的因果效应,还需相应研究设计。
令假正率(False Positive Rate),通道区分度 。对每组按真实类别展开:
这里 都是标量。按 排列时, 形状为 [2],模型可写为 ; 是长度为 2 的全一向量。共享表示两个分量使用同一个偏移 和斜率 ,并不要求两组人的判错事件逐个相同或相互独立。
沿用有界错分率的部分识别,证据允许矩形区域
四个端点均在 ,下界不大于上界。最后一个条件保证整个区域的 ,标签方向保持一致。改写为 后, 与 仍可在矩形内自由组合;若原证据还有联合曲线或其他限制,应一并保留,下面的矩形公式只给放宽后的外界。
02 先让两组都成为合法概率,再求差距#
固定一套 ,逆向计算为
因为分母正, 等价于 。两组必须同时满足,因此可行参数区域是:
若 或 ,没有一套允许通道能同时生成两组观测,返回不兼容(Incompatible)。否则此区域内每一点都会给出两个合法比例。
| 阶段 | 输入与形状 | 操作 | 输出 |
|---|---|---|---|
| 冻结观测 | 两组 ,[2] | 固定队列、旧标签版本与标签方向 | |
| 登记证据 | 两率的上下界,[2,2] | 检查共享依据、矩形假设与 | 一套共同的参数范围 |
| 联合求交 | 两组正向方程 | 同时要求 | 可行 矩形或不兼容 |
| 投影到差距 | ,标量 | 在同一可行世界计算 | 差距上下界及两个端点世界 |
定义真实比例差 、观测差 。两条方程相减,共同偏移消去:
在裁剪后的可行区域,最小、最大区分度为
两者均为正,且 。于是识别集合(Identified Set)为:
负数除以更小的正分母会更负,这解释了第二行的端点顺序。可行时,差距方向始终与观测差相同;且 ,因为 。这些是已知总体概率和共享正向通道下的代数结论;样本观测差仍有抽样波动。
端点具有尖锐性(Sharpness):取 实现 ,取 实现 ,两组均为合法概率。连接两个角点的线段始终留在可行矩形中, 连续走过整个区间, 也连续覆盖所给差距集合。我们保留的是所有允许世界,而非网格搜索里碰巧遇到的最小、最大值。
03 手算:两个边际端点,可能来自互相矛盾的世界#
取 ,共享范围为 、,所以 。两组观测都在原范围覆盖内,不需额外裁剪;,,因此
A 的真实正类比例比 B 高 12.5–20 个百分点。检查两个完整端点世界:
| 世界 | 共同 | 共同 | 正向复核 | ||||
|---|---|---|---|---|---|---|---|
| 差距下界 | |||||||
| 差距上界 |
例如下界世界,,。两个组的同一行才是同一个世界。
如果分别计算,每组边际范围为 、。交叉相减得到
它仍包含真实的联合差距范围,是有效外界,但太宽且丢失了已可确定的正方向。负端点要求 A 同时使用 ,B 使用 。两套率各自合规,却违反了共享约束。这就是丢掉参数依赖信息的代价。
若共享假设撤销,那个负端点能变成真实世界吗?
可以。让 A 使用 ,B 使用 ,正向计算仍分别得到 和 ,但真实差距为 。因此正方向来自观测与共享机制共同提供的信息;两组使用同一个软件程序不足以保证它。
概率约束也会实质改变端点。把观测换为 ,保持原范围,则 ,所以 、,差距为 。直接使用原区域的 会算出上界 :对应世界产生 ,应在优化前排除。
04 Python:同时返回差距与证明它可行的参数#
输入 observed=(q_A,q_B)、sensitivity=(s_L,s_U) 和 specificity=(c_L,c_U),每项形状均为 [2]。输出 status、差距 interval、可行参数范围和按差距排序的两个 witnesses。每个端点世界包含共享 以及长度为 2 的 p,便于正向重放。
使用 Python 标准库的 Fraction 保存精确分数。官方 fractions 文档 ↗说明 Fraction(1,10) 与从浮点 0.1 构造的分数可能不同;本接口明确只收整数和 Fraction,拒绝浮点与布尔值。代码可直接在 Python 3.12 运行,没有额外依赖。
验证三对输入的类型、概率范围与端点顺序
检查整个证据区域 J>0
把两个 q 同时带入 0<=p<=1,裁剪共享 s 与 f
区域为空:返回 incompatible,不伪造零差距
在最小 J 和最大 J 的角点构造两个完整世界
按差距排序,返回端点与正向可复核证据textfrom fractions import Fraction as F
def probability(value):
if type(value) is not int and not isinstance(value, F):
raise TypeError("use int or Fraction, not float or bool")
value = F(value)
if not 0 <= value <= 1:
raise ValueError("probability outside [0, 1]")
return value
def pair(values):
if not isinstance(values, (tuple, list)) or len(values) != 2:
raise ValueError("expected a pair")
return tuple(probability(x) for x in values)
def shared_gap_bounds(observed, sensitivity, specificity):
qa, qb = pair(observed)
sl, su = pair(sensitivity)
cl, cu = pair(specificity)
if sl > su or cl > cu:
raise ValueError("reversed rate bounds")
if sl + cl <= 1:
raise ValueError("requires J > 0 over the entire evidence box")
fl, fu = 1 - cu, 1 - cl
s_low, f_high = max(sl, qa, qb), min(fu, qa, qb)
if s_low > su or f_high < fl:
return dict(status="incompatible", interval=None, witnesses=())
def world(s, f):
j = s - f
pa, pb = (qa - f) / j, (qb - f) / j
assert 0 <= pa <= 1 and 0 <= pb <= 1
assert f + j * pa == qa and f + j * pb == qb
return dict(s=s, c=1 - f, J=j, p=(pa, pb), gap=pa - pb)
endpoints = [world(s_low, f_high), world(su, fl)]
endpoints.sort(key=lambda w: w["gap"])
return dict(
status="ok",
interval=(endpoints[0]["gap"], endpoints[1]["gap"]),
admissible_s=(s_low, su),
admissible_f=(fl, f_high),
J=(s_low - f_high, su - fl),
witnesses=tuple(endpoints),
)
s_range, c_range = (F(7, 10), F(9, 10)), (F(4, 5), F(9, 10))
answer = shared_gap_bounds((F(2, 5), F(3, 10)), s_range, c_range)
assert answer["interval"] == (F(1, 8), F(1, 5))
assert answer["witnesses"][0]["p"] == (F(3, 8), F(1, 4))
assert answer["witnesses"][1]["p"] == (F(2, 5), F(1, 5))
reverse = shared_gap_bounds((F(3, 10), F(2, 5)), s_range, c_range)
assert reverse["interval"] == (F(-1, 5), F(-1, 8))
equal = shared_gap_bounds((F(2, 5), F(2, 5)), s_range, c_range)
assert equal["interval"] == (F(0), F(0))
edge = shared_gap_bounds((F(4, 5), F(3, 20)), s_range, c_range)
assert edge["interval"] == (F(13, 16), F(1))
bad = shared_gap_bounds((F(19, 20), F(3, 10)), s_range, c_range)
assert bad["status"] == "incompatible"
print("gap:", answer["interval"])
print("edge:", edge["interval"], "incompatible:", bad["status"])python输出 gap: (Fraction(1, 8), Fraction(1, 5)),边界例为 (13/16, 1),最后一项为 incompatible。 超过最大敏感度 ,允许通道连 A 组都无法生成。status 将证据冲突与有效零差距区分开;witnesses 则让报告使用者能逐一检查端点。
固定有理数位长时,单次求界的算术操作与内存均为 ;有理数位长增长会增加单次运算成本。若从 行旧标签形成输入,聚合 的扫描为 。审计计数应保留真实的组内分母,禁止先剔除错误标签或只统计高置信样本。
这是冻结模型后的审计推断流程:先固定目标队列、标签定义、模型/阈值/参考协议版本,计算各组观测比例,再载入验证证据范围求界。过程不更新模型参数。模型训练、阈值调整或复核协议改变后,应重新核验通道,不能继续沿用旧范围制造连续报表。
05 怎样调试,以及共享界限何时失效?#
| 现象或方法 | 检查项 | 对解释或行动的影响 |
|---|---|---|
| 交换 A、B | 新范围应为原范围 的 | 定位差距方向、负数端点排序错误 |
| 观测比例相等 | 可行时差距应恰为零 | 每组比例仍可未知,差值可以完全识别 |
| 放宽率范围 | 保持 ,原可行集合应被包含 | 差距范围只能扩大或不变 |
| 完美标签 | 应退化为 | 用作最小正确性基准 |
| 输出差距超过 | 检查两组概率约束是否在求极值前落实 | 只在最后裁剪可能掩盖无效端点世界 |
| 两组独立使用错误率 | 各组率可单独变化 | 边际界限交叉相减才是相应模型的最紧差距范围 |
| 分层通道与标准化 | 每层机制及目标权重 | 先在对应层共享或分别建模,再保留跨层联合限制 |
| 参数已精确给定 | 一套已知且适用的 | 回到两组 Rogan–Gladen 点反演 |
本实现拒绝 ,因为那时证据区域可能包含 或反向通道。 时 与 无关,无法使用除法推断;允许 时,差距方向规则也要改变。需要一般区域时,应将方向区域分开并显式处理退化点,保留各部分集合。
更常见的失败是差异性错分(Differential Misclassification):给定真实类别后,群体仍影响旧标签分布。前面负端点反例已经证明它能翻转结论。共享应由机制与分组验证支持;发现失败后可转向分组范围,或为组间错误率差设定有证据的敏感性约束。不能为了缩窄范围而追加共享。
本篇把 当作总体概率。用样本比例 代入后,得到的是估计的识别集合;有限样本还会使观测差符号改变,甚至使代入的可行区域为空。若需要 95% 覆盖,应在保持两组抽样结构及验证数据依赖的联合置信区域上投影,或使用经过论证的部分识别推断方法。识别范围的宽度不能直接当标准误,两组各自 95% 区间也不自动形成 95% 联合保证。
保存两组计数快照、共享机制证据、率范围来源、联合限制、可行参数区域及端点世界。先复算正向方程,再判断整个差距集合是否越过预设门槛。这样,结论依赖的额外假设可以被下一轮验证直接检查。
只关心 A 是否高于 B,验证集是否就不重要了?
在总体 已知且共享 成立时,正方向确实不需要知道 的精确值。验证证据仍决定共享与方向条件是否可信,也决定真实差距能否超过业务门槛。例如本例能确定差距大于 10 个百分点,却不能确定它大于 15 个百分点,因为 跨过 。
思考练习#
- 对主例交换 A、B,手算上下界;再把两组观测都改为 ,解释为何差距退化为零,而每组比例仍有范围。
- 对 的边界例,写出两个端点的共享 与各组 ,正向验证,并解释为什么简单使用原始 范围会产生非法概率。
- 验证资料只支持 、。写出以 为目标的联合最小化/最大化问题,列明所有方程和概率约束;说明当两个容差都为零时如何回到本篇共享模型。
相关工作#
- Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:给定敏感度、特异度时的比例反演起点,本篇把两组反演放入同一参数世界。
- Molinari (2008), Partial Identification of Probability Distributions with Misclassified Data ↗:通过错分矩阵和约束刻画兼容分布;本篇的共享矩形通道是可直接手算的特例。
- Imbens & Manski (2004), Confidence Intervals for Partially Identified Parameters ↗:区分部分识别参数的识别区间与统计覆盖,为把总体推导用于有限样本提供推断背景。
下一篇预告#
“完全共享”与“完全独立”之间还有可检验的中间地带。下一篇允许两组敏感度和特异度相差一个有依据的容差,保留联合可行世界,观察结论方向从多大的机制差异开始变得不确定。