两组错误率差多少会翻转结论?差异性错分的方向稳健性
放松完全共享的敏感度与特异度,推导组间错分偏差的方向保证,用精确分数复现 10 个百分点的平局临界值与真实翻转世界,区分保守外界和可实现反例。
上一篇共享错分通道的联合界限发现:A 组旧标签正类比例为 40%,B 组为 30%,只要两组共享同一套正向错误机制,真实差距就一定为正。审计人员随后问:两组使用相同程序,但设备和材料质量不同;如果敏感度、特异度相差几个百分点,这个方向还能保住吗?
本篇讲透差异性错分(Differential Misclassification)下的方向稳健性(Directional Robustness)。我们把观测差拆成真实差与机制差,推导一个可验证的方向保证,再构造平局和翻转世界,定位主例的临界容差。全部数字是合成教学设定,封面仅作装饰。
01 从完全相同,走到有依据的差异预算#
真实结果为 ,旧标签为 ,组别 。每组真实正类比例 ,观测比例 。敏感度(Sensitivity),特异度(Specificity),假正率(False Positive Rate)。所有量都是无量纲标量。
每组保留自己的正向方程:
按 A、B 排列, 都是 [2],数据流是逐元素乘加。定义 为通道区分度;它与总体准确率不同,后者还依赖类别构成。
两组率都落在共同证据框内:、。令 ,并要求 ,于是整个框内 。新加入的跨组限制是
是敏感性参数(Sensitivity Parameters),以概率差计量:0.05 表示 5 个百分点。两者都为零时回到上一篇共享模型;容差覆盖整个率框宽度时,跨组限制失去约束力。
容差需要来源:分组验证结果、同协议跨设备复测,或明确登记的运输偏差预算。两组错误率差“检验不显著”并不能证明它小于某个容差;样本少也会不显著。报告应保留验证分母、置信信息、协议版本与容差选择理由,再展示多个预定容差下的结论。
真正的联合求界问题是,在上述率框、跨组差限制,以及两个正向方程和 下,分别最小化与最大化 。这保留了同一个世界的全部变量。下面先推一个便于手算的外界,再用实际世界证明主例何时失去方向。
02 观测差里,混进了多少机制差?#
令真实比例差 ,观测差 。在 A 的通道里加减 B 的比例,可得:
是两组机制差对观测差的贡献。它把敏感度差按 B 的真实正类比例加权,把假正率差按真实负类比例加权;两个权重相加为 1。因此
这是凸组合界,不能把两个容差直接相加当作最紧的通用预算。率框本身还能限制差值:令 、,用 仍有效;后文代码采用这个封顶版本。
由于 ,有一条简单的方向证书(Direction Certificate):
若 ,只能由此保证 ;严格正方向的保证已经消失。若 ,这个证书无法确定方向,接下来需要收紧联合界限或寻找可行反例。
| 步骤 | 输入与形状 | 计算 | 保留的输出 |
|---|---|---|---|
| 冻结观测 | 两组计数,各 [2] | 组内正类数除以本组分母 | |
| 登记机制 | 率框 [2,2]、容差 [2] | 检查方向条件与跨组预算 | 范围、 与证据版本 |
| 推导保证 | 与正的 范围 | 包住所有合法世界的差距 | 保守外界、方向证书 |
| 检查失稳 | 候选 ,[2,2] | 反演并正向重放 | 合法的平局或翻转世界 |
为了同时输出数量范围,设 、。由 ,取
分母为正,矩形上分式的极值由这四个角点覆盖;负分子对应的极值顺序也被自动处理。 是真实比例差的已知取值域,可以和外界求交。
这个区间是保守外界(Conservative Outer Bound):推导将 与 放进独立矩形,放松了它们和两组概率的依赖,端点未必可实现。因此外界含零只表示该计算没有给出严格方向保证。要宣布“存在翻转”,必须提供满足原联合限制的世界,或求出经过验证的联合极值。
03 手算:10 个百分点究竟是哪一种临界值?#
沿用 ,所以 。两组都满足 、,即 。因而 。先沿对角线设置 。
| 差距外界 | 能直接得出的结论 | ||
|---|---|---|---|
| 严格为正;本例恰与共享尖锐界相同 | |||
| 严格为正,至少 6.25 个百分点 | |||
| 非负;需要检查是否能实现平局 | |||
| 证书未决;需要检查是否能实现负差距 |
先证明临界容差处确实能平局。取 B 的 ,A 的 ,令 。两率的组间差都为 ;正向计算:
观测差全由 贡献,真实差恰好为零。对所有 ,上节证书保证严格正差距;在 ,这个合法世界推翻严格正结论。故主例沿共同容差路径失去严格正方向的最小容差恰为 0.1。这个临界值来自证明与构造,不能普遍把所有问题的外界过零点都当作精确失稳点。
再取 ,保持 B 不变,令 A 的 。反演得:
敏感度差为 ,特异度差为 ,都在预算内;所有率仍在原框中。A 的正向重放是 。这一次真实差为约 −1.075 个百分点,确有方向翻转。
更细地,把 A 的敏感度写成 ,其余保持平局世界,得到 。只要 且 ,翻转就可行。因此平局在 0.1 达到;严格翻转在任意略大于 0.1 的容差可实现,其容差下确界为 0.1,边界处本身没有负差距。
只有敏感度可能不同,特异度完全相同,临界值还一定是 0.1 吗?
不一定。此时 。因为 通常小于 1,敏感度差只能有一部分进入观测差。 仍是充分保证,但可能很保守。把 固定为零后,需要重新保留 的可行范围与共同假正率;上面的平局构造使用了假正率差 ,已经不符合新设定。
04 Python:方向保证与反例检查分开返回#
以下实现使用 Python 标准库的精确分数 Fraction,可在 Python 3.12 运行。整数与 Fraction 为唯一接受的数值类型,拒绝布尔和浮点输入。官方 fractions 文档 ↗解释了浮点构造为何可能保留二进制近似;用 F(1,10) 表达精确 0.1,避免临界处因浮点比较产生假阳性。
observed=(q_A,q_B)、sensitivity=(s_L,s_U)、specificity=(c_L,c_U)、tolerance=(eps_s,eps_c) 都是 [2]。outer 返回外界及 positive、negative 或 undetermined;等号情况保留在区间中。replay 接受两组率 [2,2],返回完整世界或拒绝违反约束的输入。
校验概率、区间顺序和整个率框的正向条件
若任一 q 不在 [f_L, s_U]:返回 incompatible
按率框宽度封顶容差,计算机制差预算 e
枚举 (d±e)/j 的四角,与 [-1,1] 相交,返回外界和严格方向证书
对候选反例:检查率框和跨组容差,反演 p,再重放两个 qtextfrom fractions import Fraction as F
def probability(x):
if type(x) is not int and not isinstance(x, F):
raise TypeError("use int or Fraction, not float or bool")
x = F(x)
if not 0 <= x <= 1:
raise ValueError("probability outside [0,1]")
return x
def pair(values):
if not isinstance(values, (tuple, list)) or len(values) != 2:
raise ValueError("expected a pair")
return tuple(probability(x) for x in values)
def setup(observed, sensitivity, specificity, tolerance):
qa, qb = pair(observed)
sl, su = pair(sensitivity)
cl, cu = pair(specificity)
es, ec = pair(tolerance)
if sl > su or cl > cu:
raise ValueError("reversed bounds")
fl, fu = 1 - cu, 1 - cl
if sl <= fu:
raise ValueError("requires J > 0 over the entire box")
return qa, qb, sl, su, fl, fu, es, ec
def outer(observed, sensitivity, specificity, tolerance):
qa, qb, sl, su, fl, fu, es, ec = setup(
observed, sensitivity, specificity, tolerance
)
if not (fl <= qa <= su and fl <= qb <= su):
return dict(status="incompatible", interval=None, direction=None)
e = max(min(es, su - sl), min(ec, fu - fl))
d = qa - qb
corners = [(d + z * e) / j for z in (-1, 1) for j in (sl - fu, su - fl)]
lo, hi = max(F(-1), min(corners)), min(F(1), max(corners))
direction = "positive" if lo > 0 else "negative" if hi < 0 else "undetermined"
return dict(status="ok", interval=(lo, hi), direction=direction, budget=e)
def replay(observed, sensitivity, specificity, tolerance, rates):
qa, qb, sl, su, fl, fu, es, ec = setup(
observed, sensitivity, specificity, tolerance
)
if not isinstance(rates, (tuple, list)) or len(rates) != 2:
raise ValueError("expected rates with shape [2,2]")
(sa, ca), (sb, cb) = (pair(row) for row in rates)
fa, fb = 1 - ca, 1 - cb
if not (sl <= sa <= su and sl <= sb <= su and fl <= fa <= fu and fl <= fb <= fu):
raise ValueError("rates outside evidence box")
if abs(sa - sb) > es or abs(ca - cb) > ec:
raise ValueError("cross-group tolerance violated")
pa, pb = (qa - fa) / (sa - fa), (qb - fb) / (sb - fb)
if not (0 <= pa <= 1 and 0 <= pb <= 1):
raise ValueError("candidate world has invalid prevalence")
forward = (fa + (sa - fa) * pa, fb + (sb - fb) * pb)
if forward != (qa, qb):
raise ArithmeticError("forward replay failed")
residual = (sa - sb) * pb + (fa - fb) * (1 - pb)
if qa - qb != (sa - fa) * (pa - pb) + residual:
raise ArithmeticError("decomposition failed")
return dict(p=(pa, pb), gap=pa - pb, q=forward, residual=residual, rates=rates)
q = (F(2, 5), F(3, 10))
s_box, c_box = (F(7, 10), F(9, 10)), (F(4, 5), F(9, 10))
expected = [(F(1, 8), F(1, 5)), (F(1, 16), F(3, 10)),
(F(0), F(2, 5)), (F(-1, 25), F(11, 25))]
for eps, interval in zip((F(0), F(1, 20), F(1, 10), F(3, 25)), expected):
result = outer(q, s_box, c_box, (eps, eps))
assert result["interval"] == interval
print(eps, result["interval"], result["direction"])
tie = replay(q, s_box, c_box, (F(1, 10), F(1, 10)),
((F(4, 5), F(4, 5)), (F(7, 10), F(9, 10))))
flip = replay(q, s_box, c_box, (F(3, 25), F(3, 25)),
((F(41, 50), F(4, 5)), (F(7, 10), F(9, 10))))
assert tie["p"] == (F(1, 3), F(1, 3)) and tie["gap"] == 0
assert flip["gap"] == F(-1, 93)
print("tie:", tie["gap"], "flip:", flip["gap"])python四行区间与手算表一致;方向输出依次为 positive、positive、undetermined、undetermined,最后输出 tie: 0 flip: -1/93。在 0.1 处,undetermined 指严格方向未获证书;读者仍可从外界下端为零读出非负保证。
为什么 outer 的兼容性检查只需每个 ?对本接口的共同率框,可总取共享 、。这些值满足框约束、 和任意非负容差,构成合法世界。这一结论依赖共同率框;若改成两组不同框,或加入其他联合限制,必须重做兼容性求交。
计算固定数量的有理数运算,忽略位长增长时单次时间和内存均为 。从 行旧标签聚合两组比例需要 ;该推断过程冻结模型、阈值和标签协议,不更新模型权重。实际运行顺序为:按组保留正类数与分母,生成比例;载入带来源的率框和容差;输出保证;对报告中的每个反例运行重放;保存代码与输入快照。
05 证书失效后,怎样查错与继续验证?#
| 情况或相近方法 | 检查 | 结果的正确含义 |
|---|---|---|
| 外界包含零 | 找可行平局或负差距世界,或收紧联合优化 | 证书未决,尚不足以宣布翻转 |
| 候选反例有 | 核对 | 候选无效,不能靠截断 修复 |
| 把特异度差直接代入假正率差 | 使用 | 绝对预算相同,带符号分解要反号 |
| 交换 A、B | 外界应变为 ,重放差距取负 | 检查分子与严格方向标签 |
| 放宽任一容差 | 外界应扩大或保持,旧世界仍可行 | 发现错误的预算方向或状态丢失 |
| 完全共享的尖锐界 | 保留共同参数与两组概率约束 | 可比本篇矩形外界更紧 |
| 两组独立求界再相减 | 移除跨组预算限制 | 只适用于独立通道假设集合 |
| 用容差做随机扰动模拟 | 检查给容差世界赋予了什么概率分布 | 抽样分位数与最坏情形保证不同 |
调试先重放两个 ,再验证跨组容差,最后检查差距和残差分解。单看最终负数很容易漏掉“反例用了框外参数”。生产实现要用显式异常保留失败状态;代码末尾的 assert 用于教学验算,在 Python 优化模式下会被移除。
本篇外界会因放松依赖而偏宽;率框包含 时除法失效,包含负区分度时方向规则改变,当前实现直接拒绝。还要核对参考真值是否可靠、两组标签是否使用同一结果定义,以及容差能否迁移到当前时间窗。这里比较的是人群结果比例;要进一步解释为处理的因果效果,需要相应的研究设计。
观测 在推导中是已知总体概率。将有限样本比例代入后,识别外界还带有抽样波动;“0.1 临界容差”本身也会随样本变化。正式覆盖要求把目标观测与分组验证证据放进具有明确联合覆盖率的区域,再对该区域保留原约束求投影;两组各自 95% 区间拼起来不自动产生 95% 联合覆盖。保存识别假设与抽样设计两部分,才能知道下一笔预算应投向旧标签样本还是分组验证。
网格很细,为什么仍不能用“没找到负数”证明方向?
网格只检查有限候选。最坏世界可能在窄小边界或格点之间,漏掉它就会高估稳健性。找到并重放一个合法负世界足以否定“全部世界为正”;证明全部世界为正需要解析证书、经过验证的全局界,或具有明确覆盖误差的搜索方法。这两类任务的证据方向不同。
思考练习#
- 对主例取 ,先用通用证书求外界。再利用 与 B 的可行比例范围,尝试收紧残差预算;指出额外使用了哪条信息。
- 把
flip的 A、B 交换,核对正向比例、残差分解和差距符号;再把容差降到 ,解释为什么该候选会被拒绝,而平局世界仍合法。 - 把观测改为有限样本计数 A 组 40/100、B 组 30/100。画出目标观测与两组验证数据的依赖关系,设计一份报告,分别呈现抽样不确定性、率框来源和敏感性路径,说明哪些结论需要联合置信保证。
相关工作#
- Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:每组二元错分反演的起点。
- Molinari (2008), Partial Identification of Probability Distributions with Misclassified Data ↗,另见作者工作论文 ↗:把错分机制的限制保留在同一分布问题中;本篇的容差模型与解析外界是据此思路构造的教学特例。
- Imbens & Manski (2004), Confidence Intervals for Partially Identified Parameters ↗:区分识别集合与对未知参数的统计覆盖,解释为何方向敏感性还需连接抽样推断。
下一篇预告#
机制偏差预算与抽样误差已经分别出现。下一篇从可手算的联合概率区域出发,说明怎样同时覆盖两组观测与验证错误率,再保留错分约束投影到差距,避免把多个单独 95% 区间误读成一份 95% 结论。