观文听傑

返回

六根青蓝与琥珀色玻璃棱柱的光带经过磨砂透镜汇成一条有界光带的装饰性插画六根青蓝与琥珀色玻璃棱柱的光带经过磨砂透镜汇成一条有界光带的装饰性插画

上一篇差异性错分的方向稳健性固定两组观测比例,问错误机制差多少会翻转方向。实际审计中,观测比例、敏感度和特异度都来自样本。若把六个单独的 95% 区间贴在一起,再宣称“差距有 95% 把握为正”,这份保证从哪里来?

本篇讲透一个机制:先用同一份错误预算同时覆盖六个概率,再把整个区域投影到真实差距。 三个相连环节是联合覆盖、保留错分方程的投影,以及失败状态的解释。所有计数和区间都是合成教学设定,封面仅作装饰。

01 六路证据,为什么只能花一份错误预算?#

组别 g∈{A,B}g\in\{A,B\},真实结果 Y∈{0,1}Y\in\{0,1\},参考标签 R∈{0,1}R\in\{0,1\}。定义真实正类比例 pg=P(Y=1∣g)p_g=P(Y=1\mid g)、参考正类比例 qg=P(R=1∣g)q_g=P(R=1\mid g)、敏感度(Sensitivity)sg=P(R=1∣Y=1,g)s_g=P(R=1\mid Y=1,g)、特异度(Specificity)cg=P(R=0∣Y=0,g)c_g=P(R=0\mid Y=0,g)。假正率为 fg=1−cgf_g=1-c_g,通道区分度 Jg=sg−fgJ_g=s_g-f_g。目标是比例差 Δ=pA−pB\Delta=p_A-p_B,单位为比例;乘 100 后为百分点。

每组有三路计数。目标样本数 ngn_g,其中 KgK_g 个参考标签为 1;另从可信真值已知的正类中取 mg1m_{g1} 人,有 UgU_g 人参考判正;从真负类取 mg0m_{g0} 人,有 VgV_g 人参考判负。三种二元成功指标的期望分别为 qg,sg,cgq_g,s_g,c_g。各路内部独立同分布(Independent and Identically Distributed),人数在看结果前固定,参考协议与模型版本冻结,验证错误率适用于同组目标人群。真值由独立可信证据确定,不能拿参考标签自己证明自己。

下面用六路分开的抽样实验讲解。联合覆盖的并集证明不要求六路之间独立,但每个边际概率界仍要有自己的抽样依据。重复用户、门店簇、复杂设计权重或按结果追访,不能直接冒充独立二项计数。若参考标签已经是固定队列的全量记录,条件于该快照的 qgq_g 可以已知;本篇代码对应重新抽取目标案例的总体推断。

参数向量 θ=(qA,sA,cA,qB,sB,cB)\boldsymbol\theta=(q_A,s_A,c_A,q_B,s_B,c_B) 形状为 [6]。代码输入把它组织成“组、证据路、成功数/总数”,形状 [2,3,2];估计比例是 [2,3],上下端点组成置信盒 [2,3,2],最后输出差距端点 [2]。

设希望总体错误概率不超过 α=0.05\alpha=0.05。若每路区间漏掉真参数的概率都不超过 α/6\alpha/6,由并集界(Union Bound),六路至少一路漏掉的概率满足

P ⁣(⋃j=16{θj∉Ij})≤∑j=16P(θj∉Ij)≤α.P\!\left(\bigcup_{j=1}^{6}\{\theta_j\notin I_j\}\right) \le\sum_{j=1}^{6}P(\theta_j\notin I_j)\le\alpha.

因此乘积区域 C=I1×⋯×I6C=I_1\times\cdots\times I_6 至少以 1−α1-\alpha 的频率同时包含真实参数。这是联合置信区域(Joint Confidence Region);矩形形式也称联合置信盒。每路都用 95% 时,并集界只能给出至少 70% 的共同覆盖下界;即便恰好独立且每路恰有 95% 覆盖,乘积也仅为 0.956≈73.5%0.95^6\approx73.5\%。

等分预算是一种分析前确定的简单设计。也可预先为不同证据分配 αj>0\alpha_j>0,只要 ∑jαj≤α\sum_j\alpha_j\le\alpha。看完哪一路“最碍事”再重分预算,需要额外校正选择过程。

02 用有界观测构造有限样本区间#

对一条成功数为 kk、人数为 nn 的二元证据流,样本均值为 θ^=k/n\widehat\theta=k/n。**Hoeffding 不等式(Hoeffding’s Inequality)**给出

P(∣θ^−θ∣>r)≤2exp⁡(−2nr2).P(|\widehat\theta-\theta|>r)\le2\exp(-2nr^2).

令右侧为边际错误预算 δ\delta,解得半径

r(n,δ)=log⁡(2/δ)2n,I=[max⁡(0,θ^−r),min⁡(1,θ^+r)].r(n,\delta)=\sqrt{\frac{\log(2/\delta)}{2n}},\qquad I=[\max(0,\widehat\theta-r),\min(1,\widehat\theta+r)].

这里 log⁡\log 是自然对数;nn 是该路人数,不能用六路人数的总和。区间与已知参数空间 [0,1] 求交不会丢掉合法真参数。零错误计数仍有正半径,避免“验证集全对,所以错误率已知为零”的误读。代价是它没有利用二项方差,通常比专门的二项区间宽。

这一构造在假设满足时给出有限样本覆盖下界,无需正态近似。前面的一阶误差传播用局部梯度和方差换取紧凑解释;这里以更保守的区域换取直接可证明的覆盖。有限样本有效不代表能修复错误率迁移失败或参考真值偏差。

阶段输入与形状核心操作输出与检查
聚合六路二元记录,各 [n_j]各自统计成功数和人数计数 [2,3,2],保留成功定义
同时覆盖计数、总预算 α\alpha每路分配 α/6\alpha/6 并求半径六个区间,联合覆盖至少 1−α1-\alpha
机制求交置信盒、qg=fg+Jgpgq_g=f_g+J_gp_g保留概率范围与正向错分方程每组真实比例可行范围
差距投影两组可行范围同一合法世界中求 pA−pBp_A-p_B差距区间、兼容性和弱通道状态

03 怎样投影,并且知道端点来自什么世界?#

先处理一组。设 q∈[qL,qU]q\in[q_L,q_U]、s∈[sL,sU]s\in[s_L,s_U]、c∈[cL,cU]c\in[c_L,c_U],转换为 f∈[fL,fU]=[1−cU,1−cL]f\in[f_L,f_U]=[1-c_U,1-c_L]。保留

q=f+(s−f)p,0≤p≤1.q=f+(s-f)p,\qquad 0\le p\le1.

本篇解析程序要求整个盒都满足 sL>fUs_L>f_U,所以任何候选通道都正向且分母远离零。若该条件不成立,程序报告 weak_channel 并退回全部概率范围,不在可能变号的分母上套公式。

当盒内存在合法世界时,qq 必须落在某个 [f,s][f,s] 内,因此兼容条件是 qL≤sUq_L\le s_U 且 qU≥fLq_U\ge f_L。这也是充分条件:率框允许的整体 qq 范围为 [fL,sU][f_L,s_U],与观测区间有交即可。通过后,精确的单组投影端点为

Lp=max⁡(0,qL−fUsU−fU),Up=min⁡(1,qU−fLsL−fL).L_p=\max\left(0,\frac{q_L-f_U}{s_U-f_U}\right),\qquad U_p=\min\left(1,\frac{q_U-f_L}{s_L-f_L}\right).

为什么这样挑角点?在 f≤q≤sf\le q\le s 的合法区域,p=(q−f)/(s−f)p=(q-f)/(s-f) 随 qq 增大而增大,随 ss 或 ff 增大而减小。若 qL≥fUq_L\ge f_U,下端点由 (qL,sU,fU)(q_L,s_U,f_U) 达到;若 qL<fUq_L<f_U,兼容条件保证可选 q=fq=f,于是最小值为 0。上端点同理:当 qU≤sLq_U\le s_L,取 (qU,sL,fL)(q_U,s_L,f_L);否则可取 q=sq=s 达到 1。中间比例也可实现,因为固定 pp 时可产生的 qq 区间为 [fL+(sL−fL)p, fU+(sU−fU)p][f_L+(s_L-f_L)p,\ f_U+(s_U-f_U)p],它与 [qL,qU][q_L,q_U] 相交恰给出上述两个不等式。

两组都通过后,若允许两组错误机制各自变化,则

IΔ=[LA−UB, UA−LB].I_\Delta=[L_A-U_B,\ U_A-L_B].

这里每个组内仍完整保留了错分方程;两组之间没有共享率或容差限制,所以各组选出的端点可在同一个联合世界实现,区间是这个矩形模型的精确投影。

若要继续施加上一篇的组间容差,或更早的共享通道假设,就要把这些约束也放进联合优化。 当前程序放松了这类跨组限制,其结果仍是有效外包区间,但可能偏宽。上一篇的失稳容差 0.1 不能直接从这里的区间端点读出;独立的两组极值未必遵守同一组容差。

覆盖为何会传到差距?在事件 θ∈C\boldsymbol\theta\in C 上,真实的 (pA,pB)(p_A,p_B) 满足真实错分方程,所以其差必然属于投影。故

P(Δ∈IΔ)≥P(θ∈C)≥1−α.P(\Delta\in I_\Delta)\ge P(\boldsymbol\theta\in C)\ge1-\alpha.

这是一条重复抽样覆盖论证,不能解释为“看到当前区间后,固定真参数有 95% 概率落在其中”。若对区域增加结构约束,覆盖还要求这些结构假设确实成立。

04 手算:点差为正,区间为什么仍跨零?#

先给六个简单区间练习投影,暂不声称这些手填端点具有某个置信水平:

组别qq 范围ss 范围cc 范围推得的真实比例范围
A[7/20,9/20][7/20,9/20][3/4,17/20][3/4,17/20][17/20,19/20][17/20,19/20][2/7,4/7][2/7,4/7]
B[1/4,7/20][1/4,7/20][3/4,17/20][3/4,17/20][17/20,19/20][17/20,19/20][1/7,3/7][1/7,3/7]

共同假正率框为 [1/20,3/20][1/20,3/20]。例如 A 的下端点是 (7/20−3/20)/(17/20−3/20)=2/7(7/20-3/20)/(17/20-3/20)=2/7;B 的上端点是 (7/20−1/20)/(3/4−1/20)=3/7(7/20-1/20)/(3/4-1/20)=3/7。差距投影为

IΔ=[2/7−3/7, 4/7−1/7]=[−1/7,3/7].I_\Delta=[2/7-3/7,\ 4/7-1/7]=[-1/7,3/7].

下端点世界可明确写出:A 取 (q,s,f)=(7/20,17/20,3/20)(q,s,f)=(7/20,17/20,3/20),B 取 (7/20,3/4,1/20)(7/20,3/4,1/20)。各自重放 q=f+(s−f)pq=f+(s-f)p 成立,差为 −1/7-1/7。两组的敏感度和假正率各差 1/101/10;若外加更小容差,这个世界就会被排除,说明跨组约束确实会改变投影。

再从计数生成真正有覆盖依据的区域。六路各取 10000 人,A 三路成功数依次为 4000、8000、9000,B 为 3000、8000、9000。每路用 δ=0.05/6\delta=0.05/6,半径为 log⁡(240)/20000≈0.016554\sqrt{\log(240)/20000}\approx0.016554;投影得到约 [0.048263,0.237451][0.048263,0.237451],即 A 高出约 4.83 至 23.75 个百分点的区间。

人数 10000 是每路的分母,六路共 60000 个记录;这些记录只是透明演示,不能当作普遍样本量建议。用相同点比例但更少样本,区间可能重新跨零;当前观测方向与统计方向保证是两件事。

两组验证比例恰好相同,能否自动把它们当成共享通道?

不能。有限样本比例相同仍允许不同真参数。共享模型需要机制依据,或在分析设计中明确承担该假设。本篇允许两套真实率,因此投影时 A、B 可以各取不同端点;若共享确实成立,联合投影会把相同参数绑定起来,再求极值。

05 Python:从六路计数到带诊断的差距区间#

把下面完整代码保存为 fixed.py,使用 Python 3.12 或更新版本运行 python3 fixed.py。它只用标准库;math.log、sqrt、isfinite 的官方语义 ↗分别对应自然对数、非负平方根和有限数检查。hoeffding 构造每路区间;project_group 是上一节公式;project_gap 合并两组。没有模型训练步骤:这里冻结预测模型,用审计计数推断其结果差距。

校验 [2,3,2] 计数与总体预算
六路各用 alpha/6 构造 Hoeffding 区间
每组检查整个率框是否正向,再检查观测与机制兼容性
满足解析条件:求真实比例范围,再做差距投影
其余情形:保留具体组诊断,返回 [-1,1] 和无信息状态
text

程序输出 fixed: ok (0.048263, 0.237451) 与 manual: (-0.142857, 0.428571)。手填框用于核对投影,计数框用于覆盖保证;两个示例的用途分别保留。

weak_channel 表示当前解析方法无法确认整盒正向;incompatible 表示在已确认正向的盒内没有满足方程的世界。严格集合运算中,后者投影为空集。为了让决策程序不从空集产生“自动通过”,本实现把任一失败组汇总成 uninformative、差距返回 [-1,1],原始失败原因保留在 groups。这是报告层的保守回退,不能解释为成功求出了尖锐界。早期宽区间触发弱通道很常见,更多数据后才可能进入解析分支。

计数已聚合时,计算量和存储均为 O(1)O(1);从六路原始记录汇总则是 O(∑jnj)O(\sum_j n_j)。实际执行应保存分子、分母、成功定义、抽样单位、真值协议、参考版本、总预算和每路区间,最后保存投影状态与端点。代码末尾 assert 是教学验算;输入拒绝与状态处理使用显式检查,不依赖断言在生产模式中是否启用。

06 哪些错误会破坏这份覆盖保证?#

情况或方法先查什么实际含义与处理
六个单独 95% 区间是否分配总体预算单独覆盖不能直接变成 95% 联合覆盖
负类验证成功数填成误报数VgV_g 统计的是判负还是判正特异度必须数参考判负;否则假正率转换反了
盒跨过 Jg=0J_g=0整盒最小区分度 sL+cL−1s_L+c_L-1保留弱通道状态;不能只看点估计分母为正
两组强制共享但分别取极值端点是否使用同一套率用带共享约束的联合投影,或注明放松所得外界
Delta–Wald 区间局部平滑、边界与验证方差近似通常更紧,覆盖性质不同
识别范围率框是外部确定限制还是随机区间识别宽度与抽样置信不能仅凭两个端点互换
每补十个标签重新看一次样本量或停止时刻是否依结果而变固定样本保证不能直接支持反复查看后停止

调试按三层走:先检查每路计数与区间,再用手填有理数框核对投影,最后把端点世界正向重放。交换 A、B 后,区间应变为 [−U,−L][-U,-L];放宽任一输入区间不能让真实投影变窄;保持比例而增加固定样本量会缩小 Hoeffding 半径。状态切换到保守全范围时,也应保持外包性质。

数值实现使用双精度浮点数,解析覆盖论证指向精确实数运算。接近相等边界的高精度决策应使用向外舍入或区间算术,并保留预先确定的决策余量;不要把显示到六位小数的零附近端点直接当作严格正值。

限制还包括矩形区域未利用路间相关性、Hoeffding 的保守半径、以及跨组结构约束的放松。若错误率随人群或时间变化,应重设估计目标或做分层与迁移敏感性分析。扩大样本只会减少当前抽样模型内的波动,不能让不适用的验证协议自动变得适用。

某一组不兼容,能否删掉这次结果,只报告“成功运行”的区间?

不应这样筛选。删除失败轮次会改变报告的抽样过程。当前实现保留失败状态并回退全范围,便于审计继续诊断;要把不兼容事件当作模型检验,还需另外定义错误率控制与报告规则。它既可能反映抽样极端事件,也可能提示协议或模型失配。

思考练习#

  1. 不运行代码,分别写出手填框的差距下端点和上端点世界,再正向重放四个组内方程。给跨组敏感度差设置 1/201/20 容差后,哪些端点世界失效?
  2. 把六路计数都缩小十倍且保持比例,预测半径的倍数变化,再运行 fixed_gap。为什么点差不变,统计方向保证却会改变?
  3. 将 A、B 输入交换,核对区间取负反序;再设计一份含 weak_channel 与 incompatible 的输入,解释各状态和回退范围,而不删除这些运行。

相关工作#

  1. Hoeffding (1963), Probability Inequalities for Sums of Bounded Random Variables ↗:本文每路有限样本概率界的来源。
  2. Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:二元错分反演的基本关系。
  3. Imbens & Manski (2004), Confidence Intervals for Partially Identified Parameters ↗:区分识别范围与统计覆盖;本文使用透明的联合区域投影,并非复现其专门区间算法。

下一篇预告#

联合预算解决了一次固定样本分析的覆盖。真实补标往往边收集边看,区间一旦高于零就停止。下一篇把错误预算同时分给证据路与各个样本时刻,构造可手算的置信序列,说明什么时候可以持续查看,什么时候数据到达机制仍会破坏保证。

六个区间怎样合成一份 95% 结论?联合置信盒与错分差距投影
https://zwjcode.cn/blog/joint-confidence-box-misclassification-gap
作者 傑
发布于 2026年11月9日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。