观文听傑

返回

蓝色与琥珀色的两条独立检视通道,校正后汇入同一个托盘的装饰性插画蓝色与琥珀色的两条独立检视通道,校正后汇入同一个托盘的装饰性插画

上一篇错分率范围下的识别界限保留了错误率尚不能确定的范围。即使验证人数足够多、把每层率估得很精确,汇总结果仍可能稳定地偏离目标:验证集让两个渠道各贡献同样多的真实正类,线上真实正类却主要来自其中一个渠道。把验证表直接合并,就会得到一套适用于错误人群构成的敏感度。

本篇聚焦分层错分校正(Stratified Misclassification Correction):在预先定义的渠道内反演真实比例,再按目标渠道人数合并。核心是三个量的分工:层内错误率、层内观测比例、目标层权重。全部数值是合成教学数据,封面仅作装饰。

01 错误率要在什么条件下才能搬到新队列?#

沿用报名结果,Y∈{0,1}Y\in\{0,1\} 表示可靠参考协议下的真实状态,R∈{0,1}R\in\{0,1\} 是被审计的旧标签,G∈{1,…,H}G\in\{1,\ldots,H\} 是预定渠道。真实比例是 pg=Pt(Y=1∣G=g)p_g=P_t(Y=1\mid G=g),旧标签比例是 qg=Pt(R=1∣G=g)q_g=P_t(R=1\mid G=g);下标 tt 指目标人群,vv 指独立验证人群。

验证集提供层内敏感度(Sensitivity) sg=Pv(R=1∣Y=1,G=g)s_g=P_v(R=1\mid Y=1,G=g),以及特异度(Specificity) cg=Pv(R=0∣Y=0,G=g)c_g=P_v(R=0\mid Y=0,G=g)。反演要求这些条件概率在目标人群中仍成立:

Pt(R=r∣Y=y,G=g)=Pv(R=r∣Y=y,G=g).P_t(R=r\mid Y=y,G=g)=P_v(R=r\mid Y=y,G=g).

这里允许 Pt(Y∣G)P_t(Y\mid G) 和渠道占比变化,要求的是给定真实类别与渠道后的错分机制稳定。相同渠道里如果线上多了模糊证据、协议变版或换了复核员,分层本身不能恢复这个条件。渠道名相同也不等于机制相同。

验证设计可以在每个 (Y,G)(Y,G) 格里分别抽取规定人数,只要格内入选不再依赖 RR 或判定难度。若专挑已发现的错误案例做验证,sg,cgs_g,c_g 就不能由原始计数直接估计。每个有目标人数的渠道,都需要真实正类和真实负类的验证支持;某格没有人时,保持缺证状态,不借用另一格填满。

阶段输入输出与用途
冻结目标队列唯一键、G,RG,R,各 [N]Ng,KgN_g,K_g 各 [H];KgK_g 为旧标签 1 的人数
冻结验证表唯一键、G,Y,RG,Y,R,各 [m]CC [H,2,2],每层按真实 YY 为行、旧标签 RR 为列
逐层反演q,s,cq,s,c 各 [H]Jg=sg+cg−1J_g=s_g+c_g-1 与 pgp_g 各 [H];记录失败层
目标标准化Wg=Ng/NW_g=N_g/N [H]∑gWgpg\sum_gW_gp_g,一个无量纲总体比例

N=∑gNgN=\sum_gN_g,Kg=∑i:Gi=gRiK_g=\sum_{i:G_i=g}R_i。每层的矩阵排列为 Cg=[TNgFPgFNgTPg]C_g=\left[\begin{smallmatrix}TN_g&FP_g\\FN_g&TP_g\end{smallmatrix}\right]:四个单元分别是真负(True Negative, TN)、假正(False Positive, FP)、假负(False Negative, FN)、真正(True Positive, TP)计数。验证总人数 mm 与目标人数 NN 来自不同账本。两个表中都应先查重复键;同一案例跨表出现时要额外处理后续方差中的依赖。

02 为什么先反演,再按目标占比合并?#

每层满足同一条全概率关系:

qg=sgpg+(1−cg)(1−pg),pg=qg+cg−1sg+cg−1,Jg>0.q_g=s_gp_g+(1-c_g)(1-p_g),\qquad p_g=\frac{q_g+c_g-1}{s_g+c_g-1},\qquad J_g>0.

JgJ_g 是该渠道区分两类的强度。Jg=0J_g=0 时两类产生相同的旧标签分布,无法反演;接近零时误差放大。本文要求标签方向已固定且 Jg>0J_g>0,不自动翻转不合格渠道。

总体目标由目标人群的全概率公式决定:

p=Pt(Y=1)=∑gWgpg,Wg=Pt(G=g).p=P_t(Y=1)=\sum_g W_gp_g,\qquad W_g=P_t(G=g).

在冻结队列的报表中使用 Ng/NN_g/N 作为目标权重;抽样目标人群则要按相应设计估计它。用验证集渠道人数占比合并,会把估计目标改成验证人群。这个“先条件估计,再按目标构成汇总”的操作称为标准化(Standardization)。

如果想先合并为一套总体错误率,所需权重却是:

st=∑gsgPt(G=g∣Y=1)=∑gWgpgsgp,s_t=\sum_gs_gP_t(G=g\mid Y=1) =\frac{\sum_gW_gp_gs_g}{p}, ct=∑gcgPt(G=g∣Y=0)=∑gWg(1−pg)cg1−p.c_t=\sum_gc_gP_t(G=g\mid Y=0) =\frac{\sum_gW_g(1-p_g)c_g}{1-p}.

以上分别在 p>0p>0 和 p<1p<1 时定义。敏感度在真实正类内部加权,特异度在真实负类内部加权;这两套权重通常都不等于 WgW_g,也不等于验证表的构成。未知的 pgp_g 出现在权重中,正是直接合并往往会绕回原问题的原因。

03 两个渠道手算:50% 为什么会被算成 45%?#

设目标队列两个渠道各 50 人。为了验算机制,下面同时展示生产环境通常不可见的真实计数;估计器只读取旧标签人数与外部验证表。

渠道目标真实正类 / 负类目标 TP、FN、TN、FP旧标签正类比例 qgq_g验证 TP、FN、TN、FPsg,cgs_g,c_g
A10 / 409、1、32、817/5017/5018、2、16、49/10,4/59/10,4/5
B40 / 1024、16、9、125/5025/5012、8、18、23/5,9/103/5,9/10

A 层:(17/50+4/5−1)/(9/10+4/5−1)=1/5(17/50+4/5-1)/(9/10+4/5-1)=1/5。B 层:(1/2+9/10−1)/(3/5+9/10−1)=4/5(1/2+9/10-1)/(3/5+9/10-1)=4/5。按目标人数合并得到 p=(1/5+4/5)/2=1/2p=(1/5+4/5)/2=1/2,与教学真值 50/10050/100 一致。

若先合并验证表,得到 sv=(18+12)/40=3/4s_v=(18+12)/40=3/4、cv=(16+18)/40=17/20c_v=(16+18)/40=17/20。目标旧标签比例是 q=42/100=21/50q=42/100=21/50,于是整体校正变成:

21/50+17/20−13/4+17/20−1=920=45%.\frac{21/50+17/20-1}{3/4+17/20-1}=\frac9{20}=45\%.

这 5 个百分点的差异来自验证正类中 A、B 各一半,目标正类中却是 1/51/5 与 4/54/5。实际目标总体敏感度为 33/50=0.6633/50=0.66、特异度为 41/50=0.8241/50=0.82;如果有这两个真正适用于目标的总体率,整体反演也会得到 50%。因此问题在合并率的适用人群。

目标渠道占比已经相同,为什么还不够?先想一想再展开。

本例验证渠道各 40 人,目标渠道各 50 人,两边 P(G)P(G) 都是各一半。但 P(G∣Y)P(G\mid Y) 不同。对总体渠道占比做一次匹配,并没有同时匹配真实正类与负类中的渠道构成。可直接检查上面的两条条件权重公式。

04 Python:每个渠道都返回诊断,成功后才汇总#

输入是一组渠道计数。N,positive 来自冻结目标表;TP,FN,TN,FP 来自独立参考验证。函数返回每层的 q,s,c,J,p,Wq,s,c,J,p,W 及总体比例。调用者必须对照预定渠道登记表检查是否漏层;函数只能验证传入的记录,无法发现调用前已经被删除的渠道。

核对目标渠道登记表、版本和唯一键
分别聚合目标计数与验证四格表
逐层检查两类验证支持、J 和概率兼容性
每层反演 p_g;任何一层失败就保留失败,不重新归一化剩余层
按目标人数计算 W_g,输出逐层证据和总体加权和
text

输出 1/2 9/20,分别是逐层标准化结果与直接合并验证表的结果。Fraction 属于 Python 标准库,提供精确有理数运算;这里按整数计数构造分数,避免先把 0.9 之类的二进制浮点数当作精确十进制。接口已核对官方文档 ↗。完成原始记录的聚合后,函数耗时和额外存储均为 O(H)O(H)。

这是一段可审计的估计器,没有训练步骤。如果 RR 来自机器学习模型,应先独立训练并冻结模型和阈值,再获取折外或独立验证预测,最后对目标队列推理。用训练集准确率代入错误率,会把训练乐观偏差带入每层反演。

05 分层解决了什么,还需要检查什么?#

现象或方法先核查的证据对结果的影响
层内 pgp_g 超出 0–1四格方向、版本、目标 qgq_g、验证选择机制报告不兼容;直接截断会隐藏机制或抽样问题
小渠道结果剧烈波动两类验证人数和 JgJ_g聚合数据或预先选择更粗分层需科学依据;不能只删除坏看的层
加大验证集后偏差仍在同层的难度、时间、设备或复核协议是否变化更多同分布样本不能修复条件迁移失败
设计加权差值审计目标队列内随机取得配对真值和入样概率可用设计无偏性;不需要把外部错误率运输到目标
整体比例校正一套真正适用于目标的 st,cts_t,c_t条件合适时足够;本篇展示验证表原样合并为何可能不合适
个体预测概率校准预测分数与个体真实概率的对应修正对象是个体概率;本篇只估计总体比例,不重写每人的标签

分得越细,条件稳定假设可能更可信,但两类验证覆盖会更稀疏。这是机制覆盖和估计精度的取舍。错误率由样本估计时,验证集的误差传播要在完整估计流程上进行:每次设计匹配的重复都重算各层率和汇总;共享样本、共享模型或随机目标权重带来的协方差也要保留。本篇没有把两层标准误简单相加。

如果 B 层没有真实正类验证案例,可以只报告 A 层并把权重改为 1 吗?

那样得到的是 A 渠道的比例,不再是原目标人群。应保留 B 的目标权重与缺证状态,补充参考测量,或明确引入并检验跨渠道共享率的模型。若只能给 B 的错误率一个可信范围,上一篇的集合估计可以保留这份未知。

思考练习#

  1. 保持两层 pg,sg,cgp_g,s_g,c_g 不变,把目标权重改为 WA=1/4,WB=3/4W_A=1/4,W_B=3/4。手算新的总体 p,q,st,ctp,q,s_t,c_t,检查用总体通道反演是否一致。
  2. 令所有层的 sg=s,cg=cs_g=s,c_g=c。证明逐层反演后加权与先加权 qgq_g 再反演相等;这说明了什么适用条件?
  3. 目标增加一个新设备渠道,但验证集中没有该渠道。列出“补验证”“共用错误率”“保留范围”三种方案各需增加的证据。

相关工作#

  1. Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:本篇每一层所用二元反演关系的经典来源。
  2. Forman (2008), Quantifying Counts and Costs via Classification ↗:将分类误差校正连接到机器学习中的类别比例估计,区分个体分类与总体计数目标。
  3. Saerens, Latinne & Decaestecker (2002), Adjusting the Outputs of a Classifier to New a Priori Probabilities: A Simple Procedure ↗:在相应分布稳定假设下调整新类别先验;可与本篇明确分层通道的做法比较。

下一篇预告#

两组共用一套错误率时,分别求界再相减会丢掉“参数必须相同”这条信息。下一篇把共享通道写成联合约束,求解两组真实比例差,看看共享证据怎样收紧可行差距。

验证集各层都准,合并后为何会偏?分层错分校正与目标人群权重
https://zwjcode.cn/blog/stratified-misclassification-target-standardization
作者 傑
发布于 2026年11月7日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。