验证集各层都准,合并后为何会偏?分层错分校正与目标人群权重
从两个渠道的错分表手算 50% 与 45% 的差别,解释敏感度和特异度为何要在真实类别内加权,再用精确分数实现逐层反演与目标人群标准化。
上一篇错分率范围下的识别界限保留了错误率尚不能确定的范围。即使验证人数足够多、把每层率估得很精确,汇总结果仍可能稳定地偏离目标:验证集让两个渠道各贡献同样多的真实正类,线上真实正类却主要来自其中一个渠道。把验证表直接合并,就会得到一套适用于错误人群构成的敏感度。
本篇聚焦分层错分校正(Stratified Misclassification Correction):在预先定义的渠道内反演真实比例,再按目标渠道人数合并。核心是三个量的分工:层内错误率、层内观测比例、目标层权重。全部数值是合成教学数据,封面仅作装饰。
01 错误率要在什么条件下才能搬到新队列?#
沿用报名结果, 表示可靠参考协议下的真实状态, 是被审计的旧标签, 是预定渠道。真实比例是 ,旧标签比例是 ;下标 指目标人群, 指独立验证人群。
验证集提供层内敏感度(Sensitivity) ,以及特异度(Specificity) 。反演要求这些条件概率在目标人群中仍成立:
这里允许 和渠道占比变化,要求的是给定真实类别与渠道后的错分机制稳定。相同渠道里如果线上多了模糊证据、协议变版或换了复核员,分层本身不能恢复这个条件。渠道名相同也不等于机制相同。
验证设计可以在每个 格里分别抽取规定人数,只要格内入选不再依赖 或判定难度。若专挑已发现的错误案例做验证, 就不能由原始计数直接估计。每个有目标人数的渠道,都需要真实正类和真实负类的验证支持;某格没有人时,保持缺证状态,不借用另一格填满。
| 阶段 | 输入 | 输出与用途 |
|---|---|---|
| 冻结目标队列 | 唯一键、,各 [N] | 各 [H]; 为旧标签 1 的人数 |
| 冻结验证表 | 唯一键、,各 [m] | [H,2,2],每层按真实 为行、旧标签 为列 |
| 逐层反演 | 各 [H] | 与 各 [H];记录失败层 |
| 目标标准化 | [H] | ,一个无量纲总体比例 |
,。每层的矩阵排列为 :四个单元分别是真负(True Negative, TN)、假正(False Positive, FP)、假负(False Negative, FN)、真正(True Positive, TP)计数。验证总人数 与目标人数 来自不同账本。两个表中都应先查重复键;同一案例跨表出现时要额外处理后续方差中的依赖。
02 为什么先反演,再按目标占比合并?#
每层满足同一条全概率关系:
是该渠道区分两类的强度。 时两类产生相同的旧标签分布,无法反演;接近零时误差放大。本文要求标签方向已固定且 ,不自动翻转不合格渠道。
总体目标由目标人群的全概率公式决定:
在冻结队列的报表中使用 作为目标权重;抽样目标人群则要按相应设计估计它。用验证集渠道人数占比合并,会把估计目标改成验证人群。这个“先条件估计,再按目标构成汇总”的操作称为标准化(Standardization)。
如果想先合并为一套总体错误率,所需权重却是:
以上分别在 和 时定义。敏感度在真实正类内部加权,特异度在真实负类内部加权;这两套权重通常都不等于 ,也不等于验证表的构成。未知的 出现在权重中,正是直接合并往往会绕回原问题的原因。
03 两个渠道手算:50% 为什么会被算成 45%?#
设目标队列两个渠道各 50 人。为了验算机制,下面同时展示生产环境通常不可见的真实计数;估计器只读取旧标签人数与外部验证表。
| 渠道 | 目标真实正类 / 负类 | 目标 TP、FN、TN、FP | 旧标签正类比例 | 验证 TP、FN、TN、FP | |
|---|---|---|---|---|---|
| A | 10 / 40 | 9、1、32、8 | 18、2、16、4 | ||
| B | 40 / 10 | 24、16、9、1 | 12、8、18、2 |
A 层:。B 层:。按目标人数合并得到 ,与教学真值 一致。
若先合并验证表,得到 、。目标旧标签比例是 ,于是整体校正变成:
这 5 个百分点的差异来自验证正类中 A、B 各一半,目标正类中却是 与 。实际目标总体敏感度为 、特异度为 ;如果有这两个真正适用于目标的总体率,整体反演也会得到 50%。因此问题在合并率的适用人群。
目标渠道占比已经相同,为什么还不够?先想一想再展开。
本例验证渠道各 40 人,目标渠道各 50 人,两边 都是各一半。但 不同。对总体渠道占比做一次匹配,并没有同时匹配真实正类与负类中的渠道构成。可直接检查上面的两条条件权重公式。
04 Python:每个渠道都返回诊断,成功后才汇总#
输入是一组渠道计数。N,positive 来自冻结目标表;TP,FN,TN,FP 来自独立参考验证。函数返回每层的 及总体比例。调用者必须对照预定渠道登记表检查是否漏层;函数只能验证传入的记录,无法发现调用前已经被删除的渠道。
核对目标渠道登记表、版本和唯一键
分别聚合目标计数与验证四格表
逐层检查两类验证支持、J 和概率兼容性
每层反演 p_g;任何一层失败就保留失败,不重新归一化剩余层
按目标人数计算 W_g,输出逐层证据和总体加权和textfrom fractions import Fraction as F
def stratified_correction(rows):
if not rows:
raise ValueError("empty target strata")
seen, output, total_n = set(), [], 0
for row in rows:
group = row["group"]
if not isinstance(group, str) or not group or group in seen:
raise ValueError("stratum keys must be nonempty and unique")
seen.add(group)
for key in ("N", "positive", "TP", "FN", "TN", "FP"):
if type(row[key]) is not int or row[key] < 0:
raise ValueError("counts must be nonnegative integers")
n, k = row["N"], row["positive"]
tp, fn, tn, fp = (row[x] for x in ("TP", "FN", "TN", "FP"))
if n == 0 or k > n or tp + fn == 0 or tn + fp == 0:
raise ValueError("missing target or validation class support")
q, s, c = F(k, n), F(tp, tp + fn), F(tn, tn + fp)
j = s + c - 1
if j <= 0:
raise ValueError("requires informative, correctly oriented channel")
p = (q + c - 1) / j
if not 0 <= p <= 1:
raise ValueError("incompatible stratum: investigate before aggregation")
output.append(dict(group=group, N=n, q=q, s=s, c=c, J=j, p=p))
total_n += n
for row in output:
row["weight"] = F(row["N"], total_n)
estimate = sum((r["weight"] * r["p"] for r in output), F(0))
return dict(groups=output, total=estimate)
rows = [
dict(group="A", N=50, positive=17, TP=18, FN=2, TN=16, FP=4),
dict(group="B", N=50, positive=25, TP=12, FN=8, TN=18, FP=2),
]
answer = stratified_correction(rows)
assert [r["p"] for r in answer["groups"]] == [F(1, 5), F(4, 5)]
assert answer["total"] == F(1, 2)
pooled_q = F(sum(r["positive"] for r in rows), sum(r["N"] for r in rows))
pooled_s = F(sum(r["TP"] for r in rows), sum(r["TP"] + r["FN"] for r in rows))
pooled_c = F(sum(r["TN"] for r in rows), sum(r["TN"] + r["FP"] for r in rows))
pooled = (pooled_q + pooled_c - 1) / (pooled_s + pooled_c - 1)
assert pooled == F(9, 20)
print(answer["total"], pooled)python输出 1/2 9/20,分别是逐层标准化结果与直接合并验证表的结果。Fraction 属于 Python 标准库,提供精确有理数运算;这里按整数计数构造分数,避免先把 0.9 之类的二进制浮点数当作精确十进制。接口已核对官方文档 ↗。完成原始记录的聚合后,函数耗时和额外存储均为 。
这是一段可审计的估计器,没有训练步骤。如果 来自机器学习模型,应先独立训练并冻结模型和阈值,再获取折外或独立验证预测,最后对目标队列推理。用训练集准确率代入错误率,会把训练乐观偏差带入每层反演。
05 分层解决了什么,还需要检查什么?#
| 现象或方法 | 先核查的证据 | 对结果的影响 |
|---|---|---|
| 层内 超出 0–1 | 四格方向、版本、目标 、验证选择机制 | 报告不兼容;直接截断会隐藏机制或抽样问题 |
| 小渠道结果剧烈波动 | 两类验证人数和 | 聚合数据或预先选择更粗分层需科学依据;不能只删除坏看的层 |
| 加大验证集后偏差仍在 | 同层的难度、时间、设备或复核协议是否变化 | 更多同分布样本不能修复条件迁移失败 |
| 设计加权差值审计 | 目标队列内随机取得配对真值和入样概率 | 可用设计无偏性;不需要把外部错误率运输到目标 |
| 整体比例校正 | 一套真正适用于目标的 | 条件合适时足够;本篇展示验证表原样合并为何可能不合适 |
| 个体预测概率校准 | 预测分数与个体真实概率的对应 | 修正对象是个体概率;本篇只估计总体比例,不重写每人的标签 |
分得越细,条件稳定假设可能更可信,但两类验证覆盖会更稀疏。这是机制覆盖和估计精度的取舍。错误率由样本估计时,验证集的误差传播要在完整估计流程上进行:每次设计匹配的重复都重算各层率和汇总;共享样本、共享模型或随机目标权重带来的协方差也要保留。本篇没有把两层标准误简单相加。
如果 B 层没有真实正类验证案例,可以只报告 A 层并把权重改为 1 吗?
那样得到的是 A 渠道的比例,不再是原目标人群。应保留 B 的目标权重与缺证状态,补充参考测量,或明确引入并检验跨渠道共享率的模型。若只能给 B 的错误率一个可信范围,上一篇的集合估计可以保留这份未知。
思考练习#
- 保持两层 不变,把目标权重改为 。手算新的总体 ,检查用总体通道反演是否一致。
- 令所有层的 。证明逐层反演后加权与先加权 再反演相等;这说明了什么适用条件?
- 目标增加一个新设备渠道,但验证集中没有该渠道。列出“补验证”“共用错误率”“保留范围”三种方案各需增加的证据。
相关工作#
- Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:本篇每一层所用二元反演关系的经典来源。
- Forman (2008), Quantifying Counts and Costs via Classification ↗:将分类误差校正连接到机器学习中的类别比例估计,区分个体分类与总体计数目标。
- Saerens, Latinne & Decaestecker (2002), Adjusting the Outputs of a Classifier to New a Priori Probabilities: A Simple Procedure ↗:在相应分布稳定假设下调整新类别先验;可与本篇明确分层通道的做法比较。
下一篇预告#
两组共用一套错误率时,分别求界再相减会丢掉“参数必须相同”这条信息。下一篇把共享通道写成联合约束,求解两组真实比例差,看看共享证据怎样收紧可行差距。