观文听傑

返回

三只分别装有蓝色、青色与琥珀色卡片的托盘经中央磨砂透镜汇合光带的装饰性插画三只分别装有蓝色、青色与琥珀色卡片的托盘经中央磨砂透镜汇合光带的装饰性插画

上一篇敏感度、特异度与 Rogan–Gladen 反演把参考正类比例 qq 校正为真实比例 pp。现在目标队列越攒越大,报表的区间却还按“敏感度和特异度已经准确知道”计算。如果这两个正确率只是从几十名验证案例估出的,区间会漏掉哪一部分波动?

本篇只研究三份独立样本的误差怎样穿过同一个比例校正函数:目标参考比例、真实正类中的敏感度、真实负类中的特异度。先推一阶近似,再用同一个例子拆出预算瓶颈。所有数字均为合成教学数据,封面仅作装饰;本文的教学代码实现普通一阶正态近似,改进覆盖率的专门区间算法见文末相关工作。

01 先写明抽样实验,再决定方差公式#

设目标真实状态为 Y∗Y^*,参考标签为 RR。沿用 p=P(Y∗=1)p=P(Y^*=1)、q=P(R=1)q=P(R=1)、敏感度 a=P(R=1∣Y∗=1)a=P(R=1\mid Y^*=1) 和特异度 b=P(R=0∣Y∗=0)b=P(R=0\mid Y^*=0)。本篇采用三个相互独立的抽样实验:

数据源原始输入及形状计数模型估计量本篇的代入方差
目标参考样本独立同分布参考标签 [n]K∼Binomial(n,q)K\sim\mathrm{Binomial}(n,q)q^=K/n\widehat q=K/nvq=q^(1−q^)/nv_q=\widehat q(1-\widehat q)/n
真实正类验证从真实正类内抽取的参考标签 [m_1]U∼Binomial(m1,a)U\sim\mathrm{Binomial}(m_1,a)a^=U/m1\widehat a=U/m_1va=a^(1−a^)/m1v_a=\widehat a(1-\widehat a)/m_1
真实负类验证从真实负类内抽取的参考标签 [m_0]V∼Binomial(m0,b)V\sim\mathrm{Binomial}(m_0,b),计参考判 0b^=V/m0\widehat b=V/m_0vb=b^(1−b^)/m0v_b=\widehat b(1-\widehat b)/m_0

这里的二项分布(Binomial Distribution)计数来自独立、同概率的二元判定;m1,m0m_1,m_0 由验证设计固定或条件化为给定人数。验证中的可信真实类别由独立证据确定,不能用待评参考标签本身决定真值。三份样本不重叠,类内错误机制适用于目标人群;没有簇内相关、重复用户、复杂权重或验证未响应。

上述方差使用最大似然参数的代入形式,分母为各自人数。它们与用样本方差估计均值方差的 q^(1−q^)/(n−1)\widehat q(1-\widehat q)/(n-1) 形式在有限样本上略有区别;下面固定前一种约定,便于重放。人数够大时二者具有同一阶近似,人数极小时都不能凭这个差别解决区间覆盖问题。

如果目标是固定队列,且所有参考标签已经完整观测,条件于这份标签快照,qq 的抽样方差可以为零;但真实标签的测量模型、验证参数和目标定义仍须明确。本篇的 vqv_q 对应反复抽取目标案例的总体概率推断,不能机械加到任何全量报表上。此前的分层核验、有限总体修正和杰克刀方差,应匹配各自的设计后再接入传播公式。

02 一个梯度,怎样接住三路波动?#

校正函数为

f(q,a,b)=q+b−1a+b−1,J=a+b−1>0.f(q,a,b)=\frac{q+b-1}{a+b-1},\qquad J=a+b-1>0.

为与业务中“正向区分”的约定一致,本篇只处理正的 JJ;反向标签先按上一篇同时重编码三个输入。记 θ=(q,a,b)⊤\boldsymbol\theta=(q,a,b)^\top 为 [3] 参数向量,θ^\widehat{\boldsymbol\theta} 为三个估计量。用一阶误差传播(Delta Method)在真实参数附近展开:

f(θ^)−f(θ)≈∇f(θ)⊤(θ^−θ).f(\widehat{\boldsymbol\theta})-f(\boldsymbol\theta) \approx\nabla f(\boldsymbol\theta)^\top (\widehat{\boldsymbol\theta}-\boldsymbol\theta).

对 qq 求导只需保留分母;对 a,ba,b 求导则要同时追踪分子与分母。令 p=f(q,a,b)p=f(q,a,b),可化成三个很容易解释的导数:

gq=1J,ga=−pJ,gb=1−pJ.g_q=\frac1J,\qquad g_a=-\frac pJ,\qquad g_b=\frac{1-p}{J}.

敏感度增大时,同样的参考正类比例需要更少真实正类解释,所以 ga<0g_a<0;特异度增大时,误报更少,需要更多真实正类解释,所以 gb>0g_b>0。这两个符号也是调试导数方向的线索。所有参数无量纲,方差单位为比例的平方,标准误单位为比例。

令 Σ=Cov⁡(θ^)\Sigma=\operatorname{Cov}(\widehat{\boldsymbol\theta}) 为 [3,3] 协方差矩阵,一般传播式为 Var⁡(p^)≈g⊤Σg\operatorname{Var}(\widehat p)\approx\boldsymbol g^\top\Sigma\boldsymbol g。本篇的独立设计使非对角项为零,因而有

Var⁡^(p^)=vq+p^ 2va+(1−p^)2vbJ^ 2.\widehat{\operatorname{Var}}(\widehat p) =\frac{v_q+\widehat p^{\,2}v_a+(1-\widehat p)^2v_b}{\widehat J^{\,2}}.

右边依次是目标抽样、正类验证和负类验证贡献。把 va,vbv_a,v_b 设为零,就是“把错误率当已知”的条件计算;它与计入有限验证集的无条件计算回答不同的问题。Lang 与 Reiczigel ↗研究的正是估计敏感度和特异度时应考虑的额外不确定性,并提出专门改进区间;这里先保留最透明的一阶传播来定位误差来源。

如果三份数据重叠或联合估计,不能删除协方差项。一般式还含 2gqgaΣqa2g_qg_a\Sigma_{qa}、2gqgbΣqb2g_qg_b\Sigma_{qb}、2gagbΣab2g_ag_b\Sigma_{ab}。此时需要联合影响函数、匹配设计的重复估计或完整似然,而不是在输出上随意加宽一个系数。

03 三组计数手算:为何标准误从 0.0816 变为 0.1077?#

目标样本 n=100n=100,参考判正 K=40K=40;另一份真实正类验证 m1=50m_1=50,其中 U=40U=40 判正;真实负类验证 m0=50m_0=50,其中 V=40V=40 判负。三路样本独立。因此

q^=25,a^=b^=45,J^=35,p^=13,g^=(53,−59,109)⊤.\widehat q=\frac25,\quad\widehat a=\widehat b=\frac45,\quad \widehat J=\frac35,\quad\widehat p=\frac13, \qquad\widehat{\boldsymbol g}=\left(\frac53,-\frac59,\frac{10}{9}\right)^\top.

目标比例的方差为 (2/5)(3/5)/100=3/1250(2/5)(3/5)/100=3/1250,两个类内正确率的方差均为 (4/5)(1/5)/50=2/625(4/5)(1/5)/50=2/625。逐项乘以导数的平方:

来源输入方差导数平方对校正方差的贡献
目标参考比例3/12503/125025/925/91/150≈0.00666671/150\approx0.0066667
正类验证敏感度2/6252/62525/8125/812/2025≈0.00098772/2025\approx0.0009877
负类验证特异度2/6252/625100/81100/818/2025≈0.00395068/2025\approx0.0039506
合计——47/4050≈0.011604947/4050\approx0.0116049

因此标准误为 47/4050≈0.107726\sqrt{47/4050}\approx0.107726;只保留第一项得到 1/150≈0.081650\sqrt{1/150}\approx0.081650。在样本近似适用的前提下,用标准正态 97.5% 分位数 z≈1.959964z\approx1.959964 计算 95% Wald 区间(Wald Interval):

p^±zVar⁡^(p^)≈[0.122194,  0.544473].\widehat p\pm z\sqrt{\widehat{\operatorname{Var}}(\widehat p)} \approx[0.122194,\;0.544473].

这是所选近似算法的数值输出,不代表对这个样本规模已验证出恰好 95% 覆盖率。覆盖率指重复整个抽样实验后区间包含真实参数的频率,不能从一次区间是否“看起来合理”判断。校正比例是非线性比率,代入估计也不保证有限样本无偏。

先判断:正负验证人数相同,为什么负类验证贡献是正类的四倍?

两份输入方差相同,但 p^=1/3\widehat p=1/3,所以敏感度导数绝对值为 5/95/9,特异度导数为 10/910/9。后者平方是前者四倍。真实负类占多数时,误报基线的一点变化会影响更多人的解释;人数相同不代表信息价值相同。

04 Python:输出误差分账,不悄悄截断区间#

下面实现接收三对“成功计数、总人数”,每对长度为 2;真实负类的成功计数是参考判负人数。输出点估计、[3] 梯度、按来源命名的方差贡献、标准误和未经截断的区间。它没有训练神经网络,参数估计就是三个二项计数的样本比例,推断过程全部展开。

验证三路计数、样本独立性与版本来源
计算 q、a、b,再计算 J 和原始校正比例
拒绝空类别、边界计数和低于预设增益门槛的情形
计算三项导数、三项二项代入方差、三项传播贡献
合并方差并输出原始正态区间,保留近似方法与诊断
text

输出为 p 0.333333,三项贡献分别约 0.0066667、0.0009877、0.0039506,se 0.107726,区间 (0.122194, 0.544473)。标准库 NormalDist.inv_cdf ↗ 求正态分位数;math.isfinite ↗ 拒绝非有限配置值,sqrt 把方差变为标准误。本实现仅使用这些稳定的官方接口,无额外机器学习依赖。

min_gain=0.1 是展示“显式拒绝不稳定反演”的工程策略,需分析前确定;它不是普遍有效的统计阈值,超过它也可能近似很差。全对验证数据可能只是没有观察到稀有错误,直接代入得到零输入方差会制造虚假的确定性,因此教学程序拒绝这类边界;应转用合适的计数似然、区间或先验模型,保留原始计数。

05 标签越攒越多,验证预算为何仍是瓶颈?#

固定验证人数与参数估计,让 n→∞n\to\infty,目标贡献趋近零,当前代入方差仍有

p^ 2va+(1−p^)2vbJ^ 2=2405,\frac{\widehat p^{\,2}v_a+(1-\widehat p)^2v_b}{\widehat J^{\,2}} =\frac{2}{405},

其平方根约为 0.070273。这是保持当前验证证据不变的一阶误差下限,不能靠增加同协议参考标签消除。实际追加样本后比例估计也会改变,因此它是冻结现有估计的预算诊断,不是所有未来实验的固定精度承诺。

若计划阶段把 p,a,b,Jp,a,b,J 当作先导估计,验证成本各为 c1,c0c_1,c_0,两个验证方差项可写为 A/m1+B/m0A/m_1+B/m_0,其中 A=p2a(1−a)/J2A=p^2a(1-a)/J^2、B=(1−p)2b(1−b)/J2B=(1-p)^2b(1-b)/J^2。固定验证预算 c1m1+c0m0=Cc_1m_1+c_0m_0=C 的连续最优配额满足

m1m0=Ac0Bc1.\frac{m_1}{m_0}=\sqrt{\frac{A c_0}{B c_1}}.

这沿用了成本约束分层配额的平方根机制。本例等成本且两类正确率相同,得到 m1/m0=1/2m_1/m_0=1/2,说明为目标均值精度服务时可以优先增加真负类验证。它不意味着放弃正类覆盖,也不适用于没有先导错误率、稀有类别招募困难或目标同时包含个体性能指标的场景。真实预算还需取整、保留类内最低人数,并明确真值确认费用。

先预测:只把目标人数扩大十倍,标准误会缩小到原来的 1/√10 吗?

不会。只有目标贡献除以 10,两个验证贡献保持不变。直接运行 larger,再把三路人数同时扩大十倍对比:保持样本比例完全相同时,后一种操作才使三个方差项一起除以 10。这也是检查程序有没有漏掉验证误差的变换测试。

06 什么时候应停止解释这个正态区间?#

一阶传播要求估计点附近足够平滑、参数估计的波动相对分母与边界足够小。JJ 接近零时,比率会剧烈变化,抽样分布可能不对称,甚至有大量反演超界或分母变号;“均值加减两倍标准误”的直觉就不可靠。错误率估得很准却不适用于目标渠道,则是系统偏差,再多重复抽样也补不回。

现象核查数据流分析上的下一步
目标人数增加,区间几乎不缩三项方差贡献定位验证瓶颈,按类内信息和成本追加可信验证
重复估计常出现 J≤0J\le0 或超界验证计数、弱区分、协议方向报告失败频率;考虑弱识别适用的区间与补证
Wald 区间超过 0–1估计点边界、近似形状、样本量保留原始诊断;使用满足参数约束的似然方法
两类验证都全部判对稀有错误、类内人数与抽样覆盖不把观测零错误当已知零方差
目标与验证来自同一批人案例键、抽样依赖与复用使用完整协方差或联合的设计重复估计
不同渠道错误率明显不同类内证据难度、目标构成、版本分层建模或敏感性分析,区分迁移偏差与抽样方差

把区间与 [0,1] 取交集可以表达参数的已知支持,但不能修复原 Wald 近似的覆盖率,也不能隐藏原始区间与超界点估计。约束似然会在参数空间内联合拟合三路二项数据;剖面似然(Profile Likelihood)则对每个候选 pp 优化其余参数后构造区间,需另行验证阈值与小样本表现。Reiczigel 等人的已知错误率区间 ↗与Lang–Reiczigel 的估计错误率区间 ↗处理的证据条件不同,不能只看函数都返回两个端点就混用。

若采用自助重采样(Bootstrap)检查分布,本篇设计应分别在三路数据内重采样,每轮重新估计 q,a,b,J,pq,a,b,J,p,保留退化与超界轮次。冻结验证参数只重采目标案例仍会漏掉两项误差;静默删掉分母接近零的轮次则改变抽样分布。重采样能帮助诊断,弱识别时并不自动提供有效覆盖。复杂抽样仍应沿用其分层、簇或重复权重结构。

保存三个数据快照、计数、类内抽样方式、协议身份、独立性证据、梯度、协方差约定、三项贡献和方法名称。这里输出的是一个明确模型下的统计近似;它与上一篇的点识别、此前的名单设计方差和跨渠道错误率失配分别对应不同证据。

思考练习#

  1. 不运行代码,把手算例的 m0m_0 从 50 改为 100,并保持特异度估计为 0.8。重新计算总方差与标准误。为什么不能把整个标准误直接除以 2\sqrt2?
  2. 对校正函数分别增加 q,a,bq,a,b 一个很小的量,用有限差分核对三个导数的符号与数值。把所有参考标签翻转并正确重编码后,校正值与传播方差应满足什么不变性?
  3. 假设验证案例恰好是目标样本的一部分。画出案例键的重叠关系,指出对角协方差假设失效的位置;设计一份保持重叠结构的重复估计流程,并说明为何不能删掉失败重复。

相关工作#

  1. Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:本篇传播函数的点估计来源。
  2. Reiczigel, Földi & Ozsvári (2010), Exact Confidence Limits for Prevalence of a Disease with an Imperfect Diagnostic Test ↗:在敏感度与特异度已知时研究精确区间,提醒读者明确错误率是否由样本估出。
  3. Lang & Reiczigel (2014), Confidence Limits for Prevalence of Disease Adjusted for Estimated Sensitivity and Specificity ↗:针对独立验证样本的错误率估计,提出并模拟评估改进区间;本文的普通 Delta–Wald 代码并非该算法。

下一篇预告#

区间变宽可以反映抽样波动,却不能保证旧渠道的错误率适用于新渠道。下一篇将固定观察比例,为敏感度和特异度设置有依据的范围,求真实比例的识别界限,并区分“参数可能落在哪里”与“抽样置信区间”的含义。

校正比例算出来了,误差有多大?把验证集不确定性传播到 Rogan–Gladen 估计
https://zwjcode.cn/blog/misclassification-correction-validation-uncertainty
作者 傑
发布于 2026年11月6日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。