观文听傑

返回

蓝色和琥珀色的独立检视台隔着磨砂屏分别核对卡片,前方有中立裁决托盘的装饰性插画蓝色和琥珀色的独立检视台隔着磨砂屏分别核对卡片,前方有中立裁决托盘的装饰性插画

上一篇分层杰克刀的层内删除与重新校准回答了“随机名单换一批,估计会波动多少”。现在核验名单没有变,两位复核员却对“保存草稿算不算报名”给出不同答案。还有一种更隐蔽的情况:两人都把草稿当成正式提交,分歧率为零,队列成功率仍然偏高。缩小抽样标准误解决不了这类测量问题。

本篇聚焦盲法双人标注(Blinded Double Annotation)如何诊断参考标签的可重复性。依次讲独立判定协议、设计加权列联表、Cohen κ 的类别构成效应,以及裁决与共同错误的边界。表格里的数字全部是合成教学数据;封面只作装饰。

01 两个人看同一案件,要先固定哪些信息?#

沿用“入口后七日内完成正式报名”的冻结队列,案例 ii 的潜在真实状态记作 Yi∗∈{0,1}Y_i^*\in\{0,1\}。第一位和第二位复核员在同一证据快照上分别给出 Ai,Bi∈{0,1}A_i,B_i\in\{0,1\};争议处理后发布的参考标签另记 RiR_i。这四列各自保留。接下来计算的是 AA 与 BB 的一致性,并不把其中一人预先指定为真值。

盲法(Blinding) 在这里有明确操作:初判时两人看不到对方答案、旧标签和被评模型的预测;所需凭证、窗口起止与时区、正式提交定义、撤回规则及协议版本相同。渠道名等与判定无关、却能暗示旧判断的信息也可遮蔽。双标名单提前随机确定,两人分别提交不可覆盖的初始记录后才允许讨论。顺序可以各自随机,以减少互相抄录与疲劳位置的影响。

这是信息访问独立的流程要求;相同证据、相同培训仍会造成相关错误,盲法本身不保证“给定真实状态时错误独立”。若材料不足,先保留 unresolved,不能为了凑齐二元标签而填 0。本文的计算要求预定双标名单全部完成有效二元判定;未完成者要补证或走此前的未响应设计。

阶段输入与允许看见的信息输出与检查
冻结与抽签[N] 案例键、渠道、证据版本;预定随机双标名单[n] 唯一键、每人实际入样概率;此时不读判定
两路初判各自读取同一 [n] 证据,答案互不可见As,BsA_s,B_s 各 [n],复核员身份、时间与理由
一致性诊断按键连接两路初判和设计权重 dsd_s [n]CC 为 [2,2];一致率、边际比例和 κ 为标量
争议裁决保留初判,裁决员先独立读证据,再按协议核对分歧新增 RsR_s [n]、证据链、裁决理由与协议版本
结果审计使用明确版本的 RsR_s 和原抽样设计总体估计与名单方差;参考标准的有效性另行验证

案例键在原始记录中必须唯一,建字典前检查重复。若只有一部分核验案例被再次随机双标,πi\pi_i 要使用“进入这份双标名单”的总入样概率,例如初次入样概率乘以条件重复核验概率。只挑争议记录双标时,未争议者入样概率为零,结果只能描述争议集。

02 为什么四格表比一个一致率更有用?#

以第一人判定为行、第二人判定为列,定义设计加权列联表(Design-Weighted Contingency Table):

Cab=∑i∈sdi1(Ai=a,Bi=b),di=1πi,a,b∈{0,1}.C_{ab}=\sum_{i\in s}d_i\mathbf1(A_i=a,B_i=b), \qquad d_i=\frac1{\pi_i},\qquad a,b\in\{0,1\}.

ss 是双标名单,1\mathbf1 是条件成立时取 1 的指示函数。C00,C11C_{00},C_{11} 是共同判 0、共同判 1 的加权人数;C01C_{01} 表示第一人 0、第二人 1,C10C_{10} 是相反方向。这里没有真值列,因此不能把两个非对角格直接叫假阳性和假阴性。

记 T=∑a,bCabT=\sum_{a,b}C_{ab},并令 pab=Cab/Tp_{ab}=C_{ab}/T。TT 是名单所代表的人数总量,pp 是 [2,2] 的无量纲比例矩阵。采用前文固定层内人数的分层抽样时,di=Nh/nhd_i=N_h/n_h,所以 T=NT=N;一般不等概率设计的 TT 可以随机变化。使用正权重保证 pp 非负且和为 1;此前某些允许负权重的线性校准结果不能直接当作这张概率表。

观察一致率(Observed Agreement)是对角线总比例

po=p00+p11.p_o=p_{00}+p_{11}.

只报告 pop_o 会丢掉分歧方向和类别构成。分别记录第一人的正类比例 pA1=p10+p11p_{A1}=p_{10}+p_{11}、第二人的正类比例 pB1=p01+p11p_{B1}=p_{01}+p_{11}。若在保留各自边际比例的条件下,把两人的答案独立配对,参考一致率为

pe=pA1pB1+(1−pA1)(1−pB1).p_e=p_{A1}p_{B1}+(1-p_{A1})(1-p_{B1}).

科恩卡帕系数(Cohen’s Kappa)比较观察一致率与这一边际基线:

κ=po−pe1−pe,pe≠1.\kappa=\frac{p_o-p_e}{1-p_e},\qquad p_e\ne1.

分母 1−pe1-p_e 是从边际基线提升到完全一致的剩余空间,分子是实际提升量。κ 为 1 表示完全一致,为 0 表示与该边际基线相同,负数表示低于基线。pep_e 是人为选择的比较模型,不能直接解释成“我们知道其中多少答案碰巧答对”。

若两人都把全部案例判成同一类别,po=pe=1p_o=p_e=1,κ 为 0/00/0,应返回未定义。共同判定的可重复性与是否包含足够的类别信息应一起报告,不能把未定义强行填成 1。这里用四格总量的代入比率估计总体一致性;即使格子总量设计无偏,非线性的 κ 也没有因此获得有限样本无偏性。

03 四人手算:样本构成会怎样改变 κ?#

两个渠道总体人数为 NA=4,NB=12N_A=4,N_B=12,各自独立、不放回随机抽 nA=nB=2n_A=n_B=2 人接受双标。渠道 A 每人代表 2 人,渠道 B 每人代表 6 人。本次初判如下:

案例渠道第一人 AiA_i第二人 BiB_idid_i对加权表的贡献
aA002C00C_{00} 加 2
bA012C01C_{01} 加 2
cB116C11C_{11} 加 6
dB116C11C_{11} 加 6

加权表为 C=[22012]C=\left[\begin{smallmatrix}2&2\\0&12\end{smallmatrix}\right],T=16T=16。于是 po=14/16=7/8p_o=14/16=7/8,pA1=12/16=3/4p_{A1}=12/16=3/4,pB1=14/16=7/8p_{B1}=14/16=7/8。边际基线与 κ 分别是

pe=3478+1418=1116,κ=14/16−11/161−11/16=35.p_e=\frac34\frac78+\frac14\frac18=\frac{11}{16}, \qquad\kappa=\frac{14/16-11/16}{1-11/16}=\frac35.

若直接把四个案例各计一次,得到 C=[1102]C=\left[\begin{smallmatrix}1&1\\0&2\end{smallmatrix}\right],po=3/4,pe=1/2,κ=1/2p_o=3/4,p_e=1/2,\kappa=1/2。两者计算都能复现,但前者指向按真实渠道占比还原的队列,后者描述人为各抽两人的样本。选择取决于事前声明的目标;不能看哪个 κ 大就选择哪个。

进一步用正类特异一致率(Positive Specific Agreement)和负类特异一致率(Negative Specific Agreement)查看类别差异:

P+=2C112C11+C01+C10,P−=2C002C00+C01+C10.P_+=\frac{2C_{11}}{2C_{11}+C_{01}+C_{10}}, \qquad P_-=\frac{2C_{00}}{2C_{00}+C_{01}+C_{10}}.

每份共同正类有两个正类判定进入分母,每份分歧只有一个;所以 P+P_+ 表示所有正类判定中有多少得到另一人的对应支持,P−P_- 同理。本例分别为 12/1312/13、2/32/3。两者是对称的一致性指标,并非相对真值的敏感度或特异度;相应类别无人判定时分母为零,也应保留未定义。

先想一想:把四个设计权重全部乘 10,κ 会改变吗?

不会。四格总量和 TT 都扩大 10 倍,归一化的 pabp_{ab} 不变,因此 po,pe,κ,P+,P−p_o,p_e,\kappa,P_+,P_- 都不变。这是排查“人数权重”与“比例权重”实现差异的一个简单恒等式。改动不同人的相对权重则会改变目标构成与结果。

04 98% 一致率,为什么 κ 仍然为负?#

另造一份等权重的 100 人双标表:C=[98110]C=\left[\begin{smallmatrix}98&1\\1&0\end{smallmatrix}\right]。两人各自只判一人正类,而且不是同一人。观察一致率为 98%,各自正类比例为 1%,因此

pe=0.012+0.992=0.9802,κ=0.98−0.98021−0.9802=−199.p_e=0.01^2+0.99^2=0.9802, \qquad\kappa=\frac{0.98-0.9802}{1-0.9802}=-\frac1{99}.

共同负类支撑了几乎全部一致率;正类特异一致率却为 0。这正是Feinstein 与 Cicchetti 研究的高一致、低 κ 现象 ↗所提醒的边际构成问题。判断核验流程时,应同时看四格表、两位复核员的正类比例、pop_o、κ 和两类特异一致率,并按渠道、复核员对、任务难度检查。

若为了排障额外收集大量可能的正类,可以单独报告挑战集表现;把挑战集当总体,需要相应的正入样概率与权重。跨月份或跨渠道的 κ 不同,既可能来自判定规则变化,也可能来自案例构成变化。先比较边际、固定定义并对齐目标人群,再解释流程质量;这里不设跨任务通用的 κ 合格线。

05 Python:按案例键连接,先重建四格表#

下面实现只依赖标准库,接收三个恰好覆盖预定双标名单的字典:first、second 为 [n] 的二元初判,weight 为 [n] 的正设计权重。输出包含 [2,2] 表、两人边际和若干无量纲标量;None 表示相应分母为零。输入权重用整数或精确分数,拒绝浮点、布尔、负数与缺失,便于逐步复核。生产中的有限正浮点权重可另实现容差检查,但要先声明精度与权重来源。

检查两路初判与预定名单完全匹配,不取静默交集
对每个案例 i:把 d_i 加入 C[A_i, B_i]
以四格之和归一化,计算两路正类边际
计算观察一致率、独立边际基线和 κ
额外输出正、负类别特异一致率;保留未定义状态
把初判诊断存档,再进行争议裁决并生成新参考列
text

输出为:

design po 7/8 pe 11/16 kappa 3/5 positive 12/13 negative 2/3
sample po 3/4 pe 1/2 kappa 1/2 positive 4/5 negative 2/3
rare po 49/50 pe 4901/5000 kappa -1/99 positive 0
text

Fraction(numerator, denominator)来自Python 官方文档 ↗,本例的算术均可保留精确分数;不要用 Fraction(0.1)期待得到精确的 1/101/10。教学代码不训练模型。若旧标签来自分类器,应冻结原推理结果,而参考员在初判时看不到它;这里执行的是标注质量汇总。

也可以用已核对的当前官方接口交叉检查四人例。先按同一键顺序生成三个 [n] 数组,再调用 confusion_matrix ↗ 和 cohen_kappa_score ↗:

from math import isclose
from sklearn.metrics import cohen_kappa_score, confusion_matrix

keys = sorted(first)
a, b = [first[i] for i in keys], [second[i] for i in keys]
d = [float(weight[i]) for i in keys]
c = confusion_matrix(a, b, labels=[0, 1], sample_weight=d)
kappa = cohen_kappa_score(a, b, labels=[0, 1],
                          sample_weight=d, weights=None)
assert c.tolist() == [[2.0, 2.0], [0.0, 12.0]]
assert isclose(kappa, 0.6, abs_tol=1e-12)
print(c.tolist(), kappa)
python

labels=[0,1]固定行列顺序;sample_weight传案例权重。κ 接口里的 weights="linear" 或 "quadratic" 是给有序类别之间的分歧设置距离惩罚,含义不同,本例名义二元标签用 weights=None。浮点 κ 与手算用容差比较,未定义结果保留缺失标记。两份数组都来自复核员,即使列联表 API 参数名叫 y_true、y_pred,也没有因此获得真实标签。

汇总每份名单需要 O(n)O(n) 次加法,字典和键校验需要 O(n)O(n) 空间;矩阵本身只有四格,排序对照代码另需 O(nlog⁡n)O(n\log n)。精确分数的位数可能随权重分母增大而增长,上述复杂度按基本算术次数计。扩大数据量时按复核员对和固定标签顺序分组聚合四格,保留原始键的审计账本,避免将多位复核员随意拼成一对。

06 裁决怎样改善参考标准,又会隐藏什么?#

对于 a、c、d,两份初判一致;案例 b 的初判为 0 与 1。裁决员应先独立检查原始凭证,再依据预定规则决定 RbR_b 或继续保留无法判定状态,并记录具体证据。若裁决为 1,第一人的意见被修正;若为 0,第二人的意见被修正。初始 Ab,BbA_b,B_b 始终保留。一致性报告使用初判,参考结果审计使用明确的 RR 版本。

把两人答案都覆盖成裁决结果后再算 κ,会人为得到完全一致。仅复查分歧,也只能处理已暴露的冲突;两人一致的案例仍应有正概率接受额外独立复核,才能寻找共同错误。后者若用于估计总体错标,必须匹配它自己的抽样概率和证据协议。

一个极小反例足以说明识别问题:假设四人的真实状态为 [0,0,1,1],两位复核员都输出 [1,1,0,0]。两人的 po=1p_o=1,两个边际均为 1/21/2,κ 为 1;相对真实状态的准确率却都是 0。相同观察到的两列初判,也可以出现在“他们完全正确”的另一个世界。仅靠两列一致性信息,无法判别哪个世界成立。

增加第三位复核员,取多数票,就能排除共同错误吗?

若三人都把“保存草稿”理解为“正式提交”,多数票仍把相同定义错误放大。新增复核员有助于发现个人失误,参考标准的有效性还需要独立证据、明确的操作定义和覆盖共同判定案例的验证。若某项结果根本没有可判定的客观真值,应把目标写成指定协议下的判定分布,明确记录合理分歧。

STARD 的方法说明 ↗强调参考标准、可获得信息及盲法的透明报告。迁移到模型审计时,可以据此记录参考员是否看见旧预测,以及裁决证据是否包含被评系统的输出。若用模型输出定义参考答案,再用同一参考答案评模型,会引入纳入偏倚(Incorporation Bias);独立证据和访问隔离需要在测量流程里落实。

现象先打印或追溯什么处理与解释
同一数据换个行顺序就变数两路案例键、各自排序、缺失清单按键连接再生成数组,拒绝错位和静默交集
总体与样本一致率差很多渠道人数、配额、实际双标概率对齐估计目标,用总双标入样概率构造权重
98% 一致却 κ 很低四格、两个正类边际、P+P_+看清共同负类主导及稀有正类分歧
裁决后 κ 总是 1是否改写初判、是否用 RR 替换两路初判与裁决列分开,按初判评价可重复性
某对复核员 κ 未定义是否只出现一个共同类别保留未定义;检查任务构成与随机覆盖
κ 很高但独立凭证不符证据同源性、协议定义、预测可见性核查共同错误,随机验证一致案例
不同渠道 κ 无法直接比较正类比例、难度、复核员对与版本分层报表;对齐案例构成后再比较流程

多数票(Majority Vote)合并判定,κ 描述合并之前的两人一致性;二者都需要外部证据来说明正确性。敏感度(Sensitivity)和 特异度(Specificity) 要求一份可信真实状态或明确的错误模型,分别刻画真实正、负类的识别能力;κ 的输入没有真值,因而不能替代它们。连续测量应选与数值误差相符的方法,不能先随意二值化再声称 κ 已衡量全部测量质量。

最后把误差来源接回上一篇:分层杰克刀只在标签固定时模拟名单随机性;若计算 κ 的名单方差,需要在每份设计重复中重算整张表、两个边际和 κ,检查退化重复。若目标还包含更换复核员、重新测量或裁决的不确定性,就要另行设计复核员与案例的重复测量,不能把名单标准误扩大一个常数来替代。本篇四人例仅作机制验证,未给它附加具有可靠覆盖率的正态区间。

保存队列与证据快照、随机双标名单与概率、复核员身份、盲法访问日志、初判、理由、裁决及协议版本。表格可聚焦后用方向键横向滚动,两处自测可用 Enter 或空格展开,并继承网站深浅色主题。

思考练习#

  1. 不运行代码,计算四人例两路正类边际、两类特异一致率和 κ。把 b 的第二人判定从 1 改成 0,哪些量变化?若把全部权重同时乘 10 呢?
  2. 对比 C=[491149]C=\left[\begin{smallmatrix}49&1\\1&49\end{smallmatrix}\right] 与 C=[98110]C=\left[\begin{smallmatrix}98&1\\1&0\end{smallmatrix}\right]:两者一致率均为 98%,手算 κ 与 P+P_+。这能说明哪类案例值得额外排障?怎样让新增双标仍可代表总体?
  3. 三名复核员共享一套错误定义时,多数票与两两 κ 会怎样?设计一份保留初判、盲法访问和独立证据的验证方案,说明如何覆盖“所有人都同意”的案例,以及它与原名单方差的区别。

相关工作#

  1. Cohen (1960), A Coefficient of Agreement for Nominal Scales ↗:提出用边际参考一致率归一化的 κ,是本篇手算的原始来源。
  2. Feinstein & Cicchetti (1990), High Agreement but Low Kappa: I. The Problems of Two Paradoxes ↗:分析高观察一致率与低 κ 同时出现的边际问题,支持同时报告原始表与类别构成。
  3. Artstein & Poesio (2008), Inter-Coder Agreement for Computational Linguistics ↗:系统讨论标注一致性的假设、数据类型与系数选择,适合从二元任务扩展到真实标注工程。
  4. Cohen et al. (2016), STARD 2015 Guidelines for Reporting Diagnostic Accuracy Studies: Explanation and Elaboration ↗:解释参考标准、盲法和结果核验的透明报告,帮助区分可重复性与参考标准偏差。

下一篇预告#

双标流程能暴露分歧,独立验证才能进一步量化参考标签的错分。下一篇将从敏感度与特异度出发,推导观察到的正类比例怎样反演目标比例,并检查错误率接近不可识别边界时为什么校正会放大误差。

两位复核员都同意,标签就可信吗?盲法双标、Cohen κ 与参考标准偏差
https://zwjcode.cn/blog/blinded-double-annotation-kappa-reference-bias
作者 傑
发布于 2026年11月5日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。