两位复核员都同意,标签就可信吗?盲法双标、Cohen κ 与参考标准偏差
从四份分层双标记录手算设计加权列联表与 Cohen κ,用 98% 一致率反例定位类别失衡,并把独立判定、争议裁决和共同错标分开保存。
上一篇分层杰克刀的层内删除与重新校准回答了“随机名单换一批,估计会波动多少”。现在核验名单没有变,两位复核员却对“保存草稿算不算报名”给出不同答案。还有一种更隐蔽的情况:两人都把草稿当成正式提交,分歧率为零,队列成功率仍然偏高。缩小抽样标准误解决不了这类测量问题。
本篇聚焦盲法双人标注(Blinded Double Annotation)如何诊断参考标签的可重复性。依次讲独立判定协议、设计加权列联表、Cohen κ 的类别构成效应,以及裁决与共同错误的边界。表格里的数字全部是合成教学数据;封面只作装饰。
01 两个人看同一案件,要先固定哪些信息?#
沿用“入口后七日内完成正式报名”的冻结队列,案例 的潜在真实状态记作 。第一位和第二位复核员在同一证据快照上分别给出 ;争议处理后发布的参考标签另记 。这四列各自保留。接下来计算的是 与 的一致性,并不把其中一人预先指定为真值。
盲法(Blinding) 在这里有明确操作:初判时两人看不到对方答案、旧标签和被评模型的预测;所需凭证、窗口起止与时区、正式提交定义、撤回规则及协议版本相同。渠道名等与判定无关、却能暗示旧判断的信息也可遮蔽。双标名单提前随机确定,两人分别提交不可覆盖的初始记录后才允许讨论。顺序可以各自随机,以减少互相抄录与疲劳位置的影响。
这是信息访问独立的流程要求;相同证据、相同培训仍会造成相关错误,盲法本身不保证“给定真实状态时错误独立”。若材料不足,先保留 unresolved,不能为了凑齐二元标签而填 0。本文的计算要求预定双标名单全部完成有效二元判定;未完成者要补证或走此前的未响应设计。
| 阶段 | 输入与允许看见的信息 | 输出与检查 |
|---|---|---|
| 冻结与抽签 | [N] 案例键、渠道、证据版本;预定随机双标名单 | [n] 唯一键、每人实际入样概率;此时不读判定 |
| 两路初判 | 各自读取同一 [n] 证据,答案互不可见 | 各 [n],复核员身份、时间与理由 |
| 一致性诊断 | 按键连接两路初判和设计权重 [n] | 为 [2,2];一致率、边际比例和 κ 为标量 |
| 争议裁决 | 保留初判,裁决员先独立读证据,再按协议核对分歧 | 新增 [n]、证据链、裁决理由与协议版本 |
| 结果审计 | 使用明确版本的 和原抽样设计 | 总体估计与名单方差;参考标准的有效性另行验证 |
案例键在原始记录中必须唯一,建字典前检查重复。若只有一部分核验案例被再次随机双标, 要使用“进入这份双标名单”的总入样概率,例如初次入样概率乘以条件重复核验概率。只挑争议记录双标时,未争议者入样概率为零,结果只能描述争议集。
02 为什么四格表比一个一致率更有用?#
以第一人判定为行、第二人判定为列,定义设计加权列联表(Design-Weighted Contingency Table):
是双标名单, 是条件成立时取 1 的指示函数。 是共同判 0、共同判 1 的加权人数; 表示第一人 0、第二人 1, 是相反方向。这里没有真值列,因此不能把两个非对角格直接叫假阳性和假阴性。
记 ,并令 。 是名单所代表的人数总量, 是 [2,2] 的无量纲比例矩阵。采用前文固定层内人数的分层抽样时,,所以 ;一般不等概率设计的 可以随机变化。使用正权重保证 非负且和为 1;此前某些允许负权重的线性校准结果不能直接当作这张概率表。
观察一致率(Observed Agreement)是对角线总比例
只报告 会丢掉分歧方向和类别构成。分别记录第一人的正类比例 、第二人的正类比例 。若在保留各自边际比例的条件下,把两人的答案独立配对,参考一致率为
科恩卡帕系数(Cohen’s Kappa)比较观察一致率与这一边际基线:
分母 是从边际基线提升到完全一致的剩余空间,分子是实际提升量。κ 为 1 表示完全一致,为 0 表示与该边际基线相同,负数表示低于基线。 是人为选择的比较模型,不能直接解释成“我们知道其中多少答案碰巧答对”。
若两人都把全部案例判成同一类别,,κ 为 ,应返回未定义。共同判定的可重复性与是否包含足够的类别信息应一起报告,不能把未定义强行填成 1。这里用四格总量的代入比率估计总体一致性;即使格子总量设计无偏,非线性的 κ 也没有因此获得有限样本无偏性。
03 四人手算:样本构成会怎样改变 κ?#
两个渠道总体人数为 ,各自独立、不放回随机抽 人接受双标。渠道 A 每人代表 2 人,渠道 B 每人代表 6 人。本次初判如下:
| 案例 | 渠道 | 第一人 | 第二人 | 对加权表的贡献 | |
|---|---|---|---|---|---|
| a | A | 0 | 0 | 2 | 加 2 |
| b | A | 0 | 1 | 2 | 加 2 |
| c | B | 1 | 1 | 6 | 加 6 |
| d | B | 1 | 1 | 6 | 加 6 |
加权表为 ,。于是 ,,。边际基线与 κ 分别是
若直接把四个案例各计一次,得到 ,。两者计算都能复现,但前者指向按真实渠道占比还原的队列,后者描述人为各抽两人的样本。选择取决于事前声明的目标;不能看哪个 κ 大就选择哪个。
进一步用正类特异一致率(Positive Specific Agreement)和负类特异一致率(Negative Specific Agreement)查看类别差异:
每份共同正类有两个正类判定进入分母,每份分歧只有一个;所以 表示所有正类判定中有多少得到另一人的对应支持, 同理。本例分别为 、。两者是对称的一致性指标,并非相对真值的敏感度或特异度;相应类别无人判定时分母为零,也应保留未定义。
先想一想:把四个设计权重全部乘 10,κ 会改变吗?
不会。四格总量和 都扩大 10 倍,归一化的 不变,因此 都不变。这是排查“人数权重”与“比例权重”实现差异的一个简单恒等式。改动不同人的相对权重则会改变目标构成与结果。
04 98% 一致率,为什么 κ 仍然为负?#
另造一份等权重的 100 人双标表:。两人各自只判一人正类,而且不是同一人。观察一致率为 98%,各自正类比例为 1%,因此
共同负类支撑了几乎全部一致率;正类特异一致率却为 0。这正是Feinstein 与 Cicchetti 研究的高一致、低 κ 现象 ↗所提醒的边际构成问题。判断核验流程时,应同时看四格表、两位复核员的正类比例、、κ 和两类特异一致率,并按渠道、复核员对、任务难度检查。
若为了排障额外收集大量可能的正类,可以单独报告挑战集表现;把挑战集当总体,需要相应的正入样概率与权重。跨月份或跨渠道的 κ 不同,既可能来自判定规则变化,也可能来自案例构成变化。先比较边际、固定定义并对齐目标人群,再解释流程质量;这里不设跨任务通用的 κ 合格线。
05 Python:按案例键连接,先重建四格表#
下面实现只依赖标准库,接收三个恰好覆盖预定双标名单的字典:first、second 为 [n] 的二元初判,weight 为 [n] 的正设计权重。输出包含 [2,2] 表、两人边际和若干无量纲标量;None 表示相应分母为零。输入权重用整数或精确分数,拒绝浮点、布尔、负数与缺失,便于逐步复核。生产中的有限正浮点权重可另实现容差检查,但要先声明精度与权重来源。
检查两路初判与预定名单完全匹配,不取静默交集
对每个案例 i:把 d_i 加入 C[A_i, B_i]
以四格之和归一化,计算两路正类边际
计算观察一致率、独立边际基线和 κ
额外输出正、负类别特异一致率;保留未定义状态
把初判诊断存档,再进行争议裁决并生成新参考列textfrom fractions import Fraction as F
def agreement(first, second, weight):
if any(not isinstance(x, dict) or not x for x in (first, second, weight)):
raise ValueError("两份标注和权重须为非空字典")
if set(first) != set(second) or set(first) != set(weight):
raise ValueError("两人须恰好覆盖预定双标名单;禁止静默取交集")
if any(not isinstance(i, str) or not i for i in first):
raise ValueError("案例键须为非空字符串")
if any(type(v) is not int or v not in (0, 1)
for labels in (first, second) for v in labels.values()):
raise ValueError("标签须为整数 0 或 1;缺失须另行处理")
if any((type(w) is not int and not isinstance(w, F)) or w <= 0
for w in weight.values()):
raise ValueError("教学实现只接受正整数或 Fraction 权重")
c = [[F(0), F(0)], [F(0), F(0)]]
for i in first:
c[first[i]][second[i]] += weight[i]
total = sum(map(sum, c))
a1, b1 = (c[1][0] + c[1][1]) / total, (c[0][1] + c[1][1]) / total
observed = (c[0][0] + c[1][1]) / total
expected = a1 * b1 + (1 - a1) * (1 - b1)
denom_pos = 2 * c[1][1] + c[0][1] + c[1][0]
denom_neg = 2 * c[0][0] + c[0][1] + c[1][0]
return dict(table=tuple(map(tuple, c)), total_weight=total,
first_positive=a1, second_positive=b1,
observed=observed, expected=expected,
kappa=(observed - expected) / (1 - expected)
if expected != 1 else None,
positive_agreement=2 * c[1][1] / denom_pos if denom_pos else None,
negative_agreement=2 * c[0][0] / denom_neg if denom_neg else None)
first = dict(zip("abcd", [0, 0, 1, 1]))
second = dict(zip("abcd", [0, 1, 1, 1]))
# 渠道 A 总体 4 人、抽 2 人;渠道 B 总体 12 人、抽 2 人。
weight = dict(zip("abcd", [2, 2, 6, 6]))
weighted = agreement(first, second, weight)
plain = agreement(first, second, {i: 1 for i in first})
for name, result in [("design", weighted), ("sample", plain)]:
print(name, "po", result["observed"], "pe", result["expected"],
"kappa", result["kappa"], "positive", result["positive_agreement"],
"negative", result["negative_agreement"])
assert weighted["table"] == ((2, 2), (0, 12))
assert weighted["kappa"] == F(3, 5) and plain["kappa"] == F(1, 2)
# 独立合成例:98 个共同 0,两个方向各一处分歧,没有共同 1。
rare_a = {str(i): int(i == 99) for i in range(100)}
rare_b = {str(i): int(i == 98) for i in range(100)}
rare = agreement(rare_a, rare_b, {i: 1 for i in rare_a})
print("rare", "po", rare["observed"], "pe", rare["expected"],
"kappa", rare["kappa"], "positive", rare["positive_agreement"])
assert rare["kappa"] == -F(1, 99)
assert agreement({"x": 0}, {"x": 0}, {"x": 1})["kappa"] is Nonepython输出为:
design po 7/8 pe 11/16 kappa 3/5 positive 12/13 negative 2/3
sample po 3/4 pe 1/2 kappa 1/2 positive 4/5 negative 2/3
rare po 49/50 pe 4901/5000 kappa -1/99 positive 0textFraction(numerator, denominator)来自Python 官方文档 ↗,本例的算术均可保留精确分数;不要用 Fraction(0.1)期待得到精确的 。教学代码不训练模型。若旧标签来自分类器,应冻结原推理结果,而参考员在初判时看不到它;这里执行的是标注质量汇总。
也可以用已核对的当前官方接口交叉检查四人例。先按同一键顺序生成三个 [n] 数组,再调用 confusion_matrix ↗ 和 cohen_kappa_score ↗:
from math import isclose
from sklearn.metrics import cohen_kappa_score, confusion_matrix
keys = sorted(first)
a, b = [first[i] for i in keys], [second[i] for i in keys]
d = [float(weight[i]) for i in keys]
c = confusion_matrix(a, b, labels=[0, 1], sample_weight=d)
kappa = cohen_kappa_score(a, b, labels=[0, 1],
sample_weight=d, weights=None)
assert c.tolist() == [[2.0, 2.0], [0.0, 12.0]]
assert isclose(kappa, 0.6, abs_tol=1e-12)
print(c.tolist(), kappa)pythonlabels=[0,1]固定行列顺序;sample_weight传案例权重。κ 接口里的 weights="linear" 或 "quadratic" 是给有序类别之间的分歧设置距离惩罚,含义不同,本例名义二元标签用 weights=None。浮点 κ 与手算用容差比较,未定义结果保留缺失标记。两份数组都来自复核员,即使列联表 API 参数名叫 y_true、y_pred,也没有因此获得真实标签。
汇总每份名单需要 次加法,字典和键校验需要 空间;矩阵本身只有四格,排序对照代码另需 。精确分数的位数可能随权重分母增大而增长,上述复杂度按基本算术次数计。扩大数据量时按复核员对和固定标签顺序分组聚合四格,保留原始键的审计账本,避免将多位复核员随意拼成一对。
06 裁决怎样改善参考标准,又会隐藏什么?#
对于 a、c、d,两份初判一致;案例 b 的初判为 0 与 1。裁决员应先独立检查原始凭证,再依据预定规则决定 或继续保留无法判定状态,并记录具体证据。若裁决为 1,第一人的意见被修正;若为 0,第二人的意见被修正。初始 始终保留。一致性报告使用初判,参考结果审计使用明确的 版本。
把两人答案都覆盖成裁决结果后再算 κ,会人为得到完全一致。仅复查分歧,也只能处理已暴露的冲突;两人一致的案例仍应有正概率接受额外独立复核,才能寻找共同错误。后者若用于估计总体错标,必须匹配它自己的抽样概率和证据协议。
一个极小反例足以说明识别问题:假设四人的真实状态为 [0,0,1,1],两位复核员都输出 [1,1,0,0]。两人的 ,两个边际均为 ,κ 为 1;相对真实状态的准确率却都是 0。相同观察到的两列初判,也可以出现在“他们完全正确”的另一个世界。仅靠两列一致性信息,无法判别哪个世界成立。
增加第三位复核员,取多数票,就能排除共同错误吗?
若三人都把“保存草稿”理解为“正式提交”,多数票仍把相同定义错误放大。新增复核员有助于发现个人失误,参考标准的有效性还需要独立证据、明确的操作定义和覆盖共同判定案例的验证。若某项结果根本没有可判定的客观真值,应把目标写成指定协议下的判定分布,明确记录合理分歧。
STARD 的方法说明 ↗强调参考标准、可获得信息及盲法的透明报告。迁移到模型审计时,可以据此记录参考员是否看见旧预测,以及裁决证据是否包含被评系统的输出。若用模型输出定义参考答案,再用同一参考答案评模型,会引入纳入偏倚(Incorporation Bias);独立证据和访问隔离需要在测量流程里落实。
| 现象 | 先打印或追溯什么 | 处理与解释 |
|---|---|---|
| 同一数据换个行顺序就变数 | 两路案例键、各自排序、缺失清单 | 按键连接再生成数组,拒绝错位和静默交集 |
| 总体与样本一致率差很多 | 渠道人数、配额、实际双标概率 | 对齐估计目标,用总双标入样概率构造权重 |
| 98% 一致却 κ 很低 | 四格、两个正类边际、 | 看清共同负类主导及稀有正类分歧 |
| 裁决后 κ 总是 1 | 是否改写初判、是否用 替换两路 | 初判与裁决列分开,按初判评价可重复性 |
| 某对复核员 κ 未定义 | 是否只出现一个共同类别 | 保留未定义;检查任务构成与随机覆盖 |
| κ 很高但独立凭证不符 | 证据同源性、协议定义、预测可见性 | 核查共同错误,随机验证一致案例 |
| 不同渠道 κ 无法直接比较 | 正类比例、难度、复核员对与版本 | 分层报表;对齐案例构成后再比较流程 |
多数票(Majority Vote)合并判定,κ 描述合并之前的两人一致性;二者都需要外部证据来说明正确性。敏感度(Sensitivity)和 特异度(Specificity) 要求一份可信真实状态或明确的错误模型,分别刻画真实正、负类的识别能力;κ 的输入没有真值,因而不能替代它们。连续测量应选与数值误差相符的方法,不能先随意二值化再声称 κ 已衡量全部测量质量。
最后把误差来源接回上一篇:分层杰克刀只在标签固定时模拟名单随机性;若计算 κ 的名单方差,需要在每份设计重复中重算整张表、两个边际和 κ,检查退化重复。若目标还包含更换复核员、重新测量或裁决的不确定性,就要另行设计复核员与案例的重复测量,不能把名单标准误扩大一个常数来替代。本篇四人例仅作机制验证,未给它附加具有可靠覆盖率的正态区间。
保存队列与证据快照、随机双标名单与概率、复核员身份、盲法访问日志、初判、理由、裁决及协议版本。表格可聚焦后用方向键横向滚动,两处自测可用 Enter 或空格展开,并继承网站深浅色主题。
思考练习#
- 不运行代码,计算四人例两路正类边际、两类特异一致率和 κ。把 b 的第二人判定从 1 改成 0,哪些量变化?若把全部权重同时乘 10 呢?
- 对比 与 :两者一致率均为 98%,手算 κ 与 。这能说明哪类案例值得额外排障?怎样让新增双标仍可代表总体?
- 三名复核员共享一套错误定义时,多数票与两两 κ 会怎样?设计一份保留初判、盲法访问和独立证据的验证方案,说明如何覆盖“所有人都同意”的案例,以及它与原名单方差的区别。
相关工作#
- Cohen (1960), A Coefficient of Agreement for Nominal Scales ↗:提出用边际参考一致率归一化的 κ,是本篇手算的原始来源。
- Feinstein & Cicchetti (1990), High Agreement but Low Kappa: I. The Problems of Two Paradoxes ↗:分析高观察一致率与低 κ 同时出现的边际问题,支持同时报告原始表与类别构成。
- Artstein & Poesio (2008), Inter-Coder Agreement for Computational Linguistics ↗:系统讨论标注一致性的假设、数据类型与系数选择,适合从二元任务扩展到真实标注工程。
- Cohen et al. (2016), STARD 2015 Guidelines for Reporting Diagnostic Accuracy Studies: Explanation and Elaboration ↗:解释参考标准、盲法和结果核验的透明报告,帮助区分可重复性与参考标准偏差。
下一篇预告#
双标流程能暴露分歧,独立验证才能进一步量化参考标签的错分。下一篇将从敏感度与特异度出发,推导观察到的正类比例怎样反演目标比例,并检查错误率接近不可识别边界时为什么校正会放大误差。