已知全队列分数,怎样改进随机复核?匹配辅助总量的校准加权
从代表人数与分数总量两条约束推导审计权重,用六人手算、负权重反例和精确穷举,解释校准加权与广义回归的关系,以及匹配总量为何不保证无偏或更精确。
上一篇分层金标准复核的差值权重让可疑渠道多查几人,再按总体占比合并。现在系统还保存了每个入口的连续模型分数。一次随机复核恰好抽到较多低分者,即使人数权重正确,加权样本的分数分布也可能偏离全队列。能否利用已经知道的分数总量,减少这部分偶然波动?
本篇讲校准加权(Calibration Weighting):从真实抽样权重出发,做尽量小的调整,使加权样本准确复现指定辅助总量。只推进四件事:约束怎样写、权重怎样解、它与回归校正怎样相连,以及约束什么时候导致负权重和更大的误差。下文的六人数据是合成教学总体,封面是装饰性隐喻,均不表示实证结果。
01 两个已知总量,给权重什么要求?#
目标仍是成熟固定队列中七日报名结果的参考均值 。参考标签 由统一证据协议独立复核;全队列有冻结的辅助分数 。它可以是旧模型的风险分数,也可以是审核前可用的档案特征。本篇的分数用任意“分”为单位,不要求它已是正确概率。
从完整队列简单随机、不放回抽样(Simple Random Sampling Without Replacement) 人,名单为 。每个人的入样概率是 ,初始设计权重(Design Weight)为 ,单位是“代表人数”。要求全部入选者取得有效参考标签;未响应应回到响应校正的设计,不能删除后重算 。
已知总体人数 和分数总量 。我们希望最终权重 满足
第一条复现人数,第二条复现分数总量。二者合起来也就复现平均分 。这是校准方程(Calibration Equations),没有使用尚未复核的 。总体分数总量必须由与抽样框完全相同的队列、时间边界和模型版本计算。
将 ,。样本矩阵 的每一行是 ,权重向量 ,所以约束为 。输出 是标量。
下表给出计算的数据流。表格可以在手机上横滑,键盘 Tab 聚焦后可用方向键滚动;全文沿用网站深浅主题。
| 阶段 | 输入与形状 | 输出与形状 | 冻结或检查什么 |
|---|---|---|---|
| 登记队列 | 唯一键与分数各 [N] | 两个标量 | 成熟窗、分数版本、完整覆盖 |
| 随机抽签 | 完整键 [N]、人数 | 名单 [n]、初始权重 [n] | 保存实际名单及入样概率 |
| 求校准权重 | 为 [n,2]、已知总量 [2] | 权重 [n]、约束残差 [2] | 不读取参考标签;检查秩与极端权重 |
| 独立复核并汇总 | 名单内参考标签 [n]、权重 [n] | 原始均值与校准均值两个标量 | 唯一键配对、全响应、保留诊断 |
人数和一个分数只是最小例子。若用 个层指示变量作辅助列,校准要求每层权重之和等于 ;层内设计权重相同时,得到上一篇的 。若再加入连续分数,就多了一条约束。保留全部层指示列时无需再加全 1 列,否则列间线性相关。辅助列越多,样本对它们的覆盖要求也越高。
02 怎样让调整尽量小?从目标函数推到线性方程#
匹配两个总量通常有很多组权重。选择与初始设计权重尽量接近的一组:
这是一种卡方距离(Chi-square Distance)校准。分母 让偏移按初始权重缩放;它不是在对标签拟合卡方检验。这里允许 为实数,尚未施加正值或上下界约束。
令 ,拉格朗日乘子 。对
求权重导数,得到 。代回约束:
是初始权重尚未匹配的总量差。只要 满列秩, 正定,目标严格凸,解唯一。实际代码求解线性方程;一般维数下不显式计算逆矩阵。
在本篇两列情形,记 、、,则
的单位为人数, 为人数乘分, 为人数乘分的平方; 无量纲, 的单位是分的倒数。 等价于样本分数存在变化。若样本分数全相同,两列无法分开识别;总体平均分又不等于该常数时,两条约束甚至无法同时满足。应返回诊断,执行事前约定的降维或追加抽样规则。
03 六人手算:校准的是辅助分数,结果均值仍会变化#
完整教学队列如下。参考标签只用于模拟复核服务与后续穷举,随机抽样器不读取它。
| 案例键 | 冻结分数 (分) | 完整参考结果 | 手算名单入选 | 初始 | 校准 |
|---|---|---|---|---|---|
| a | 0 | 0 | 是 | 2 | |
| b | 1 | 1 | 否 | — | — |
| c | 2 | 0 | 是 | 2 | |
| d | 3 | 0 | 否 | — | — |
| e | 4 | 1 | 是 | 2 | |
| f | 5 | 1 | 否 | — | — |
、、。取一次可能的名单 。初始权重已经复现人数 ,但分数总量只有 ,少了 3。因此
依次代入 ,就得到表中三个权重。检查两个总量:
三个已复核标签为 [0,0,1]。原始随机样本均值是 ;校准结果是
完整参考均值为 。这一次校准更接近真值;这个结论只描述当前名单,不能替代重复抽样比较。权重调高了高分案例,但“分数高就更可能报名”的关联究竟多强,仍由参考结果决定。
先手算:只抽到 a、b、c,匹配全队列平均分还能保留正权重吗?
三人的分数是 0、1、2,而全队列平均分为 。任何非负权重、权重和为 6 的组合,都只能产生位于 的加权平均分。因此非负精确匹配不可行。允许实权重的卡方解为 ,恰好匹配人数 6 和分数总量 15。它在代数上可行,却已在样本分数范围之外外推。
04 与回归校正的等价关系,为什么没有带来精确无偏?#
令 为样本参考标签,定义加权最小二乘系数
将权重解代入结果总量,利用 对称,得到
这就是广义回归估计(Generalized Regression Estimation, GREG)的形式:初始加权结果,加上“辅助总量缺口 × 样本回归关系”。在简单随机样本、含截距时,也可写作 。这个关系解释了效率来源:若分数能稳定解释结果,校准有机会消除一部分名单中的分数波动。Deville 与 Särndal 的原论文 ↗建立了距离最小化与回归估计的连接。
若完整总体恰满足 ,两条校准约束会让任何可解名单都精确还原结果总量。现实中的二元标签还有残差,这个特殊恒等式通常不成立。
更关键的是, 与辅助缺口来自同一随机名单。初始 Horvitz–Thompson 总量设计无偏,但两者乘积的期望一般不为零。因此,本篇的校准估计通常不具备有限样本精确设计无偏性。它的设计一致性与渐近近似还需要样本增大、权重受控、辅助维数和矩阵条件良好等条件。上一文固定系数差值法的精确无偏推导不能直接搬来。
把六人总体的 个名单全部穷举,结果如下。偏差和均方误差均对名单随机性计算,参考真值固定;均方误差(Mean Squared Error, MSE)为 。
| 规则 | 全部名单的估计平均 | 偏差 | 均方误差 |
|---|---|---|---|
| 原始随机样本均值 | 0 | ||
| 两总量卡方校准 |
所有 20 个名单都可解,但其中两份产生负权重。名单 的权重为 ,标签是 [0,1,1],结果为 。这说明匹配辅助总量既不保证二元结果估计留在 ,也不保证比初始均值更准。当前例子刻意保留这个失败结果,用于调试;它不评价某个真实模型的质量。
05 Python:先解权重,再连接参考标签#
下面只用 Python 标准库,直接展开二乘二线性系统,没有黑盒 fit。scores 是“案例键 → 冻结分数”的字典 [N],分数接受整数或 Fraction;n 是事前人数,chosen 为实际名单 [n]。calibrate 不接收标签,返回权重字典 [n] 与诊断;estimate 才接收恰好覆盖名单的二元参考标签字典 [n]。输入转换成字典前须检查原始行的主键唯一,避免覆盖重复记录。
冻结完整队列、人数、辅助分数版本和抽样人数
从稳定排序的全部案例键随机抽取,不读取参考标签
根据初始权重计算 A 和辅助总量缺口 r
若 A 不满秩,返回可定位的失败;否则解两维线性方程
保存权重、权重倍率和两项约束残差
按案例键连接全部入选参考标签,计算两个结果均值
在六人模拟器中枚举全部名单,比较偏差与均方误差textfrom fractions import Fraction as F
from itertools import combinations
from random import Random
def frame(scores, n):
if not isinstance(scores, dict) or not scores:
raise ValueError("冻结分数字典不能为空")
if any(not isinstance(i, str) or not i for i in scores):
raise ValueError("案例键须为非空字符串")
if any(type(z) is not int and not isinstance(z, F)
for z in scores.values()):
raise ValueError("教学分数须为整数或 Fraction")
if type(n) is not int or not 1 <= n <= len(scores):
raise ValueError("事前人数须为 1 到 N 的整数")
def draw(scores, n, seed):
frame(scores, n)
return sorted(Random(seed).sample(sorted(scores), k=n))
def calibrate(scores, n, chosen):
frame(scores, n)
if (not isinstance(chosen, (list, tuple)) or len(chosen) != n
or any(not isinstance(i, str) for i in chosen)
or len(set(chosen)) != n or not set(chosen) <= set(scores)):
raise ValueError("实际名单人数、唯一性或归属错误")
N, d = len(scores), F(len(scores), n)
a = d * n
b = d * sum(scores[i] for i in chosen)
c = d * sum(scores[i]**2 for i in chosen)
r0, r1 = F(N) - a, sum(scores.values()) - b
det = a * c - b * b
if det <= 0:
raise ValueError("样本辅助矩阵不满秩,执行事前降维或追加抽样规则")
l0, l1 = (c*r0 - b*r1)/det, (a*r1 - b*r0)/det
weights = {i: d * (1 + l0 + l1*scores[i]) for i in chosen}
residuals = (sum(weights.values()) - N,
sum(weights[i]*scores[i] for i in chosen) - sum(scores.values()))
assert residuals == (0, 0)
return weights, dict(residuals=residuals, det=det,
min_ratio=min(w/d for w in weights.values()),
max_ratio=max(w/d for w in weights.values()),
negative=sum(w < 0 for w in weights.values()))
def estimate(scores, n, chosen, gold):
weights, diagnostics = calibrate(scores, n, chosen)
if not isinstance(gold, dict) or set(gold) != set(chosen):
raise ValueError("参考标签须恰好覆盖实际名单,不能删去未响应者")
if any(type(y) is not int or y not in (0, 1) for y in gold.values()):
raise ValueError("参考标签须为整数 0 或 1")
raw = F(sum(gold.values()), n)
cal = sum(weights[i]*gold[i] for i in chosen) / len(scores)
return dict(raw=raw, calibrated=cal, weights=weights, diagnostics=diagnostics)
scores = dict(zip("abcdef", range(6)))
# 只模拟核验服务;真实抽样和校准函数从不接收完整 truth。
truth = dict(zip("abcdef", [0, 1, 0, 0, 1, 1]))
n = 3
chosen = draw(scores, n, seed=20261103)
print("random", chosen, estimate(scores, n, chosen, {i: truth[i] for i in chosen}))
hand = ["a", "c", "e"]
out = estimate(scores, n, hand, {i: truth[i] for i in hand})
assert list(out["weights"].values()) == [F(5, 4), F(2), F(11, 4)]
assert out["raw"] == F(1, 3) and out["calibrated"] == F(11, 24)
print("hand", out)
raws, cals, negative_samples = [], [], 0
for ids in combinations(sorted(scores), n):
out = estimate(scores, n, ids, {i: truth[i] for i in ids})
raws.append(out["raw"])
cals.append(out["calibrated"])
negative_samples += out["diagnostics"]["negative"] > 0
mu = F(sum(truth.values()), len(truth))
for name, values in [("raw", raws), ("calibrated", cals)]:
average = sum(values) / len(values)
mse = sum((v - mu)**2 for v in values) / len(values)
print(name, "design mean", average, "bias", average-mu,
"mse", mse, "decimal", float(mse))
assert sum(raws)/20 == mu == F(1, 2)
assert sum(cals)/20 == F(22821, 55328)
assert negative_samples == 2python代码会复现手算 、校准设计平均 与表中均方误差。字典中权重按实际名单顺序返回;计算时始终用键连接,不依赖接口返回顺序。负权重在教学实现中保留并返回诊断,以便重现失败;生产流程应按事前门槛标记“待检查”,同时保留原始设计估计,不能静默接受。
重要 API 已核对 Python 官方文档:Random.sample ↗从序列不放回抽取 k 项;Fraction ↗精确表示这里的有理数;combinations ↗枚举无序、不重复名单。本例无需机器学习库。生产重放应保存实际名单、运行版本及分数快照;跨版本仅保存种子不足以替代名单。
对两列输入,已知总量计算和验证约需 ,排序抽样框约需 ,校准汇总约需 ;代码保存完整框,空间为 。一般 列辅助矩阵构造约为 ,求解约为 。大量列不只增加算力,也可能让样本矩阵接近奇异。
06 用哪些诊断决定是否采用校准?#
两项约束残差接近零只能验证算术。采用校准还要检查样本覆盖、辅助变量的解释力和估计程序本身。
| 现象 | 首先读取的证据 | 处理方向 |
|---|---|---|
| 线性系统不可解 | 样本辅助列的秩,空渠道,重复指示列 | 事前删冗余列、合并合理类别或设计追加抽样 |
| 权重倍率 极端 | 总量缺口,样本分数范围,矩阵条件数 | 记录倍率分布、最小最大值;检查少数案例是否支配估计 |
| 人数对齐,分数却差一个量级 | 分数单位、模型版本、总量和均值是否混用 | 以一个案例逐项核算 |
| 加入更多变量后误差变大 | 独立历史审计中的误差,辅助维数与样本量 | 事前限定少量有解释力的列,比较完整分析程序 |
| 参考标签缺了几人 | 预约名单与回传状态 | 保留原始抽样概率,转入适用的未响应程序 |
| 裁剪负权重后约束失配 | 裁剪前后两项残差 | 若采用有界校准,应重新求解带边界的约束问题 |
浮点生产实现可先对分数中心化、缩放,再用稳定的线性求解器与秩诊断;目标总量要做相同变换。满秩时,这种可逆列变换不改变精确校准权重,但能改善数值条件。给 加上岭惩罚会改变线性方程,通常不再精确满足原约束,需把它作为另一个估计程序记录。
如果要求所有 ,已知总体平均分必须位于样本分数的凸包中;本篇单分数下就是样本最小值与最大值之间。加入严格上下界后,可行范围会进一步缩小。有界校准(Bounded Calibration)和迭代比例调整(Raking)采用不同约束或距离结构;不能先把当前解裁成正数,再宣称它仍是同一个最优解。匹配地区边际比例也不自动匹配“地区 × 风险”联合分布。
精度报告同样要跟随设计。样本中的 不是独立同分布观测,不能直接做普通标准误;校准后也不能原样套上一篇固定差值系数的方差公式。常见设计近似用拟合残差并纳入有限总体修正;复杂抽样可用与原设计匹配的重复权重方法,每个重复样本都重新执行校准。三人样本的回归残差自由度只有 1,正态区间很不稳定。本例只报告已知合成总体下精确枚举的误差,不从一份真实三人名单估计可靠覆盖率。
调试自测:把每个分数都乘 100,再把总体分数总量乘 100,权重会变吗?
精确算术下不变:分数约束只是整条等式同时乘 100。代码中替换分数后,应逐项得到相同权重。若仅改样本分数、忘记同步总量,结果会变;若两者同步仍明显变化,应检查浮点条件、求解容差和数据连接。
| 方法 | 固定或调整什么 | 需要区分的性质 |
|---|---|---|
| 随机设计加权 | 用真实 还原总体 | 正入样概率、全响应下的设计无偏基线 |
| 固定预测差值校正 | 已知总体预测加上加权残差,预测系数事前固定 | 系数固定时可用上一篇的精确无偏论证 |
| 本篇校准加权 | 调整权重,匹配已知辅助总量 | 与 GREG 等价;通常仅有条件下的渐近设计性质 |
| 分类概率校准(Probability Calibration) | 调整预测概率与实际频率的对应关系 | 评估模型概率;不负责让审计样本代表全队列 |
校准的收益应在独立历史审计或预先规定的模拟中比较,保留原始设计估计、辅助列版本、总量来源、求解诊断和完整规则。看完本轮标签后不断增删列、只报最有利的结果,会把方法选择也带进不确定性。参考测量本身系统性错误、抽样框遗漏人群或核验改变结果,都需要分别修复,辅助总量匹配无法替代这些条件。
思考练习#
- 用手算名单 a、c、e,验证两个权重约束和 。把所有分数变为 ,相应变换总量,证明并用代码验证权重不变。为什么截距列很关键?
- 用完整六人真值逐份重算 20 个名单,验证偏差与均方误差。再换成几个不同的二元总体,找一组校准明显更好的总体和一组更差的总体。辅助变量与结果的关联、负权重和样本覆盖各怎样影响结论?
- 对名单 d、e、f,把负权重裁成零,再将权重归一化到和为 6。人数约束还成立吗?分数约束还成立吗?若要求所有权重在初始权重的 倍之间,先判断是否可行,再决定求解器应返回什么状态。
相关工作#
- Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:以真实入样概率构造有限总体总量的设计估计,是这里初始权重的参照。
- Deville & Särndal (1992), Calibration Estimators in Survey Sampling ↗:以辅助总量约束和权重距离定义校准估计,连接广义回归与多种距离选择。
- Deville, Särndal & Sautory (1993), Generalized Raking Procedures in Survey Sampling ↗:把已知多维分类边际连接到广义比例调整,讨论权重、精度与计算。
- Angelopoulos et al. (2023), Prediction-Powered Inference ↗:用廉价预测和少量可信标签进行推断;理解预测与残差如何配合,也要按其样本设置解释区间保证。
下一篇预告#
本篇允许精确匹配产生负权重,并用完整名单保留它的后果。下一篇讨论有界校准:把权重上下限写进优化约束,先判断已知总量是否可行,再比较放宽约束、追加核验与保留设计基线三种处理方式。