观文听傑

返回

档案卡片配上不同大小的黄铜砝码,背景参考柱彼此对齐,象征用已知辅助总量调整复核权重的装饰性插画档案卡片配上不同大小的黄铜砝码,背景参考柱彼此对齐,象征用已知辅助总量调整复核权重的装饰性插画

上一篇分层金标准复核的差值权重让可疑渠道多查几人,再按总体占比合并。现在系统还保存了每个入口的连续模型分数。一次随机复核恰好抽到较多低分者,即使人数权重正确,加权样本的分数分布也可能偏离全队列。能否利用已经知道的分数总量,减少这部分偶然波动?

本篇讲校准加权(Calibration Weighting):从真实抽样权重出发,做尽量小的调整,使加权样本准确复现指定辅助总量。只推进四件事:约束怎样写、权重怎样解、它与回归校正怎样相连,以及约束什么时候导致负权重和更大的误差。下文的六人数据是合成教学总体,封面是装饰性隐喻,均不表示实证结果。

01 两个已知总量,给权重什么要求?#

目标仍是成熟固定队列中七日报名结果的参考均值 μ=N−1∑i=1NYi\mu=N^{-1}\sum_{i=1}^NY_i。参考标签 Yi∈{0,1}Y_i\in\{0,1\} 由统一证据协议独立复核;全队列有冻结的辅助分数 zi∈Rz_i\in\mathbb R。它可以是旧模型的风险分数,也可以是审核前可用的档案特征。本篇的分数用任意“分”为单位,不要求它已是正确概率。

从完整队列简单随机、不放回抽样(Simple Random Sampling Without Replacement) nn 人,名单为 ss。每个人的入样概率是 πi=n/N\pi_i=n/N,初始设计权重(Design Weight)为 di=1/πi=N/nd_i=1/\pi_i=N/n,单位是“代表人数”。要求全部入选者取得有效参考标签;未响应应回到响应校正的设计,不能删除后重算 nn。

已知总体人数 NN 和分数总量 Tz=∑i=1NziT_z=\sum_{i=1}^Nz_i。我们希望最终权重 wiw_i 满足

∑i∈swi=N,∑i∈swizi=Tz.\sum_{i\in s}w_i=N,\qquad \sum_{i\in s}w_iz_i=T_z.

第一条复现人数,第二条复现分数总量。二者合起来也就复现平均分 Tz/NT_z/N。这是校准方程(Calibration Equations),没有使用尚未复核的 YiY_i。总体分数总量必须由与抽样框完全相同的队列、时间边界和模型版本计算。

将 xi=(1,zi)⊤∈R2\boldsymbol x_i=(1,z_i)^\top\in\mathbb R^2,tx=(N,Tz)⊤∈R2\boldsymbol t_x=(N,T_z)^\top\in\mathbb R^2。样本矩阵 Xs∈Rn×2X_s\in\mathbb R^{n\times2} 的每一行是 xi⊤\boldsymbol x_i^\top,权重向量 w∈Rn\boldsymbol w\in\mathbb R^n,所以约束为 Xs⊤w=txX_s^\top\boldsymbol w=\boldsymbol t_x。输出 μ^cal=N−1∑swiYi\widehat\mu_{cal}=N^{-1}\sum_sw_iY_i 是标量。

下表给出计算的数据流。表格可以在手机上横滑,键盘 Tab 聚焦后可用方向键滚动;全文沿用网站深浅主题。

阶段输入与形状输出与形状冻结或检查什么
登记队列唯一键与分数各 [N]N,TzN,T_z 两个标量成熟窗、分数版本、完整覆盖
随机抽签完整键 [N]、人数 nn名单 [n]、初始权重 [n]保存实际名单及入样概率
求校准权重XsX_s 为 [n,2]、已知总量 [2]权重 [n]、约束残差 [2]不读取参考标签;检查秩与极端权重
独立复核并汇总名单内参考标签 [n]、权重 [n]原始均值与校准均值两个标量唯一键配对、全响应、保留诊断

人数和一个分数只是最小例子。若用 HH 个层指示变量作辅助列,校准要求每层权重之和等于 NhN_h;层内设计权重相同时,得到上一篇的 Nh/mhN_h/m_h。若再加入连续分数,就多了一条约束。保留全部层指示列时无需再加全 1 列,否则列间线性相关。辅助列越多,样本对它们的覆盖要求也越高。

02 怎样让调整尽量小?从目标函数推到线性方程#

匹配两个总量通常有很多组权重。选择与初始设计权重尽量接近的一组:

min⁡w 12∑i∈s(wi−di)2di,Xs⊤w=tx.\min_{\boldsymbol w}\ \frac12\sum_{i\in s}\frac{(w_i-d_i)^2}{d_i}, \qquad X_s^\top\boldsymbol w=\boldsymbol t_x.

这是一种卡方距离(Chi-square Distance)校准。分母 di>0d_i>0 让偏移按初始权重缩放;它不是在对标签拟合卡方检验。这里允许 wiw_i 为实数,尚未施加正值或上下界约束。

令 D=diag⁡(di)∈Rn×nD=\operatorname{diag}(d_i)\in\mathbb R^{n\times n},拉格朗日乘子 λ∈R2\boldsymbol\lambda\in\mathbb R^2。对

L=12(w−d)⊤D−1(w−d)−λ⊤(Xs⊤w−tx)L=\frac12(\boldsymbol w-\boldsymbol d)^\top D^{-1}(\boldsymbol w-\boldsymbol d) -\boldsymbol\lambda^\top(X_s^\top\boldsymbol w-\boldsymbol t_x)

求权重导数,得到 D−1(w−d)=XsλD^{-1}(\boldsymbol w-\boldsymbol d)=X_s\boldsymbol\lambda。代回约束:

Aλ=r,A=Xs⊤DXs∈R2×2,r=tx−Xs⊤d∈R2,A\boldsymbol\lambda=\boldsymbol r,\qquad A=X_s^\top D X_s\in\mathbb R^{2\times2},\qquad \boldsymbol r=\boldsymbol t_x-X_s^\top\boldsymbol d\in\mathbb R^2, wi=di(1+xi⊤λ).w_i=d_i(1+\boldsymbol x_i^\top\boldsymbol\lambda).

r\boldsymbol r 是初始权重尚未匹配的总量差。只要 XsX_s 满列秩,AA 正定,目标严格凸,解唯一。实际代码求解线性方程;一般维数下不显式计算逆矩阵。

在本篇两列情形,记 a=∑sdia=\sum_sd_i、b=∑sdizib=\sum_sd_iz_i、c=∑sdizi2c=\sum_sd_iz_i^2,则

A=(abbc),r=(N−aTz−b),Δ=ac−b2.A=\begin{pmatrix}a&b\\b&c\end{pmatrix},\quad \boldsymbol r=\begin{pmatrix}N-a\\T_z-b\end{pmatrix},\quad \Delta=ac-b^2.

aa 的单位为人数,bb 为人数乘分,cc 为人数乘分的平方;λ0\lambda_0 无量纲,λ1\lambda_1 的单位是分的倒数。Δ>0\Delta>0 等价于样本分数存在变化。若样本分数全相同,两列无法分开识别;总体平均分又不等于该常数时,两条约束甚至无法同时满足。应返回诊断,执行事前约定的降维或追加抽样规则。

03 六人手算:校准的是辅助分数,结果均值仍会变化#

完整教学队列如下。参考标签只用于模拟复核服务与后续穷举,随机抽样器不读取它。

案例键冻结分数 ziz_i(分)完整参考结果 YiY_i手算名单入选初始 did_i校准 wiw_i
a00是25/45/4
b11否——
c20是222
d30否——
e41是211/411/4
f51否——

N=6N=6、n=3n=3、Tz=15T_z=15。取一次可能的名单 s={a,c,e}s=\{a,c,e\}。初始权重已经复现人数 2+2+2=62+2+2=6,但分数总量只有 2(0+2+4)=122(0+2+4)=12,少了 3。因此

A=(6121240),r=(03),λ=(−3/83/16).A=\begin{pmatrix}6&12\\12&40\end{pmatrix},\qquad \boldsymbol r=\begin{pmatrix}0\\3\end{pmatrix},\qquad \boldsymbol\lambda=\begin{pmatrix}-3/8\\3/16\end{pmatrix}.

依次代入 wi=2(1−3/8+3zi/16)w_i=2(1-3/8+3z_i/16),就得到表中三个权重。检查两个总量:

54+2+114=6,0×54+2×2+4×114=15.\frac54+2+\frac{11}4=6,\qquad 0\times\frac54+2\times2+4\times\frac{11}4=15.

三个已复核标签为 [0,0,1]。原始随机样本均值是 1/31/3;校准结果是

μ^cal=(5/4)0+2×0+(11/4)16=1124.\widehat\mu_{cal}=\frac{(5/4)0+2\times0+(11/4)1}{6}=\frac{11}{24}.

完整参考均值为 3/6=1/23/6=1/2。这一次校准更接近真值;这个结论只描述当前名单,不能替代重复抽样比较。权重调高了高分案例,但“分数高就更可能报名”的关联究竟多强,仍由参考结果决定。

先手算:只抽到 a、b、c,匹配全队列平均分还能保留正权重吗?

三人的分数是 0、1、2,而全队列平均分为 15/6=2.515/6=2.5。任何非负权重、权重和为 6 的组合,都只能产生位于 [0,2][0,2] 的加权平均分。因此非负精确匹配不可行。允许实权重的卡方解为 [−5/2,2,13/2][-5/2,2,13/2],恰好匹配人数 6 和分数总量 15。它在代数上可行,却已在样本分数范围之外外推。

04 与回归校正的等价关系,为什么没有带来精确无偏?#

令 Ys∈Rn\boldsymbol Y_s\in\mathbb R^n 为样本参考标签,定义加权最小二乘系数

β^=A−1Xs⊤DYs∈R2.\widehat{\boldsymbol\beta} =A^{-1}X_s^\top D\boldsymbol Y_s\in\mathbb R^2.

将权重解代入结果总量,利用 AA 对称,得到

Nμ^cal=∑sdiYi+(tx−∑sdixi)⊤β^.N\widehat\mu_{cal} =\sum_sd_iY_i+ \left(\boldsymbol t_x-\sum_sd_i\boldsymbol x_i\right)^\top \widehat{\boldsymbol\beta}.

这就是广义回归估计(Generalized Regression Estimation, GREG)的形式:初始加权结果,加上“辅助总量缺口 × 样本回归关系”。在简单随机样本、含截距时,也可写作 Y‾s+(Tz/N−z‾s)β^1\overline Y_s+(T_z/N-\overline z_s)\widehat\beta_1。这个关系解释了效率来源:若分数能稳定解释结果,校准有机会消除一部分名单中的分数波动。Deville 与 Särndal 的原论文 ↗建立了距离最小化与回归估计的连接。

若完整总体恰满足 Yi=xi⊤βY_i=\boldsymbol x_i^\top\boldsymbol\beta,两条校准约束会让任何可解名单都精确还原结果总量。现实中的二元标签还有残差,这个特殊恒等式通常不成立。

更关键的是,β^\widehat{\boldsymbol\beta} 与辅助缺口来自同一随机名单。初始 Horvitz–Thompson 总量设计无偏,但两者乘积的期望一般不为零。因此,本篇的校准估计通常不具备有限样本精确设计无偏性。它的设计一致性与渐近近似还需要样本增大、权重受控、辅助维数和矩阵条件良好等条件。上一文固定系数差值法的精确无偏推导不能直接搬来。

把六人总体的 (63)=20\binom63=20 个名单全部穷举,结果如下。偏差和均方误差均对名单随机性计算,参考真值固定;均方误差(Mean Squared Error, MSE)为 Es[(μ^−μ)2]E_s[(\widehat\mu-\mu)^2]。

规则全部名单的估计平均偏差均方误差
原始随机样本均值1/21/201/20=0.0500001/20=0.050000
两总量卡方校准22821/55328≈0.41246722821/55328\approx0.412467−4843/55328≈−0.087533-4843/55328\approx-0.0875333296262113/34438360320≈0.0957153296262113/34438360320\approx0.095715

所有 20 个名单都可解,但其中两份产生负权重。名单 {d,e,f}\{d,e,f\} 的权重为 [13/2,2,−5/2][13/2,2,-5/2],标签是 [0,1,1],结果为 −1/12-1/12。这说明匹配辅助总量既不保证二元结果估计留在 [0,1][0,1],也不保证比初始均值更准。当前例子刻意保留这个失败结果,用于调试;它不评价某个真实模型的质量。

05 Python:先解权重,再连接参考标签#

下面只用 Python 标准库,直接展开二乘二线性系统,没有黑盒 fit。scores 是“案例键 → 冻结分数”的字典 [N],分数接受整数或 Fraction;n 是事前人数,chosen 为实际名单 [n]。calibrate 不接收标签,返回权重字典 [n] 与诊断;estimate 才接收恰好覆盖名单的二元参考标签字典 [n]。输入转换成字典前须检查原始行的主键唯一,避免覆盖重复记录。

冻结完整队列、人数、辅助分数版本和抽样人数
从稳定排序的全部案例键随机抽取,不读取参考标签
根据初始权重计算 A 和辅助总量缺口 r
若 A 不满秩,返回可定位的失败;否则解两维线性方程
保存权重、权重倍率和两项约束残差
按案例键连接全部入选参考标签,计算两个结果均值
在六人模拟器中枚举全部名单,比较偏差与均方误差
text

代码会复现手算 11/2411/24、校准设计平均 22821/5532822821/55328 与表中均方误差。字典中权重按实际名单顺序返回;计算时始终用键连接,不依赖接口返回顺序。负权重在教学实现中保留并返回诊断,以便重现失败;生产流程应按事前门槛标记“待检查”,同时保留原始设计估计,不能静默接受。

重要 API 已核对 Python 官方文档:Random.sample ↗从序列不放回抽取 k 项;Fraction ↗精确表示这里的有理数;combinations ↗枚举无序、不重复名单。本例无需机器学习库。生产重放应保存实际名单、运行版本及分数快照;跨版本仅保存种子不足以替代名单。

对两列输入,已知总量计算和验证约需 O(N)O(N),排序抽样框约需 O(Nlog⁡N)O(N\log N),校准汇总约需 O(n)O(n);代码保存完整框,空间为 O(N+n)O(N+n)。一般 pp 列辅助矩阵构造约为 O(np2)O(np^2),求解约为 O(p3)O(p^3)。大量列不只增加算力,也可能让样本矩阵接近奇异。

06 用哪些诊断决定是否采用校准?#

两项约束残差接近零只能验证算术。采用校准还要检查样本覆盖、辅助变量的解释力和估计程序本身。

现象首先读取的证据处理方向
线性系统不可解样本辅助列的秩,空渠道,重复指示列事前删冗余列、合并合理类别或设计追加抽样
权重倍率 gi=wi/dig_i=w_i/d_i 极端总量缺口,样本分数范围,矩阵条件数记录倍率分布、最小最大值;检查少数案例是否支配估计
人数对齐,分数却差一个量级分数单位、模型版本、总量和均值是否混用以一个案例逐项核算 wiziw_iz_i
加入更多变量后误差变大独立历史审计中的误差,辅助维数与样本量事前限定少量有解释力的列,比较完整分析程序
参考标签缺了几人预约名单与回传状态保留原始抽样概率,转入适用的未响应程序
裁剪负权重后约束失配裁剪前后两项残差若采用有界校准,应重新求解带边界的约束问题

浮点生产实现可先对分数中心化、缩放,再用稳定的线性求解器与秩诊断;目标总量要做相同变换。满秩时,这种可逆列变换不改变精确校准权重,但能改善数值条件。给 AA 加上岭惩罚会改变线性方程,通常不再精确满足原约束,需把它作为另一个估计程序记录。

如果要求所有 wi≥0w_i\ge0,已知总体平均分必须位于样本分数的凸包中;本篇单分数下就是样本最小值与最大值之间。加入严格上下界后,可行范围会进一步缩小。有界校准(Bounded Calibration)和迭代比例调整(Raking)采用不同约束或距离结构;不能先把当前解裁成正数,再宣称它仍是同一个最优解。匹配地区边际比例也不自动匹配“地区 × 风险”联合分布。

精度报告同样要跟随设计。样本中的 wiYiw_iY_i 不是独立同分布观测,不能直接做普通标准误;校准后也不能原样套上一篇固定差值系数的方差公式。常见设计近似用拟合残差并纳入有限总体修正;复杂抽样可用与原设计匹配的重复权重方法,每个重复样本都重新执行校准。三人样本的回归残差自由度只有 1,正态区间很不稳定。本例只报告已知合成总体下精确枚举的误差,不从一份真实三人名单估计可靠覆盖率。

调试自测:把每个分数都乘 100,再把总体分数总量乘 100,权重会变吗?

精确算术下不变:分数约束只是整条等式同时乘 100。代码中替换分数后,应逐项得到相同权重。若仅改样本分数、忘记同步总量,结果会变;若两者同步仍明显变化,应检查浮点条件、求解容差和数据连接。

方法固定或调整什么需要区分的性质
随机设计加权用真实 1/πi1/\pi_i 还原总体正入样概率、全响应下的设计无偏基线
固定预测差值校正已知总体预测加上加权残差,预测系数事前固定系数固定时可用上一篇的精确无偏论证
本篇校准加权调整权重,匹配已知辅助总量与 GREG 等价;通常仅有条件下的渐近设计性质
分类概率校准(Probability Calibration)调整预测概率与实际频率的对应关系评估模型概率;不负责让审计样本代表全队列

校准的收益应在独立历史审计或预先规定的模拟中比较,保留原始设计估计、辅助列版本、总量来源、求解诊断和完整规则。看完本轮标签后不断增删列、只报最有利的结果,会把方法选择也带进不确定性。参考测量本身系统性错误、抽样框遗漏人群或核验改变结果,都需要分别修复,辅助总量匹配无法替代这些条件。

思考练习#

  1. 用手算名单 a、c、e,验证两个权重约束和 11/2411/24。把所有分数变为 10+100zi10+100z_i,相应变换总量,证明并用代码验证权重不变。为什么截距列很关键?
  2. 用完整六人真值逐份重算 20 个名单,验证偏差与均方误差。再换成几个不同的二元总体,找一组校准明显更好的总体和一组更差的总体。辅助变量与结果的关联、负权重和样本覆盖各怎样影响结论?
  3. 对名单 d、e、f,把负权重裁成零,再将权重归一化到和为 6。人数约束还成立吗?分数约束还成立吗?若要求所有权重在初始权重的 [1/2,2][1/2,2] 倍之间,先判断是否可行,再决定求解器应返回什么状态。

相关工作#

  1. Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:以真实入样概率构造有限总体总量的设计估计,是这里初始权重的参照。
  2. Deville & Särndal (1992), Calibration Estimators in Survey Sampling ↗:以辅助总量约束和权重距离定义校准估计,连接广义回归与多种距离选择。
  3. Deville, Särndal & Sautory (1993), Generalized Raking Procedures in Survey Sampling ↗:把已知多维分类边际连接到广义比例调整,讨论权重、精度与计算。
  4. Angelopoulos et al. (2023), Prediction-Powered Inference ↗:用廉价预测和少量可信标签进行推断;理解预测与残差如何配合,也要按其样本设置解释区间保证。

下一篇预告#

本篇允许精确匹配产生负权重,并用完整名单保留它的后果。下一篇讨论有界校准:把权重上下限写进优化约束,先判断已知总量是否可行,再比较放宽约束、追加核验与保留设计基线三种处理方式。

已知全队列分数,怎样改进随机复核?匹配辅助总量的校准加权
https://zwjcode.cn/blog/calibration-audit-weights-known-totals
作者 傑
发布于 2026年11月3日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。