观文听傑

返回

两组大小不同的档案中抽出少量卡片独立复核,再按各自代表的人群汇入同一容器,象征分层审计的设计权重两组大小不同的档案中抽出少量卡片独立复核,再按各自代表的人群汇入同一容器,象征分层审计的设计权重

上一篇用随机金标准复核校正标签均值,从整队列等概率抽人。现在某个小渠道频繁把“保存草稿”记成“正式报名”,审计员想多查这个渠道。这个选择合理,但复核样本的人群比例已经变了:可疑渠道占总体十分之一、占样本一半时,直接平均样本差值会把它的影响放大。

本篇讲分层差值估计(Stratified Difference Estimation):先固定层和层内随机配额,再用各层的总体占比合并净错标。只推进四个紧密相连的问题:权重从哪里来、方差怎样相加、按旧标签分层后差值法还剩什么收益,以及怎样把设计写成可审计的程序。

01 先决定每个案例属于哪里,再看参考结果#

设成熟固定队列有 NN 人,旧标签 Y~i∈{0,1}\widetilde Y_i\in\{0,1\} 完整可得,1 表示决策后七日内正式报名。参考标签 Yi∈{0,1}Y_i\in\{0,1\} 来自上一篇的独立证据协议:统一时间边界、盲判旧标签、记录凭证和争议裁决。目标仍是同一队列的参考结果均值 μ=N−1∑iYi\mu=N^{-1}\sum_iY_i,本篇不训练新分类器。

在看本轮参考标签前,用“旧标签 × 档案渠道”给每人分配唯一的层(Stratum) h(i)∈{1,…,H}h(i)\in\{1,\ldots,H\}。各层互斥且覆盖全部队列;非空层人数为 NhN_h,总体占比为 Wh=Nh/NW_h=N_h/N。每层独立执行简单随机、不放回抽样(Simple Random Sampling Without Replacement),预先固定人数 mhm_h,实际名单为 shs_h。

层内每人的入样概率 πi=mh/Nh\pi_i=m_h/N_h。非空层必须有 1≤mh≤Nh1\le m_h\le N_h;本篇要求入选者全部取得有效参考标签。未响应不能删去后用成功人数改写原配额,应回到未响应校正或随机加强追访的设计。

下表是数据处理顺序,也是接口契约。窄屏可横向滑动表格,键盘可按 Tab 聚焦后用左右方向键查看。输入列中的方括号表示一维数组长度;标签和均值均无量纲。

阶段输入与形状输出与形状此时允许读取的信息
冻结抽样框案例键、旧标签、层号各 [N]每层完整键 [N_h]、占比 [H]旧账本、旧模型和渠道版本
固定配额并抽签人数 [H]、配额 [H]、随机种子实际名单总长 [M],M=∑hmhM=\sum_hm_h抽样器不读取参考结果
独立复核并配对实际名单 [M]、参考标签 [M]配对差值 [M],Di=Yi−Y~iD_i=Y_i-\widetilde Y_i只接收名单内标签,按案例键连接
还原总体旧均值、占比 [H]、各层差值校正均值、方差估计两个标量使用冻结的 Nh,mhN_h,m_h,保留未完成状态

可疑层可以多抽,层内仍要抽签。只挑冲突案例会让其余案例概率为零;事后按参考结果重新定义层,则无法沿用这份事前概率表。空的“旧标签 × 渠道”组合不创建层,未知渠道也须在抽签前按固定规则归入一个有覆盖的层。

02 为什么是总体占比,而不是样本占比?#

旧均值 μ~=N−1∑iY~i\widetilde\mu=N^{-1}\sum_i\widetilde Y_i 已知。第 hh 层完整差值均值记为 D‾h\overline D_h,样本差值均值记为 D‾sh=mh−1∑i∈shDi\overline D_{s_h}=m_h^{-1}\sum_{i\in s_h}D_i。完整总体有恒等式

μ=μ~+∑h=1HWhD‾h.\mu=\widetilde\mu+\sum_{h=1}^HW_h\overline D_h.

每层的样本均值估计自己的层均值,于是

μ^SD=μ~+∑hNhND‾sh=1N[∑iY~i+∑hNhmh∑i∈shDi].\widehat\mu_{SD} =\widetilde\mu+\sum_h\frac{N_h}{N}\overline D_{s_h} =\frac1N\left[\sum_i\widetilde Y_i+ \sum_h\frac{N_h}{m_h}\sum_{i\in s_h}D_i\right].

Nh/mh=1/πiN_h/m_h=1/\pi_i 是一个入选者代表的总体人数;WhW_h 是这一整层在队列中的占比。这两个量用途不同:对差值总和乘扩张人数,对差值均值乘总体占比。两者择一表示即可,不能重复加权。

固定队列与所有潜在参考结果,只对名单抽签取期望,则 Es(D‾sh)=D‾hE_s(\overline D_{s_h})=\overline D_h,因此 Es(μ^SD)=μE_s(\widehat\mu_{SD})=\mu。这就是设计无偏性(Design Unbiasedness),不需要假设各渠道错误率相同。

若把全部复核差值合起来直接平均,实际使用的是 qh=mh/Mq_h=m_h/M:

μ^pool=μ~+∑hqhD‾sh,Es(μ^pool)−μ=∑h(qh−Wh)D‾h.\widehat\mu_{pool}=\widetilde\mu+\sum_hq_h\overline D_{s_h}, \qquad E_s(\widehat\mu_{pool})-\mu=\sum_h(q_h-W_h)\overline D_h.

这是可检查的偏差来源。按人数比例抽样时 qh=Whq_h=W_h,两种合并恰好相同;不等比例时,只有特殊的差值结构会让偏差抵消。

03 八人手算:一半样本不能代表一半总体#

以下是合成教学数据。A 是旧标签为 1 的两人层,B 是旧标签为 0 的六人层;可进一步按渠道拆层。A 全查两人,B 随机查两人。

层完整案例键旧标签完整参考标签,仅供教学验证NhN_hmhm_hWhW_hNh/mhN_h/m_h
AA1、A2[1,1][1,0]221/41/41
BB1 至 B6[0,0,0,0,0,0][1,0,0,0,0,0]623/43/43

旧均值为 2/8=1/42/8=1/4,真实参考均值也是 2/8=1/42/8=1/4:一处假阳性与一处假阴性恰好抵消。这里的真值只用于模拟核验服务,抽样器看不到它。

假设实际名单是 A1、A2、B1、B2。A 差值为 [0,-1],均值 −1/2-1/2;B 为 [1,0],均值 1/21/2。正确的校正值为

μ^SD=14+14(−12)+34(12)=12.\widehat\mu_{SD}=\frac14+\frac14\left(-\frac12\right) +\frac34\left(\frac12\right)=\frac12.

未经加权的平均差值恰好是零,得到 1/41/4,这一次反而更接近真值。评价估计规则应看所有可能随机名单,而不是挑一次幸运结果。

B 有 (62)=15\binom62=15 份等概率名单:5 份包含 B1,10 份不包含。A 是普查,没有名单变化。

B 的随机结果名单数与概率B 样本差值均值正确分层校正直接合并差值直接平均参考样本
含 B15 份,1/31/31/21/21/21/21/41/41/21/2
不含 B110 份,2/32/301/81/801/41/4
重复抽样平均全部 15 份1/61/61/41/41/121/121/31/3

正确分层法的期望为 (1/3)(1/2)+(2/3)(1/8)=1/4(1/3)(1/2)+(2/3)(1/8)=1/4。直接合并差值把 A 的权重从 1/41/4 提高到 1/21/2,更重地计入了负差值,因而平均降到 1/121/12。直接平均参考标签则估计了样本构成下的均值,平均为 1/31/3。

先算再展开:每个 B 样本代表三人,为什么 A 不也乘三?

A 已经普查,一个人只代表自己。正确的参考成功总量估计是 A 中 1 人加上 B 中 3×13\times1 人,再除以总体 8,得到 1/21/2。给所有样本相同权重,会把两层不同的入样概率抹掉。

04 方差逐层计算;按旧标签分层还会改变方法关系#

记第 hh 层完整差值的有限总体方差为

SD,h2=1Nh−1∑i∈h(Di−D‾h)2.S_{D,h}^2=\frac1{N_h-1}\sum_{i\in h}(D_i-\overline D_h)^2.

层间抽样独立,所以方差不含跨层协方差:

Var⁡s(μ^SD)=∑hWh2(1−mhNh)SD,h2mh.\operatorname{Var}_s(\widehat\mu_{SD}) =\sum_hW_h^2\left(1-\frac{m_h}{N_h}\right)\frac{S_{D,h}^2}{m_h}.

把 SD,h2S_{D,h}^2 换成实际样本方差 sD,h2s_{D,h}^2,得到设计无偏的方差估计 V^\widehat V。1−mh/Nh1-m_h/N_h 是有限总体修正(Finite Population Correction)。普查层的贡献直接为零,单人普查也如此;非普查层 mh=1m_h=1 时均值可估,样本方差不可得,应返回明确状态。

八人例 A 为普查;B 的完整差值方差为 1/61/6。故

V=(34)2(1−26)1/62=132.V=\left(\frac34\right)^2\left(1-\frac26\right)\frac{1/6}{2}=\frac1{32}.

抽到 B1 时,B 样本差值方差为 1/21/2,返回 V^=3/32\widehat V=3/32;没抽到时返回零。15 份名单平均的方差估计为 1/321/32。本次零方差估计只能说明样本差值一致,不能证明没有错标。这里报告抽样方差;四人样本不支持把正态近似区间当成可靠的覆盖保证。

还有一个容易忽略的等价关系。若按“旧标签 × 渠道”分层,每层旧标签都是同一个常数 chc_h,那么

μ~=∑hWhch,D‾sh=Y‾sh−ch,μ^SD=∑hWhY‾sh.\widetilde\mu=\sum_hW_hc_h,\qquad \overline D_{s_h}=\overline Y_{s_h}-c_h, \qquad \widehat\mu_{SD}=\sum_hW_h\overline Y_{s_h}.

也就是说,分层差值估计恰好等于按总体占比加权的参考样本均值,且层内 SD,h2=SY,h2S_{D,h}^2=S_{Y,h}^2。差值表示法便于追踪净错标;它不会在同一份旧标签分层设计之上额外降低方差。若只按渠道分层、层内旧标签仍有变化,差值法与直接分层参考均值才可能有不同方差;效率比较看的是层内残差变异。

方法合并规则在当前设计中的性质
直接合并差值用 mh/Mm_h/M 合并各层差值均值不等比例抽样时通常有偏
分层差值校正旧均值加 ∑hWhD‾sh\sum_hW_h\overline D_{s_h}层内随机、全响应下设计无偏
分层参考均值∑hWhY‾sh\sum_hW_h\overline Y_{s_h}设计无偏;旧标签层内恒定时与差值法完全相同
主动学习(Active Learning)选训练标签按学习目标挑例,再更新模型优化预测;当前审计估计冻结队列的总体量

05 可运行 Python:抽样函数不能读取参考真值#

代码仅使用 Python 标准库。输入 proxy 是案例键到旧标签的字典 [N],stratum 是同一组键到层名的字典 [N],quota 是层名到预定人数的字典 [H]。draw 输出分层实际名单;estimate 另接参考标签字典 [M],输出校正均值、方差估计、各层设计权重和加权参考均值。

核对完整键、二元旧标签、互斥层和每层正配额
按固定层顺序,从各层完整键独立不放回抽样
保存实际名单;参考服务只复核这些键
拒绝跨层名单、重复键、名单外标签和未返回标签
逐层计算平均差值与有限总体修正方差
按冻结总体占比合并;保留均值与精度的不同状态
text

最后输出 design mean 1/4 variance 1/32 pooled mean 1/12。随机一次的结果可能不同;手算名单仅用作计算核验,真实审计使用抽样器保存的实际名单。variance_hat=None 表示至少一层非普查且只抽一人,整个方差估计不可得,均值仍可计算。

已核对官方文档:Random.sample ↗的 k 是不放回抽样人数,输入须为序列;Fraction ↗精确表示有理数;combinations ↗枚举无序、不重复名单。本例未引入持续更新的机器学习库。固定种子服务于教学重放,生产应保存实际名单、Python 版本与随机状态,而不是只保存种子。

除穷举外,冻结框的排序约需 O(Nlog⁡N)O(N\log N) 时间,汇总约需 O(N+M)O(N+M) 时间、O(N+M)O(N+M) 存储。示例使用字典,因此原始数据进入字典前须先验证主键唯一,防止重复行被静默覆盖。函数能检查名单归属,不能从一份手选名单证明抽样过程随机;实际概率要由抽样服务及其日志保证。

06 上线前用哪张表定位问题?#

现象先检查的证据修正方向
多查小渠道后总体结果剧烈变化合并时用的是 WhW_h 还是 mh/Mm_h/M同时报出总体人数、配额、实际权重与净差值
差值贡献放大了两次是否对平均差值再乘 Nh/mhN_h/m_h均值用总体占比,总和用扩张人数
某层净差值方向反常案例配对与标签版本用一例旧 1、参考 0 核对差值为负
配额两人,却只收到一人预约名单与返回状态保留原配额;补齐测量或采用未响应设计
抽样后渠道归属又变了抽样框版本、历史渠道记录按冻结归属估计,新版本另建审计
看似完整,仍有一批人无覆盖未知渠道、异常状态是否被排除让每个目标案例进入一个正概率层
参考员与旧标签几乎完全一致复核员是否看见旧判断、证据是否同源独立盲判并复核协议自身的测量质量

配额可以使用抽签前的独立历史试点;若借用成本约束分配的思路,本篇要规划的是层内差值方差 SD,h2S_{D,h}^2,不是照搬加强追访的两阶段权重。按旧标签分层时,差值方差才与参考标签方差相同。大量稀疏小层会消耗最低覆盖预算,应事前规定合层规则;看完本轮参考标签再合层、再挑估计器,会改变分析程序。

这里的方差只描述随机复核名单的波动。参考协议若系统性错标,估计会校正到该协议定义的均值;核验若改变用户行为,就需要把它作为干预重新设计。估计目标是固定队列结果水平,策略效果仍需先前的随机分配或混杂识别条件。若仅按渠道分层、旧标签层内变化,线性差值估计也可能落出 [0,1][0,1],应保留原始值并排查设计,事后截断会改变其无偏性;旧标签层内恒定时,它等于加权二元参考均值,天然位于 [0,1][0,1]。

调试自测:把所有旧标签改成参考标签的反值,分层差值法一定比直接参考均值更差吗?

先看分层规则。若每层旧标签恒定,两者逐份名单完全相等,谈不上额外变差。若只按渠道分层、层内旧标签有变化,差值的波动可能变大,才需要比较两种估计的设计方差。应以独立试点事前固定规则,并保存本轮所有入样概率。

思考练习#

  1. 八人例把配额改成 A 抽 1 人、B 抽 3 人。推导正确均值、直接合并差值的设计期望,并穷举所有名单验证。哪一层使方差估计返回 None?它是否破坏均值的无偏性?
  2. 把八人分成两个渠道层,每层各含旧 0 和旧 1,先自行指定一个完整参考总体。计算每层 SD,h2S_{D,h}^2 与 SY,h2S_{Y,h}^2,比较差值法和分层参考均值的真实设计方差。为什么结论可能与旧标签分层时不同?
  3. 某非普查层两份复核都没有发现错误。构造两个与这份观测一致、却具有不同未复核真值的完整总体。它们的真实设计方差各是多少?零样本方差为什么无法区分它们?

相关工作#

  1. Neyman (1934), On the Two Different Aspects of the Representative Method: The Method of Stratified Sampling and the Method of Purposive Selection ↗:分层随机抽样与精度分析的经典工作,说明事前分层和主观挑例的区别。
  2. Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:以入样概率还原有限总体量;本篇对配对差值使用这项设计原则。
  3. Deville & Särndal (1992), Calibration Estimators in Survey Sampling ↗:研究让加权样本匹配已知辅助总量的校准估计。以层指示变量校准,可连接本篇的 Nh/mhN_h/m_h 权重;广义校准还可利用更多辅助变量。
  4. Angelopoulos et al. (2023), Prediction-Powered Inference ↗:用大量廉价预测与有限可信测量进行统计推断,连接预测基线与残差校正。其样本设置和覆盖结论须与这里固定队列的设计方差分开使用。

下一篇预告#

本篇用分层权重让随机复核样本准确代表各层人数。若还知道全队列的连续模型分数、地区比例等辅助总量,能否让审计权重同时匹配这些信息?下一篇讨论校准加权如何写成约束问题,以及过多约束和极端权重何时让精度变差。

多查可疑标签,怎样仍代表全队列?分层金标准复核的差值权重
https://zwjcode.cn/blog/stratified-gold-audit-difference-weights
作者 傑
发布于 2026年11月2日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。