地区与风险比例都要对齐,权重该怎样调?迭代比例调整的边际、关联与空单元格
用 2×2 手算表和可运行 Python,从熵距离推导行列交替缩放,解释为何必须同时检查全部边际,以及关联保留、空单元格和极端权重怎样限制审计估计。
上一篇有界校准的可行性与约束求解用人数和连续分数总量约束审计权重。现在辅助信息变成“地区 × 风险档位”:全队列中两个地区各占一半,低风险占三分之一、高风险占三分之二。一次随机复核名单的地区构成偏了。按地区校正后,原本正确的风险比例也可能失配;接着按风险校正,地区比例又可能偏回去。
本篇讲迭代比例调整(Raking),用迭代比例拟合(Iterative Proportional Fitting, IPF)交替匹配行列总量。围绕三个问题展开:乘法更新从哪里来、为什么要反复检查全部边际、哪些联合结构和空格会使结果失真或无解。数据均为合成教学数据,封面只作装饰。
01 已知的是边际,未知的是怎样共同分布#
冻结目标队列,共 人。地区 、风险档 在抽样前可得,0 表示低风险、1 表示高风险。参考结果 通过前文金标准协议取得,目标是全队列均值 。本篇假定入选者全部完成复核;未响应须另按响应与加强核验设计处理。
从完整框简单随机、不放回抽取 人,真实入样概率为 ,初始设计权重 ,单位为代表人数。下面是一次可能抽中的名单,括号内写案例键。
| 地区 | 样本低风险人数 | 样本高风险人数 | 样本合计 | 已知总体地区人数 |
|---|---|---|---|---|
| 0 | 1(a) | 1(b) | 2 | 6 |
| 1 | 1(c) | 3(d、e、f) | 4 | 6 |
| 合计 | 2 | 4 | 6 | 12 |
| 已知总体风险人数 | 4 | 8 | 12 | — |
边际总量(Marginal Total)是只沿一个分类汇总的人数; 联合单元格(Joint Cell)同时指定地区和风险。表中已知行目标 和列目标 ,并未给定四个总体联合人数。虽然该分类例子可以直接查全框联合表,本篇故意只使用两组边际,以展示只拿到边际汇总时所能恢复的信息。
令初始单元格总权重
是实际随机名单, 索引案例, 索引地区和风险。 不是样本计数表,而是计数乘以设计权重后的代表人数表。要求最后的 同时满足 、。个体权重按单元格内相同倍率恢复:当 时,。这让同格内原有设计权重之比保持不变。
| 阶段 | 输入与形状 | 输出与检查 |
|---|---|---|
| 冻结与抽样 | 全框分类 [N,2]、抽样设计、已知边际 [2] 与 [2] | 实际名单 [n]、入样概率 [n];全过程不看参考结果 |
| 聚合与拟合 | 名单分类 [n,2]、设计权重 [n] | 初始表 D[2,2]、拟合表 M[2,2]、全部边际残差 |
| 返回个体权重 | 案例键、分类、M/D | 键到权重 [n],单元格倍率必须一致 |
| 连接与估计 | 冻结权重、参考标签 [n] | ;标签键须恰好覆盖名单 |
02 为何是“目标除以当前值”的乘法?#
在 的正支持上,考虑广义相对熵距离(Generalized Relative Entropy)
满足上述行列总量,并固定 的格子仍为零。 为自然对数,比例无量纲; 的项按连续延拓解释。这个距离用初始设计表作为参照。若同格个体以共同倍率调整,个体熵距离求和也恰好聚合为这个单元格目标。
先只要求行总量。给第 行加乘子 ,对 求导:
同一行乘同一个正数。用行和等于 消去乘子,得到 。因此每次以当前表为参照,做行调整;再以调整后的表为参照,做列调整:
是完整行列循环编号, 是求和下标。一次循环的中间表记为 。最后一次更新精确满足列目标,行目标则须重查。正初始表与正且总数一致的边际下,这样循环会收敛到该熵距离的唯一最优表;有零格时还要核对支持兼容性,边界解可能只能渐近达到。收敛性质可参见 Fienberg 的原论文 ↗。
有限的正乘法能保持已占格子的正值,仍可能产生非常大的倍率。它与上一篇带显式上下界的二次校准使用不同距离,也没有自动继承权重上限。
03 两行两列手算:列对齐以后,行又偏了#
从 开始。行和是 4、8,目标均为 6,所以两行分别乘 和 ;得到 。此时列和为 、,再分别乘 和 。
| 阶段,单位均为人 | 地区 0:低、高 | 地区 1:低、高 | 行和 | 列和 |
|---|---|---|---|---|
| 设计表 | ||||
| 第一次行调整 | ||||
| 第一次列调整 | ||||
| 收敛表,四舍五入 |
初始表的风险边际恰好正确,第一次行调整又把它改坏。做完第一轮,列已恢复正确,行却各偏 人。只检查最近调整的那组,会过早停止。
在完整循环后记录
这是相对总人数的最大绝对失配,无量纲。第一次循环为 。代码要求 ,同时设置迭代上限。生产中应按业务可接受的人数误差设置容差,并保存逐轮残差;相邻表变化很小也可能只是停滞。
先预测:做完一次列调整后,列残差为零,就可以返回成功吗?
须同时重算行和。该例第一次循环的行和为 和 ,目标是 6、6。完整最大残差仍是 。在代码中设 max_iter=1 应得到 not_converged,不能只因列和正确就采用最终估计。
04 边际都正确,为什么联合分布仍然可能错?#
每次行或列缩放都保持正 2×2 表的交叉乘积比:
在计数表中,这个量也称优势比(Odds Ratio),描述地区与风险的关联。行列倍率在分子分母中恰好抵消。因此匹配边际时,IPF 继承的是初始表的这项关联结构。
所有满足本篇边际的非负表,都能写成
再加上优势比为 3,得到 ;在区间内的根为 。这是核对迭代结果的独立解析答案。若初始表四格相等,优势比为 1,得到的表则为 。两者的行列边际完全相同。
现在揭开一份只供教学核验的完整总体:真实联合人数恰是 ,只有“地区 0、低风险”格子的参考结果为 1,其余均为 0。上面的六人名单完全可能由简单随机抽样产生,其参考标签为 [1,0,0,0,0,0]。真实均值为 ,原始设计估计也恰为 ;本次比例调整估计却为
这次加权放大了样本中地区与风险的偶然关联,误差反而增加。该反例说明一次调整可以变差;它没有直接计算反复随机抽样的平均偏差。有限样本设计无偏性或均方误差收益,需要对完整估计程序另作设计分析或模拟。
若全队列参考结果恰能写成 ,则匹配两组边际可精确重现这个加性部分的总体总量。上例结果依赖地区与风险的交互,单独边际不能确定其总量。已知且可信的完整联合总量可用于分层权重,代价是更细格子的样本覆盖与稳定性要求。
05 Python:返回诊断,权重成功后再连接标签#
下面只用标准库。seed[2,2] 为初始总权重,rows[2] 和 cols[2] 为同一队列的正整数人数;函数固定二分类,方便精确检查零格支持。返回状态、拟合表、循环次数、相对残差及残差历史。推广到更多类别时,需要一般支持可行性检查和可扩展的分组求和。
冻结目标队列、分类版本、设计权重、边际来源与失败规则
聚合实际名单,保留初始零格
先检查目标总数及固定零格下的 2×2 可行区间
每轮:按行目标缩放 → 按列目标缩放 → 重算全部边际残差
成功才按单元格倍率恢复个体权重,并按案例键连接参考标签
失败则保存状态,按事前规则保留设计基线或调整审计设计textfrom math import fsum, isfinite, sqrt
def rake2x2(seed, rows, cols, tol=1e-10, max_iter=10000):
if (not isinstance(seed, (list, tuple)) or len(seed) != 2
or any(not isinstance(r, (list, tuple)) or len(r) != 2 for r in seed)):
raise ValueError("seed 须为 2×2 数值表")
if any(type(x) not in (int, float) or not isfinite(x) or x < 0
for r in seed for x in r):
raise ValueError("初始总权重须有限且非负")
for margin in (rows, cols):
if (not isinstance(margin, (list, tuple)) or len(margin) != 2
or any(type(x) is not int or x <= 0 for x in margin)):
raise ValueError("本教学实现要求每组两个正整数人数目标")
if sum(rows) != sum(cols):
raise ValueError("两组边际须来自同一队列,总人数相同")
if type(max_iter) is not int or max_iter <= 0:
raise ValueError("max_iter 须为正整数")
if type(tol) not in (int, float) or not isfinite(tol) or not 0 < tol < 1:
raise ValueError("tol 须在 (0,1) 内")
N = sum(rows)
# 令 a=M00。所有非负可行表均为 [[a,R0-a],[C0-a,R1-C0+a]]。
left, right = max(0, cols[0]-rows[1]), min(rows[0], cols[0])
required = [[0, rows[0]], [cols[0], cols[0]-rows[1]]]
for i in range(2):
for j in range(2):
if seed[i][j] == 0:
left, right = max(left, required[i][j]), min(right, required[i][j])
if left > right:
return dict(status="infeasible_support", table=None, cycles=0, residual=None)
w = [[float(x) for x in r] for r in seed]
history = []
try:
for cycle in range(1, max_iter+1):
for i in range(2):
factor = rows[i]/fsum(w[i])
w[i] = [x*factor for x in w[i]]
for j in range(2):
factor = cols[j]/fsum(w[i][j] for i in range(2))
for i in range(2):
w[i][j] *= factor
if any(not isfinite(w[i][j]) or (seed[i][j] > 0 and w[i][j] == 0)
for i in range(2) for j in range(2)):
raise ArithmeticError("溢出或正支持下溢")
residual = max(
[abs(fsum(w[i])-rows[i]) for i in range(2)] +
[abs(fsum(w[i][j] for i in range(2))-cols[j]) for j in range(2)]
)/N
history.append(residual)
if residual <= tol:
return dict(status="converged", table=w, cycles=cycle,
residual=residual, history=history)
except (ArithmeticError, ValueError):
return dict(status="numeric_failure", table=None, cycles=cycle,
residual=None, history=history)
return dict(status="not_converged", table=w, cycles=max_iter,
residual=residual, history=history)
# 六名实际入选者,键在进入字典前已检查唯一;简单随机抽六人,N=12。
chosen = [("a",0,0), ("b",0,1), ("c",1,0),
("d",1,1), ("e",1,1), ("f",1,1)]
d = 12/len(chosen)
seed = [[0.0,0.0],[0.0,0.0]]
for key, i, j in chosen:
seed[i][j] += d
out = rake2x2(seed, [6,6], [4,8])
assert out["status"] == "converged", out
M = out["table"]
weights = {key: d*M[i][j]/seed[i][j] for key, i, j in chosen}
# 权重冻结后,才按同一个案例键连接独立参考标签。
gold = dict(zip("abcdef", [1,0,0,0,0,0]))
assert set(weights) == set(gold)
assert all(type(y) is int and y in (0,1) for y in gold.values())
estimate = fsum(weights[k]*gold[k] for k in weights)/12
print("seed", seed, "table", M)
print("cycles", out["cycles"], "residual", out["residual"])
print("weights", weights, "estimate", estimate)
a = 8-2*sqrt(7)
assert abs(M[0][0]-a) < 2e-8
assert abs(estimate-a/12) < 2e-9
print("diagonal", rake2x2([[2,0],[0,2]], [6,6], [4,8]))
print("one cycle", rake2x2(seed, [6,6], [4,8], max_iter=1)["status"])python实跑约 8 轮达到 residual=4.27e-11,输出 estimate=0.2257081148。a、b、c 的权重分别约为 2.70850、3.29150、1.29150;d、e、f 共享最后一格约 4.70850 的总权重,各为 1.56950。把单元格总权重错误地重复赋给这三人,会凭空多造代表人数。输出小数的最后几位可能受平台舍入影响。
重要 API 已核对 Python 官方数学文档 ↗:math.fsum 累加浮点数,减少普通顺序求和的舍入损失;math.isfinite 检查有限值,拒绝非数和无穷输入。参考标签校验示范要求二元整数且与名单键相同;生产数据在建立字典前还须拒绝重复键,并核对分类缺失、快照版本和实际入样概率。没有引入机器学习库,也没有训练预测模型;这里的迭代在拟合权重,参考标签仅在最后汇总时使用。
聚合及恢复个体权重是 ,本例每轮只访问四格,保存 轮残差需 空间。一般 稠密表每轮约 ;多个高基数分类交叉时,显式存完整联合表可能昂贵,可以按个体记录依次做边际分组更新。
06 空单元格:缺少支持与数值未收敛怎样分开?#
抽样零格(Sampling Zero)是总体可能有人、这次却未抽到; 结构零格(Structural Zero) 是业务定义使某组合根本不可能。对乘法更新而言,两者的初始零值都会一直为零,但处理办法不同。
先看 ,目标仍为行 6、6、列 4、8。两个地区和风险类别都有人,却只有对角支持。行约束迫使两格都是 6,列约束迫使它们是 4、8,彼此冲突。直接循环会反复在两个表之间切换;正边际本身不足以保证可行。
代码用上一节的 检查全部非负表。先求 ,再由每个零格补充一个固定等式。例如 要求 , 要求 。本例需要 又要 ,区间为空,因此可以明确返回 infeasible_support。
单个空格也可能可行,例如初始表 [[0,1],[1,1]] 与本篇边际可得到 [[0,6],[4,2]]。成功匹配仍不会为第一格创造可复核的人或参考标签。给抽样零格加一个很小的伪计数,确实改变了数学支持,却无法凭空生成真实案例和结果;如果要插补,就需要公开额外模型及其不确定性。结构零格则应保留,并先核对目标边际是否遵循同一业务定义。
| 现象或方法 | 读什么诊断 | 怎样处理或理解 |
|---|---|---|
| 两组目标总数不同 | 队列标识、截止时间、单位、缺失类别 | 修复来源;勿静默归一化互相矛盾的目标 |
infeasible_support | 精确零格约束与可行区间 | 支持冲突;执行预定基线、合理合并或按已知设计追加随机核验 |
not_converged | 所有边际残差、循环上限、支持是否在边界 | 已通过此处可行性检查;排查慢收敛,不能改名为数学无解 |
numeric_failure | 非有限值、正支持下溢、尺度 | 改善缩放或用对数参数实现,保留失败日志 |
| 权重极大 | 最大倍率、权重分布、重复设计评估 | 正权重仍会不稳定;若要求有限上下限,应重新定义有界问题 |
| 比例调整 | 分类边际、初始设计表、熵距离 | 匹配边际并保留初始关联,不恢复未知联合真值 |
| 联合后分层(Post-stratification) | 完整联合总量与每格覆盖 | 直接匹配联合格;对稀疏格支持要求更高 |
| 预测概率校准(Probability Calibration) | 预测概率与观测频率 | 调整预测含义;本篇调整的是代表人数权重 |
生产中保存边际来源版本、类别编码、初始设计权重、最大倍率、完整残差和采用状态。权重边界或失败规则须在看本轮结果前固定。把失败名单丢掉再报告“成功样本”的精度,会改变所评价的程序;按预定规则校准或回退的完整流程需要整体验证。
加权结果的不确定性仍来自原始抽样设计与标签取得过程。需要设计匹配的线性化或重复权重方法;每次重复应重跑同样的校准与失败规则,记录不收敛频率。普通独立同分布均值标准误忽略了设计和拟合权重。比例调整也无法修复抽样框遗漏、错误参考标签,或同格内与结果有关且未处理的响应选择。
调试自测:把所有初始设计权重同时乘 7,目标边际保持不变,最后表应怎样变?
在可行且收敛到同一精度时,最后表应保持不变。固定总人数下,把参照表乘常数只给熵目标增加与可行表无关的项;第一轮行缩放也会消去该常数。恢复个体权重时,个体设计权重与对应初始单元格总权重都须乘 7,最终权重才相同。这是校验单元格到案例接口的有效测试。
思考练习#
- 手算第一次行列循环,验证最大相对残差为 。推导交叉乘积比保持不变,并用可行区间选出 ;解释另一个代数根为什么无效。
- 分别运行
[[0,1],[1,1]]和[[1,0],[0,1]],目标均为行[6,6]、列[4,8]。先用 的区间判断可行性,再比较状态。为什么每个单独类别都有样本仍不够? - 固定正文完整总体和六人简单随机设计,枚举 份名单,预定“可行且收敛则比例调整,否则用设计估计”的完整规则。分别报告失败率、设计偏差和均方误差;再让结果只依赖地区,比较边际校准的收益怎样改变。
相关工作#
- Deming & Stephan (1940), On a Least Squares Adjustment of a Sampled Frequency Table When the Expected Marginal Totals Are Known ↗:早期行列比例迭代的来源;历史标题中的最小二乘不表示本篇熵解就是一般卡方距离解。
- Fienberg (1970), An Iterative Procedure for Estimation in Contingency Tables ↗:讨论迭代比例拟合的几何与收敛,是理解关联结构的经典工作。
- Deville & Särndal (1992), Calibration Estimators in Survey Sampling ↗:把设计权重、辅助总量与距离最小化联系起来。
- Deville, Särndal & Sautory (1993), Generalized Raking Procedures in Survey Sampling ↗:将比例调整扩展到调查校准,连接权重、计算与精度。
下一篇预告#
边际已匹配,权重却由样本决定;同一份参考标签,直接套普通均值标准误会漏掉哪些随机性?下一篇讨论校准审计的重复权重方差:如何按原设计重抽、每轮重新校准,以及怎样保留失败和回退分支。