审计权重设了上限,为何仍然无解?有界校准的可行性与约束求解
把权重倍率写进校准约束,用三人手算和精确 Python 求解器,区分可行性、边界最优解与事后裁剪,说明不可行时怎样保留设计基线并执行预定规则。
上一篇匹配辅助总量的校准加权让随机审计样本复现全队列人数和模型分数总量,却也产生了负权重。一条常见工程补丁是“把权重裁到安全范围,再归一化”。人数看似对齐了,分数总量却可能失配;归一化还可能把刚裁好的权重重新推过上限。
本篇讲有界校准(Bounded Calibration):把上下限直接写入优化问题。围绕四件事展开:定义边界、判断可行性、在可行集合中求最优解、把失败状态交给事前规则。沿用六人合成教学总体;封面只作装饰,精确数量以正文表格和代码为准。
01 上下限约束的是权重倍率,目标仍是固定队列均值#
队列共有 人,冻结分数 对全队列可得,参考结果 通过独立证据协议复核。目标为 。从完整抽样框简单随机、不放回抽取 人,名单为 ,真实入样概率 ,初始设计权重 。
本篇假定入选者全部完成复核;未响应须使用前文的响应处理设计。最后权重 的单位是“代表人数”,权重倍率(Weight Adjustment Factor) 无量纲。事前给定 ,要求 。例如 、、,实际权重范围就是 ,上限并非 人。
令 ,样本辅助矩阵 ,,其中 。有界卡方距离校准求解
这是带线性等式与盒约束的二次规划(Quadratic Programming)。二次目标严格凸;只要约束可行,就有唯一最优权重,包括落在边界上的解。它解决“在允许的范围内怎样匹配”,存在性还要单独检查。输出估计 是标量;求权重时不读取参考标签。
| 阶段 | 输入 | 输出 | 检查目的 |
|---|---|---|---|
| 冻结与抽签 | 全体键、分数各 [N],事前人数 | 实际名单 [n]、设计权重 [n] | 保存真实概率、分数版本与总量来源 |
| 可行性检查 | 为 [n,2],总量 [2],边界 [n,2] | 可行状态与可达总量范围 | 判断约束能否同时满足 |
| 距离最小化 | 同一份约束与设计权重 | 权重 [n]、残差 [2]、触边键 | 在可行集合中找唯一最优点 |
| 独立复核汇总 | 名单内标签 [n],求解结果 | 原始均值、校准均值或失败状态 | 按键连接,保留基线与诊断 |
表格可在手机上横滑,Tab 聚焦后可用方向键滚动;后文的展开题可用 Enter 或空格操作,颜色随网站深浅主题变化。
02 为什么先检查“够不够分”,再调用求解器?#
先看人数:必须有 。本篇等概率设计满足 ,且边界包含倍率 1,所以人数本身可行。再要求分数总量匹配,范围就缩小了。
仅要求 、 时,加权平均分只能位于样本分数最小值与最大值之间。这是凸包(Convex Hull)条件。一旦加入有限上限和正下限,即使目标平均分落在这个区间内,也仍可能不可行。
单个分数时,可精确求出人数约束下可达的最小、最大分数总量 。本篇所有设计权重相同,记实际下限 、上限 :先给每个人 ,剩余待分配人数为 ;每人还能接收 。把剩余人数优先给低分者,得到 ;优先给高分者,得到 。
为什么排序分配成立?若低分者还没到上限,高分者却持有可转移权重,把一小份权重从高分转向低分,人数不变,分数总量下降。重复交换就得到最小值;最大值同理。人数与盒约束的交集是凸集,线性映射到一个标量后是连续区间,因此
在这个单分数问题中既必要又充分。多列辅助变量时,各列分别落在自己的区间中只是必要条件:同一组权重可能无法同时实现各列目标,应检查完整线性约束的可行性。
沿用完整队列分数 [0,1,2,3,4,5],、。实际抽到分数 [0,2,4],;真实标签稍后才连接。
| 倍率范围 | 实际权重范围 | 剩余人数 | 实现最大分数总量的权重,按分数升序 | 目标 15 是否可达 | |
|---|---|---|---|---|---|
| 3 | 是, | ||||
| 3 | 否, |
两种边界下,目标平均分 都落在样本范围 中,第二种仍无解:高分案例的代表人数容量不够。增加优化迭代次数无法改变这项算术事实。关于先检查可行性、再处理约束冲突的系统讨论,可见 Espuny-Pujol 等的范围约束校准研究 ↗。
先算:如果只抽到分数 0、1、2,把上限一直放大能匹配平均分 2.5 吗?
非负权重下不能。任何权重和为 6 的组合,其平均分至多为 2;因此分数总量至多为 12。放大上限可以缓解容量限制,无法补上样本凸包之外的支持。若总体中存在高分者,应在保留真实抽样概率的前提下按预定设计追加抽样;也可按事前规则保留原始设计估计并报告本轮校准失败。
03 三人手算:最优点怎样移动到边界?#
对于 [0,2,4],令第三个人的权重为 。由人数与分数两条约束
直接消元,得到
。 单位是人数, 无量纲。等式约束把三维权重空间压成一条直线,边界再从直线上截出一段可行线段。
要求每个权重都在 ,将三对不等式相交可得 。目标函数沿直线为
无边界最小点为
是一元严格凸二次函数,故有界最优点是把 投影到可行区间:。代回后
分数为 4 的案例触到上限,这条边界成为活跃约束(Active Constraint)。人数检查为 ,分数检查为 。当对应参考标签为 [0,0,1],有界估计是 ;无界估计为 ,原始样本均值为 ,完整教学真值为 。本次有界估计比无界估计离真值更远,这是限制权重的一项具体代价。
| 处理规则 | 权重,按分数 0、2、4 排列 | 人数总量 | 分数总量 | 符合原边界 |
|---|---|---|---|---|
| 无界最优 | 6 | 15 | 否 | |
| 逐项裁剪到 | 是,但两条总量失配 | |||
| 裁剪后归一化到人数 6 | 6 | 否,末项约 2.667 超限 | ||
| 带边界重新求解 | 6 | 15 | 是 |
这里投影的是等式消元后的参数 ,投影区间来自全部权重约束。它与逐项裁剪原权重有不同的可行集合。一般高维问题应使用带等式和边界的二次规划求解器;本篇用一维消元把机制完整展示出来。
04 可运行 Python:可行性、求权重和标签汇总分开#
下面只依赖 Python 标准库,教学求解器固定抽取三人,且要求三人分数互异。完整框 scores 是“案例键 → 分数”的字典 [N];chosen 是真实随机名单 [3];L,U 是两个标量。bounded_three 返回状态、权重字典 [3]、可达范围和约束诊断,不接收标签。report 才连接恰好覆盖名单的二元标签字典 [3],返回原始均值与校准均值。
冻结完整分数、事前抽样人数、倍率边界和失败处理规则
随机抽三人,保存实际名单,不读取参考结果
先用下限加剩余容量,计算可达分数总量范围
目标不在范围内 → 返回 infeasible,保留原始设计基线
目标可达 → 等式消元,求 t 的可行区间与二次函数最小点
代回权重,检查两项残差、上下界及触边案例
按唯一键连接全部参考标签,分别计算原始与校准均值
在合成总体中枚举所有名单,评估包含失败处理的完整程序textfrom fractions import Fraction as F
from itertools import combinations
from random import Random
def rational(x):
if type(x) is not int and not isinstance(x, F):
raise ValueError("教学输入须为整数或 Fraction")
return F(x)
def span(z, N, lo, hi):
# 在人数约束下,先铺下限,再向低分/高分案例分配剩余容量。
remaining = N - len(z)*lo
if not 0 <= remaining <= len(z)*(hi-lo):
return None
def extreme(reverse):
rest, total = remaining, lo*sum(z)
for score in sorted(z, reverse=reverse):
extra = min(rest, hi-lo)
total += extra*score
rest -= extra
return total
return extreme(False), extreme(True)
def bounded_three(scores, chosen, L=F(1, 2), U=F(13, 10)):
if not isinstance(scores, dict) or len(scores) < 3:
raise ValueError("完整队列须至少三人")
if any(not isinstance(i, str) or not i for i in scores):
raise ValueError("案例键须为非空字符串")
scores = {i: rational(z) for i, z in scores.items()}
L, U = rational(L), rational(U)
if not 0 <= L <= 1 <= U:
raise ValueError("本例要求 0 <= L <= 1 <= U")
if (not isinstance(chosen, (list, tuple)) or len(chosen) != 3
or any(not isinstance(i, str) for i in chosen)
or len(set(chosen)) != 3 or not set(chosen) <= set(scores)):
raise ValueError("须恰有三个互异且在队列内的入选键")
ids = sorted(chosen, key=lambda i: (scores[i], i))
z = [scores[i] for i in ids]
if not z[0] < z[1] < z[2]:
raise ValueError("教学求解器仅处理三个互异分数;重复分数须另行约简")
N, T, d = F(len(scores)), sum(scores.values()), F(len(scores), 3)
lo, hi = L*d, U*d
attainable = span(z, N, lo, hi)
if attainable is None or not attainable[0] <= T <= attainable[1]:
return dict(status="infeasible", weights=None, attainable=attainable, target=T)
# 令第三个权重为 t,前两个权重由两条总量约束确定。
a0 = (N*z[1]-T)/(z[1]-z[0])
v0 = (z[2]-z[1])/(z[1]-z[0])
a, v = [a0, N-a0, F(0)], [v0, -1-v0, F(1)]
left, right = lo, hi # t 就是第三个权重。
for aj, vj in zip(a, v):
b0, b1 = (lo-aj)/vj, (hi-aj)/vj
left, right = max(left, min(b0, b1)), min(right, max(b0, b1))
assert left <= right
t0 = sum(vj*(d-aj) for aj, vj in zip(a, v))/sum(vj*vj for vj in v)
t = min(max(t0, left), right)
w = {i: aj+vj*t for i, aj, vj in zip(ids, a, v)}
residual = (sum(w.values())-N, sum(w[i]*scores[i] for i in ids)-T)
assert residual == (0, 0) and all(lo <= wi <= hi for wi in w.values())
return dict(status="optimal", weights=w, attainable=attainable, target=T,
t_interval=(left, right), t_unbounded=t0, t=t,
residual=residual, active=[i for i in ids if w[i] in (lo, hi)],
objective=sum((wi-d)**2/d for wi in w.values())/2)
def report(scores, chosen, gold, L=F(1, 2), U=F(13, 10)):
out = bounded_three(scores, chosen, L, U)
if not isinstance(gold, dict) or set(gold) != set(chosen):
raise ValueError("参考标签须恰好覆盖实际名单,不得丢弃未响应者")
if any(type(y) is not int or y not in (0, 1) for y in gold.values()):
raise ValueError("参考标签须为整数 0 或 1")
out["raw"] = F(sum(gold.values()), 3)
out["calibrated"] = (sum(out["weights"][i]*gold[i] for i in chosen)/len(scores)
if out["status"] == "optimal" else None)
return out
scores = dict(zip("abcdef", range(6)))
# 仅模拟档案服务;权重求解器和随机抽样器都不读取完整 truth。
truth = dict(zip("abcdef", [0, 1, 0, 0, 1, 1]))
chosen = sorted(Random(20261103).sample(sorted(scores), k=3))
print("random", chosen, report(scores, chosen, {i: truth[i] for i in chosen}))
hand = ["a", "c", "e"]
out = report(scores, hand, {i: truth[i] for i in hand})
assert list(out["weights"].values()) == [F(11, 10), F(23, 10), F(13, 5)]
assert out["t_interval"] == (F(5, 2), F(13, 5))
assert out["t_unbounded"] == F(11, 4) and out["calibrated"] == F(13, 30)
print("hand", out)
print("tight bounds", bounded_three(scores, hand, U=F(6, 5)))
assert bounded_three(scores, hand, U=F(6, 5))["status"] == "infeasible"
raw, policy, failures = [], [], 0
for ids in combinations(sorted(scores), 3):
out = report(scores, ids, {i: truth[i] for i in ids})
raw.append(out["raw"])
# 事前固定:可行时校准,不可行时报告原始基线;完整规则也要评估。
policy.append(out["raw"] if out["calibrated"] is None else out["calibrated"])
failures += out["status"] == "infeasible"
mu = F(sum(truth.values()), len(truth))
for name, values in [("raw", raw), ("predefined fallback", policy)]:
mean = sum(values)/len(values)
mse = sum((v-mu)**2 for v in values)/len(values)
print(name, "mean", mean, "bias", mean-mu, "mse", mse)
print("infeasible", failures, "of", len(policy))python代码中的 span 是单分数、人数约束下的精确可行性检查;t_unbounded 和 t_interval 直接对应上一节手算。权重按分数升序返回,标签始终按键相乘。输入进入字典前须检查原始记录主键唯一,防止重复键覆盖。教学函数明确拒绝重复分数和非有理输入;相同分数并不意味着一般校准无解,只意味着需要另行约简,超出了这个三人解析实现。
重要 API 已核对官方文档:Fraction ↗保存有理数,避免把容差问题混进可行性教学;Random.sample ↗从序列不放回抽取 k 项;combinations ↗枚举无序、不重复名单。没有引入机器学习库。生产要保存实际名单、运行版本、分数快照、边界配置及求解状态,种子用于辅助重放。
手算调用输出 calibrated=13/30、t_interval=(5/2,13/5)、active=['e']。把上限改成 6/5 会得到 status='infeasible'、weights=None,而不是伪造一组近似匹配权重。随机调用抽到 a、b、e 时也不可行,输出仍保留原始均值 。
本实现对完整框的验证、求和约需 ,稳定排序抽样框约需 ,三人求解为常数规模,存储为 。枚举六人的 20 份名单只是验证工具,不能随总体规模指数扩展。
05 不可行时,失败处理也是估计程序的一部分#
本例事前固定“可行则报告有界校准,不可行则采用原始设计均值”的规则。全部 份等概率名单中,有 10 份不可行。对同一固定教学真值,代码计算出:
| 事前完整规则 | 20 份名单上的估计平均 | 偏差 | 均方误差 |
|---|---|---|---|
| 始终用原始样本均值 | 0 | ||
| 可行时有界校准,否则用原始基线 |
均方误差(Mean Squared Error, MSE)是 ,期望只对名单抽签计算。这个合成总体中,完整规则略降均方误差,同时出现偏差。非负且归一化的权重让二元结果估计留在 ;它没有赋予有限样本设计无偏性,也没有保证其他总体中的误差更小。只保留可行名单再比较,会改变所条件化的抽样分布。
不可行时有三个可审计的处理方向。第一,保留原始设计基线并明确标记校准失败;固定基线本身保有原抽样设计的性质,但“有时校准、有时回退”的混合程序要整体评估。第二,按事前优先级放宽边界或允许辅助总量容差,保存新约束和实际残差;这改变了估计规则。第三,按预定随机设计追加核验,扩大支持或容量;新增样本必须按真实联合设计处理概率,不能把自适应补抽后的并集仍当作原来的等概率三人名单。追加样本也需要预算,并可能仍不可行。
触边意味着优化解对目标总量或边界变化的响应可能出现折点。普通独立同分布样本标准误不适用于加权审计;若采用与设计匹配的重复抽样方差程序,每次重复都须重跑可行性、校准及回退规则,并评估触边带来的非光滑性。本篇的 20 名单比较依赖完整合成真值,不替真实三人审计提供可靠置信区间。
06 怎样区分约束冲突、数值失败和数据错误?#
| 现象或方法 | 先读取什么 | 应怎样解释或处理 |
|---|---|---|
infeasible | 冻结总量、可达范围、实际上下限 | 精确约束互不兼容,执行预定规则 |
| 浮点求解器未收敛 | 可行性证据、秩、缩放、求解日志 | 数值失败不能直接改名为数学不可行 |
| 人数对齐而分数差一个量级 | 分数单位、模型版本、总体快照 | 对样本列和目标总量同步变换并逐项重算 |
| 很多案例都触边 | 目标距可达端点的距离、原始设计覆盖 | 记录触边率与最大倍率,检查是否过度依赖少量支持 |
| 直接裁剪权重 | 裁剪前后全部约束残差 | 通常破坏总量,归一化也可能重新超限 |
| 有界卡方校准 | 二次距离、显式盒约束 | 可行时有唯一解,可取到边界 |
| 迭代比例调整(Raking) | 分类辅助边际与选用的距离 | 使用乘法式调整;正权重不自动满足指定有限上限 |
| 软校准(Soft Calibration) | 偏离总量的惩罚与缩放参数 | 接受失配以换取稳定性,报告各项残差 |
浮点实现应同时检查求解状态、等式残差和边界违反量,并按人数、分数单位设置绝对及相对容差。样本分数中心化、缩放时,同步变换总体总量;靠近可达端点时尤其要保留可行性余量。不要用很大的容差掩盖真正冲突。
本篇采用显式边界加二次目标。另一类有界校准把限制写进距离函数,通过有界映射求拉格朗日乘子;目标刚好在端点时,某些光滑映射只能在乘子趋于无穷时逼近边界,数值表现与本篇允许取等号的二次规划不同。选择实现时须核对距离、开闭边界和返回状态。
边界应在查看本轮参考结果前固定,并在独立历史审计或预定模拟中比较。校准无法修复抽样框遗漏、无响应机制错误或参考标签系统性错标;这些问题分别属于覆盖、响应与测量设计。把辅助总量来源、约束版本、失败频率、原始估计和完整程序误差一起保存,才能判断权重限制是否解决了实际问题。
调试自测:所有分数变成 10+100z,哪些输入必须一起改变?
总体分数总量须变成 ;样本分数逐项同步变换,人数与权重倍率边界保持不变。由于人数约束仍在,可行集合和最优权重完全相同。用代码逐键比较权重与状态;若状态或权重改变,优先检查目标总量是否同步,再检查浮点精度与容差。
思考练习#
- 对
[0,2,4]推导全部三对边界不等式,验证 。令上限倍率为未知的 、下限仍为 ,求刚好可行的最小 ;此时权重是什么? - 重现裁剪、归一化与重新求解的三组结果。把所有分数仿射变换为 ,同步更新完整框,验证求解状态、权重与校准结果不变。为什么没有人数约束就不能直接沿用这个证明?
- 固定同一完整抽样框,枚举几组不同的二元真值,并重新计算完整回退程序的偏差与均方误差。找出有界规则误差更大的例子;解释为什么看见一次权重更平稳,不足以宣称推断更准确。
相关工作#
- Horvitz & Thompson (1952), A Generalization of Sampling Without Replacement from a Finite Universe ↗:以入样概率构造设计加权,是保留原始审计基线的基础。
- Deville & Särndal (1992), Calibration Estimators in Survey Sampling ↗:将辅助总量匹配和权重距离联系起来,建立校准估计框架。
- Deville, Särndal & Sautory (1993), Generalized Raking Procedures in Survey Sampling ↗:研究多边际匹配与广义比例调整,可与本篇显式二次规划对照。
- Espuny-Pujol, Morrissey & Williamson (2018), A Global Optimisation Approach to Range-Restricted Survey Calibration ↗:把范围约束与总量约束的可行性单独处理,并讨论有控制地放宽约束。
下一篇预告#
当辅助信息从一个连续分数变成“地区 × 风险档位”,边际比例往往已知,完整联合分布却未知。下一篇讨论迭代比例调整:怎样交替匹配多个分类边际,为什么各边际都对齐仍可能遗漏联合结构,以及空单元格会怎样阻止收敛。