六个区间怎样合成一份 95% 结论?联合置信盒与错分差距投影
用 Hoeffding 界为两组观测比例、敏感度和特异度分配同一份错误预算,再将联合置信盒映射为真实比例差距区间,解释有限样本覆盖、弱通道和约束放松。
上一篇差异性错分的方向稳健性固定两组观测比例,问错误机制差多少会翻转方向。实际审计中,观测比例、敏感度和特异度都来自样本。若把六个单独的 95% 区间贴在一起,再宣称“差距有 95% 把握为正”,这份保证从哪里来?
本篇讲透一个机制:先用同一份错误预算同时覆盖六个概率,再把整个区域投影到真实差距。 三个相连环节是联合覆盖、保留错分方程的投影,以及失败状态的解释。所有计数和区间都是合成教学设定,封面仅作装饰。
01 六路证据,为什么只能花一份错误预算?#
组别 ,真实结果 ,参考标签 。定义真实正类比例 、参考正类比例 、敏感度(Sensitivity)、特异度(Specificity)。假正率为 ,通道区分度 。目标是比例差 ,单位为比例;乘 100 后为百分点。
每组有三路计数。目标样本数 ,其中 个参考标签为 1;另从可信真值已知的正类中取 人,有 人参考判正;从真负类取 人,有 人参考判负。三种二元成功指标的期望分别为 。各路内部独立同分布(Independent and Identically Distributed),人数在看结果前固定,参考协议与模型版本冻结,验证错误率适用于同组目标人群。真值由独立可信证据确定,不能拿参考标签自己证明自己。
下面用六路分开的抽样实验讲解。联合覆盖的并集证明不要求六路之间独立,但每个边际概率界仍要有自己的抽样依据。重复用户、门店簇、复杂设计权重或按结果追访,不能直接冒充独立二项计数。若参考标签已经是固定队列的全量记录,条件于该快照的 可以已知;本篇代码对应重新抽取目标案例的总体推断。
参数向量 形状为 [6]。代码输入把它组织成“组、证据路、成功数/总数”,形状 [2,3,2];估计比例是 [2,3],上下端点组成置信盒 [2,3,2],最后输出差距端点 [2]。
设希望总体错误概率不超过 。若每路区间漏掉真参数的概率都不超过 ,由并集界(Union Bound),六路至少一路漏掉的概率满足
因此乘积区域 至少以 的频率同时包含真实参数。这是联合置信区域(Joint Confidence Region);矩形形式也称联合置信盒。每路都用 95% 时,并集界只能给出至少 70% 的共同覆盖下界;即便恰好独立且每路恰有 95% 覆盖,乘积也仅为 。
等分预算是一种分析前确定的简单设计。也可预先为不同证据分配 ,只要 。看完哪一路“最碍事”再重分预算,需要额外校正选择过程。
02 用有界观测构造有限样本区间#
对一条成功数为 、人数为 的二元证据流,样本均值为 。**Hoeffding 不等式(Hoeffding’s Inequality)**给出
令右侧为边际错误预算 ,解得半径
这里 是自然对数; 是该路人数,不能用六路人数的总和。区间与已知参数空间 [0,1] 求交不会丢掉合法真参数。零错误计数仍有正半径,避免“验证集全对,所以错误率已知为零”的误读。代价是它没有利用二项方差,通常比专门的二项区间宽。
这一构造在假设满足时给出有限样本覆盖下界,无需正态近似。前面的一阶误差传播用局部梯度和方差换取紧凑解释;这里以更保守的区域换取直接可证明的覆盖。有限样本有效不代表能修复错误率迁移失败或参考真值偏差。
| 阶段 | 输入与形状 | 核心操作 | 输出与检查 |
|---|---|---|---|
| 聚合 | 六路二元记录,各 [n_j] | 各自统计成功数和人数 | 计数 [2,3,2],保留成功定义 |
| 同时覆盖 | 计数、总预算 | 每路分配 并求半径 | 六个区间,联合覆盖至少 |
| 机制求交 | 置信盒、 | 保留概率范围与正向错分方程 | 每组真实比例可行范围 |
| 差距投影 | 两组可行范围 | 同一合法世界中求 | 差距区间、兼容性和弱通道状态 |
03 怎样投影,并且知道端点来自什么世界?#
先处理一组。设 、、,转换为 。保留
本篇解析程序要求整个盒都满足 ,所以任何候选通道都正向且分母远离零。若该条件不成立,程序报告 weak_channel 并退回全部概率范围,不在可能变号的分母上套公式。
当盒内存在合法世界时, 必须落在某个 内,因此兼容条件是 且 。这也是充分条件:率框允许的整体 范围为 ,与观测区间有交即可。通过后,精确的单组投影端点为
为什么这样挑角点?在 的合法区域, 随 增大而增大,随 或 增大而减小。若 ,下端点由 达到;若 ,兼容条件保证可选 ,于是最小值为 0。上端点同理:当 ,取 ;否则可取 达到 1。中间比例也可实现,因为固定 时可产生的 区间为 ,它与 相交恰给出上述两个不等式。
两组都通过后,若允许两组错误机制各自变化,则
这里每个组内仍完整保留了错分方程;两组之间没有共享率或容差限制,所以各组选出的端点可在同一个联合世界实现,区间是这个矩形模型的精确投影。
若要继续施加上一篇的组间容差,或更早的共享通道假设,就要把这些约束也放进联合优化。 当前程序放松了这类跨组限制,其结果仍是有效外包区间,但可能偏宽。上一篇的失稳容差 0.1 不能直接从这里的区间端点读出;独立的两组极值未必遵守同一组容差。
覆盖为何会传到差距?在事件 上,真实的 满足真实错分方程,所以其差必然属于投影。故
这是一条重复抽样覆盖论证,不能解释为“看到当前区间后,固定真参数有 95% 概率落在其中”。若对区域增加结构约束,覆盖还要求这些结构假设确实成立。
04 手算:点差为正,区间为什么仍跨零?#
先给六个简单区间练习投影,暂不声称这些手填端点具有某个置信水平:
| 组别 | 范围 | 范围 | 范围 | 推得的真实比例范围 |
|---|---|---|---|---|
| A | ||||
| B |
共同假正率框为 。例如 A 的下端点是 ;B 的上端点是 。差距投影为
下端点世界可明确写出:A 取 ,B 取 。各自重放 成立,差为 。两组的敏感度和假正率各差 ;若外加更小容差,这个世界就会被排除,说明跨组约束确实会改变投影。
再从计数生成真正有覆盖依据的区域。六路各取 10000 人,A 三路成功数依次为 4000、8000、9000,B 为 3000、8000、9000。每路用 ,半径为 ;投影得到约 ,即 A 高出约 4.83 至 23.75 个百分点的区间。
人数 10000 是每路的分母,六路共 60000 个记录;这些记录只是透明演示,不能当作普遍样本量建议。用相同点比例但更少样本,区间可能重新跨零;当前观测方向与统计方向保证是两件事。
两组验证比例恰好相同,能否自动把它们当成共享通道?
不能。有限样本比例相同仍允许不同真参数。共享模型需要机制依据,或在分析设计中明确承担该假设。本篇允许两套真实率,因此投影时 A、B 可以各取不同端点;若共享确实成立,联合投影会把相同参数绑定起来,再求极值。
05 Python:从六路计数到带诊断的差距区间#
把下面完整代码保存为 fixed.py,使用 Python 3.12 或更新版本运行 python3 fixed.py。它只用标准库;math.log、sqrt、isfinite 的官方语义 ↗分别对应自然对数、非负平方根和有限数检查。hoeffding 构造每路区间;project_group 是上一节公式;project_gap 合并两组。没有模型训练步骤:这里冻结预测模型,用审计计数推断其结果差距。
校验 [2,3,2] 计数与总体预算
六路各用 alpha/6 构造 Hoeffding 区间
每组检查整个率框是否正向,再检查观测与机制兼容性
满足解析条件:求真实比例范围,再做差距投影
其余情形:保留具体组诊断,返回 [-1,1] 和无信息状态textfrom math import isfinite, log, sqrt
def budget(value):
if type(value) not in (int, float) or not isfinite(value) or not 0 < value < 1:
raise ValueError("error budget must be a finite number in (0, 1)")
return float(value)
def count_pair(pair):
if not isinstance(pair, (tuple, list)) or len(pair) != 2:
raise ValueError("expected (successes, total)")
k, n = pair
if type(k) is not int or type(n) is not int or n <= 0 or not 0 <= k <= n:
raise ValueError("need integer 0 <= successes <= total and total > 0")
return k, n
def hoeffding(pair, error):
k, n = count_pair(pair)
error = budget(error)
radius = sqrt((log(2) - log(error)) / (2 * n))
return max(0.0, k / n - radius), min(1.0, k / n + radius)
def interval(pair):
if not isinstance(pair, (tuple, list)) or len(pair) != 2:
raise ValueError("expected two endpoints")
lo, hi = pair
if any(type(x) not in (int, float) or not isfinite(x) for x in pair):
raise ValueError("endpoints must be finite numbers")
if not 0 <= lo <= hi <= 1:
raise ValueError("need 0 <= lower <= upper <= 1")
return lo, hi
def project_group(box):
if not isinstance(box, (tuple, list)) or len(box) != 3:
raise ValueError("expected q, sensitivity, specificity intervals")
(ql, qu), (sl, su), (cl, cu) = map(interval, box)
fl, fu = 1 - cu, 1 - cl
if sl <= fu:
return dict(status="weak_channel", interval=(0.0, 1.0))
if ql > su or qu < fl:
return dict(status="incompatible", interval=(0.0, 1.0))
lower = max(0.0, (ql - fu) / (su - fu))
upper = min(1.0, (qu - fl) / (sl - fl))
return dict(status="ok", interval=(lower, upper))
def project_gap(boxes):
if not isinstance(boxes, (tuple, list)) or len(boxes) != 2:
raise ValueError("expected two group boxes")
groups = tuple(project_group(box) for box in boxes)
if any(g["status"] != "ok" for g in groups):
return dict(status="uninformative", interval=(-1.0, 1.0), groups=groups)
(la, ua), (lb, ub) = (g["interval"] for g in groups)
return dict(status="ok", interval=(la - ub, ua - lb), groups=groups)
def fixed_gap(counts, alpha=0.05):
alpha = budget(alpha)
if not isinstance(counts, (tuple, list)) or len(counts) != 2:
raise ValueError("expected two groups")
if any(not isinstance(row, (tuple, list)) or len(row) != 3 for row in counts):
raise ValueError("each group needs q, sensitivity, specificity counts")
boxes = tuple(tuple(hoeffding(pair, alpha / 6) for pair in row) for row in counts)
return dict(**project_gap(boxes), boxes=boxes, alpha=alpha)
if __name__ == "__main__":
counts = (((4000, 10000), (8000, 10000), (9000, 10000)),
((3000, 10000), (8000, 10000), (9000, 10000)))
answer = fixed_gap(counts)
print("fixed:", answer["status"], tuple(round(x, 6) for x in answer["interval"]))
manual = (((0.35, 0.45), (0.75, 0.85), (0.85, 0.95)),
((0.25, 0.35), (0.75, 0.85), (0.85, 0.95)))
bounds = project_gap(manual)["interval"]
assert abs(bounds[0] + 1 / 7) < 1e-14
assert abs(bounds[1] - 3 / 7) < 1e-14
assert project_group(((0.9, 1), (0.6, 0.8), (0.8, 1)))["status"] == "incompatible"
assert project_group(((0, 1), (0, 1), (0, 1)))["status"] == "weak_channel"
print("manual:", tuple(round(x, 6) for x in bounds))python程序输出 fixed: ok (0.048263, 0.237451) 与 manual: (-0.142857, 0.428571)。手填框用于核对投影,计数框用于覆盖保证;两个示例的用途分别保留。
weak_channel 表示当前解析方法无法确认整盒正向;incompatible 表示在已确认正向的盒内没有满足方程的世界。严格集合运算中,后者投影为空集。为了让决策程序不从空集产生“自动通过”,本实现把任一失败组汇总成 uninformative、差距返回 [-1,1],原始失败原因保留在 groups。这是报告层的保守回退,不能解释为成功求出了尖锐界。早期宽区间触发弱通道很常见,更多数据后才可能进入解析分支。
计数已聚合时,计算量和存储均为 ;从六路原始记录汇总则是 。实际执行应保存分子、分母、成功定义、抽样单位、真值协议、参考版本、总预算和每路区间,最后保存投影状态与端点。代码末尾 assert 是教学验算;输入拒绝与状态处理使用显式检查,不依赖断言在生产模式中是否启用。
06 哪些错误会破坏这份覆盖保证?#
| 情况或方法 | 先查什么 | 实际含义与处理 |
|---|---|---|
| 六个单独 95% 区间 | 是否分配总体预算 | 单独覆盖不能直接变成 95% 联合覆盖 |
| 负类验证成功数填成误报数 | 统计的是判负还是判正 | 特异度必须数参考判负;否则假正率转换反了 |
| 盒跨过 | 整盒最小区分度 | 保留弱通道状态;不能只看点估计分母为正 |
| 两组强制共享但分别取极值 | 端点是否使用同一套率 | 用带共享约束的联合投影,或注明放松所得外界 |
| Delta–Wald 区间 | 局部平滑、边界与验证方差 | 近似通常更紧,覆盖性质不同 |
| 识别范围 | 率框是外部确定限制还是随机区间 | 识别宽度与抽样置信不能仅凭两个端点互换 |
| 每补十个标签重新看一次 | 样本量或停止时刻是否依结果而变 | 固定样本保证不能直接支持反复查看后停止 |
调试按三层走:先检查每路计数与区间,再用手填有理数框核对投影,最后把端点世界正向重放。交换 A、B 后,区间应变为 ;放宽任一输入区间不能让真实投影变窄;保持比例而增加固定样本量会缩小 Hoeffding 半径。状态切换到保守全范围时,也应保持外包性质。
数值实现使用双精度浮点数,解析覆盖论证指向精确实数运算。接近相等边界的高精度决策应使用向外舍入或区间算术,并保留预先确定的决策余量;不要把显示到六位小数的零附近端点直接当作严格正值。
限制还包括矩形区域未利用路间相关性、Hoeffding 的保守半径、以及跨组结构约束的放松。若错误率随人群或时间变化,应重设估计目标或做分层与迁移敏感性分析。扩大样本只会减少当前抽样模型内的波动,不能让不适用的验证协议自动变得适用。
某一组不兼容,能否删掉这次结果,只报告“成功运行”的区间?
不应这样筛选。删除失败轮次会改变报告的抽样过程。当前实现保留失败状态并回退全范围,便于审计继续诊断;要把不兼容事件当作模型检验,还需另外定义错误率控制与报告规则。它既可能反映抽样极端事件,也可能提示协议或模型失配。
思考练习#
- 不运行代码,分别写出手填框的差距下端点和上端点世界,再正向重放四个组内方程。给跨组敏感度差设置 容差后,哪些端点世界失效?
- 把六路计数都缩小十倍且保持比例,预测半径的倍数变化,再运行
fixed_gap。为什么点差不变,统计方向保证却会改变? - 将 A、B 输入交换,核对区间取负反序;再设计一份含
weak_channel与incompatible的输入,解释各状态和回退范围,而不删除这些运行。
相关工作#
- Hoeffding (1963), Probability Inequalities for Sums of Bounded Random Variables ↗:本文每路有限样本概率界的来源。
- Rogan & Gladen (1978), Estimating Prevalence from the Results of a Screening Test ↗:二元错分反演的基本关系。
- Imbens & Manski (2004), Confidence Intervals for Partially Identified Parameters ↗:区分识别范围与统计覆盖;本文使用透明的联合区域投影,并非复现其专门区间算法。
下一篇预告#
联合预算解决了一次固定样本分析的覆盖。真实补标往往边收集边看,区间一旦高于零就停止。下一篇把错误预算同时分给证据路与各个样本时刻,构造可手算的置信序列,说明什么时候可以持续查看,什么时候数据到达机制仍会破坏保证。