一个缺失标签卡住全队,怎样继续审计?未知结果补全界限与时间一致区间
把未回传标签允许为 0 或 1,推导补全包络及其时间一致扩张,用可运行 Python 区分缺失宽度、抽样误差、固定队列范围与六路错分投影。
上一篇预随机完整前缀与幂等账本让乱序标签在前方缺口补齐后再计入。若 B 永久失联,后面一万份最终标签都只能等着吗?它们包含信息,但我们必须同时保留 B 可能成功、也可能失败的两种世界。
本篇讲透未知结果补全包络(Completion Envelope)怎样扩张为时间一致的审计区间。只处理三个相连步骤:对未知标签求范围、加上原定抽样半径、接回六路错分投影。它延续前文概率界;推导与程序是本文给出的透明组合,不将它包装成新的现成算法。全部数值为合成教学数据,封面是装饰隐喻。
早先的服务差距最坏情形界限已经处理固定成熟队列的未知结果。本篇沿用那份补全范围,新增对来源均值、六路全部前缀和任意回传掩码的同时覆盖;下面先用五行数据复核接口,再推导新增的统计保证。
01 分母是已发出前缀,未知结果仍占一个位置#
继续使用每路固定均值 的独立同分布二元流 ,。第 路已发出原始顺序下前 个位置,其中有 个最终结果仍未知,已知成功数为 ,已知失败数为 。
这里的 包括未知者,区别于上一篇“全部标签已知的完整前缀长度”。已发出集合必须确实是候选流的一个前缀;不能把难查位置从分母删掉,也不能按将来结果决定入选身份。发出多少人可依据既有历史调整,六路可异步,管道必须保存所有已发出键和未知状态。
用 表示这个前缀最终的完整成功总数。由于每个未知结果都在 [0,1] 内,逐条相加得到
这个范围是逻辑补全界限(Logical Completion Bounds),不使用“缺失与结果独立”的假设。未知结果可以全是失败,也可以全是成功;两端都能达到。它约束当前已发出这批人的完整比例,没有自动把结论推广到来源总体。
02 五人手算:3/3、3/5 和一个区间分别在说什么?#
沿用 A、B、C、D、E 的已发出名单,当前标签为 [1,None,1,1,None]。、、,于是完整名单成功比例属于
3/3 描述三个已完成案例,3/5 把两名未知者放在失败端点;[3/5,1] 同时容纳所有补全。若 B 回传 0,范围变为 [3/5,4/5];E 再回传 0,变成单点 。
| 当前结果 | 完整名单比例范围 | 宽度 | 最坏世界的含义 | |
|---|---|---|---|---|
| 1,?,1,1,? | 两个未知全 0 或全 1 | |||
| 1,0,1,1,? | 最后一个未知可 0 可 1 | |||
| 1,0,1,1,0 | 当前名单已经完全确定 |
固定这五个抽样位置,只补最终标签时,下端点单调不减、上端点单调不增。补一个成功,下端点增加 ;补一个失败,上端点减少 。如果新发出候选、改变分母,单调嵌套就不再是必然条件。修订已知结果也不属于这条只补未知标签的过程。
这个 [3/5,1] 能叫“五人总体均值的 95% 置信区间”吗?
对固定五人的真实标签,它是覆盖所有补全的确定性范围,没有抽样概率或 95% 置信水平。若目标是候选来源总体的均值,还要加上由抽样设计导出的统计误差。把这两个目标分开,才能知道区间宽度来自哪里。
03 把缺失宽度和抽样半径接在一起#
上一篇置信序列使用六路总错误预算 ,给每路每个样本量分配 。对完整但未必全部可见的前缀结果,有同时覆盖事件
推导仍来自每个固定前缀的 Hoeffding 界与可数并集界;六路之间无需独立,路内仍采用既定 IID 模型。现在把未知完整均值允许的全部取值放入半径区间,得到
在 上, 位于以真实完整均值为中心的区间中;真实均值又在补全范围中,因此 。这个包含关系对每一种已知/未知掩码都成立,故即使回传依赖结果、同一 反复补标,仍有
无需为每个缺失掩码再分配错误预算:它们都由同一个覆盖完整前缀的事件控制。保证针对未改变的真实结果;若已知标签其实有错,逻辑补全范围未必包含真实完整均值,证明就断在此处。
未裁剪时,区间宽度为
第一项是缺失造成的补全宽度,第二项是六路全部时刻同时覆盖的抽样代价。人数增加通常减小半径,但若缺失比例保持 10%,这份无额外缺失假设的包络会保留约 0.1 的宽度。对一个固定批次只补标签、保持 不变, 不变,区间逐步收缩;完全到齐后恰退化为前文区间。
04 Python:接收三元计数,而不是把未知填成 0#
保存下段为 pending.py,使用 Python 3.12 或更新版本执行 python3 pending.py。只用官方标准库 math.isfinite、log、sqrt ↗。completion 返回固定已发出前缀的逻辑范围;pending_interval 扩张到来源均值的六路时间一致区间;输入顺序固定为 (known_successes, issued, pending),形状 [3]。所有数量以案例计数,端点是无量纲比例。
按不可变键去重,保留已发出的全部候选位置
聚合已知成功 s、发出人数 n、未知人数 m
校验 0 <= s <= n-m,且 0 <= m <= n
逻辑范围 = [s/n, (s+m)/n];空流为 [0,1]
用完整发出人数 n 计算六路时间一致半径
将逻辑范围左右扩张 r,再裁剪到 [0,1]
对六路分别构盒,交给既有错分投影器与停止规则textfrom math import isfinite, log, sqrt
def counts(triple):
if not isinstance(triple, (tuple, list)) or len(triple) != 3:
raise ValueError("expected (known_successes, issued, pending)")
s, n, m = triple
if any(type(x) is not int for x in triple):
raise ValueError("counts must be integers, not booleans")
if n < 0 or not 0 <= m <= n or not 0 <= s <= n - m:
raise ValueError("need n >= 0, 0 <= m <= n, 0 <= s <= n-m")
return s, n, m
def completion(triple):
s, n, m = counts(triple)
return (0.0, 1.0) if n == 0 else (s / n, (s + m) / n)
def pending_interval(triple, alpha=0.05):
s, n, m = counts(triple)
if type(alpha) not in (int, float) or not isfinite(alpha) or not 0 < alpha < 1:
raise ValueError("need a finite total alpha in (0,1)")
if n == 0:
return 0.0, 1.0
radius = sqrt((log(12) + log(n) + log(n + 1) - log(alpha)) / (2 * n))
return max(0.0, s / n - radius), min(1.0, (s + m) / n + radius)
def six_boxes(snapshot, alpha=0.05):
if not isinstance(snapshot, (tuple, list)) or len(snapshot) != 2:
raise ValueError("expected two groups")
if any(not isinstance(row, (tuple, list)) or len(row) != 3 for row in snapshot):
raise ValueError("each group needs q, sensitivity, specificity")
return tuple(tuple(pending_interval(triple, alpha) for triple in row)
for row in snapshot)
if __name__ == "__main__":
for triple in [(3, 5, 2), (3, 5, 1), (3, 5, 0)]:
print(triple, completion(triple))
for triple in [(40000, 100000, 10000), (40000, 100000, 0)]:
print(triple, tuple(round(x, 6) for x in pending_interval(triple)))
assert pending_interval((0, 0, 0)) == (0.0, 1.0)
assert pending_interval((0, 8, 8)) == (0.0, 1.0)python前三行逻辑范围为 (0.6,1.0)、(0.6,0.8)、(0.6,0.6)。再看十万人的演示:若已知成功 40000、未知 10000,,区间约为 (0.388061,0.511939)。若未知者后来全部回传为 0,成功数保持 40000,未知数变 0,得到 (0.388061,0.411939)。若它们全部为 1,则成功数变为 50000,得到 (0.488061,0.511939);这些分支都被旧区间包含。
同一十万人的缺失补全宽度是 0.1;两侧统计扩张总计约 0.023877。采用完成者分母 90000 会把中心改成 ,并丢掉未知者可能全 0、全 1 的机制。程序用对数相加计算半径,避免先乘 ;双精度临界决策仍应采用向外舍入等验证过的数值处理。
05 六路接回错分投影:变化的是证据区间#
保持两组错分机制 、。本节的 是敏感度参数,与上文 known_successes 的计数 按下标和语境区分;接口里直接用完整英文键名可减少歧义。
六路快照按 (A,B)、(q,sensitivity,specificity) 排列,每路是一组三元计数,输入形状 [2,3,3];six_boxes 输出区间形状 [2,3,2]。例如敏感度路的未知者是“已属于可信真阳性来源、但参考判别尚未完成”的案例。若可信类别也未知,不能临时把他们漏出两条条件分母;需先定义能正确分流的审计设计。
将联合置信盒文章的完整代码保存为同目录 fixed.py 后,可以在解释器中执行以下适配:
from fixed import project_gap
from pending import six_boxes
snapshot = (((40000, 100000, 10000), (80000, 100000, 0), (90000, 100000, 0)),
((30000, 100000, 0), (80000, 100000, 0), (90000, 100000, 0)))
answer = project_gap(six_boxes(snapshot, alpha=0.05))
print(answer["status"], tuple(round(x, 6) for x in answer["interval"]))python这会输出 ok (0.074636,0.353935)。它保留 A 的参考正类比例流中一万条未知结果;与六路都完全回传、A 成功数为 40000 时的区间 (0.074636,0.211078) 比,上界更宽,下界相同。当前组合延续独立通道投影,若要保留跨组共享率或差异容差,应像前文一样在联合优化中绑定参数。
在六路同时覆盖事件上,真实六参数属于当前补全盒;正确错分机制把真实差距带进投影。因此可继续用预定差距阈值决定停止,并保留弱通道或不兼容时的保守回退。补全区间消除了对回传机制的独立性要求;候选来源、最终标签正确性、固定参数和错分机制仍是整条证明的条件。
| 方法 | 使用哪些位置 | 缺失处理与代价 | 首要检查 |
|---|---|---|---|
| 完整前缀 | 头部全部完成的连续段 | 后方已完成先缓冲,可能头部阻塞 | 不跳位、最终标签固定 |
| 本篇补全包络 | 全部已发出前缀 | 每个未知允许 0/1,留下 宽度 | 未知者仍留在原分母 |
| 完成者均值 | 已回传子集 | 可受结果相关延迟影响 | 是否另有可识别观测模型 |
| 响应概率加权 | 按适用模型加权的响应者 | 依赖响应可忽略性、正值性等条件 | 权重和推断是否匹配 |
| 随机加强追访 | 对完整未响应池再随机核验 | 用预算换新标签 | 设计概率与追访完成条件 |
06 调试:先检查缺失,再检查抽样,最后检查投影#
在计数层,保存清单版本、已发出最大连续位置、全部案例键、最终标签状态和日志截点。必须满足 known_successes + known_failures + pending == issued;未知不是失败,也不能同时计入成功和未知。沿用前篇的案例去重与修订拒绝;重复投递不增加 issued。
在区间层,对固定 枚举所有未知补全:每种完整均值都应位于逻辑范围,每种完整 Hoeffding 区间都应包含在补全扩张里。把一个未知置为 0 或 1,区间应嵌套;全部未知为 [0,1];没有未知时与前文函数逐值一致。六路交换 A、B 后差距端点应取负反序。
在推断层,禁止看过数据后在“完整前缀区间”和“补全包络区间”中挑一个未经联合管理的更窄结果并混报覆盖率。若两者确实使用同一套覆盖全部真实前缀的事件,且都满足上述包含证明,可以取交集,仍由这个事件控制;采用另一套界或另一份预算时,则需重新核对联合保证。实现时应明确保存这份共同依据。
输入已聚合时,每路计算和六路投影为 ,从事件构造去重状态所需空间取决于已发出案例数。该构造可能偏宽:持续缺失留下宽度底线,早期样本的统计半径也很大。可以通过完成核验、随机加强追访或有科学依据的缺失约束获得信息;把未知结果插补成模型预测再当成真实标签,会改变保证。
补全包络跨零,是不是说明两组必然没有差异?
它表示当前证据与允许的未知结果仍容纳多个方向。区间宽度可同时来自标签未到齐、抽样波动和错分机制放大;应分开报告 、各路半径和投影状态。预算结束时保留“未决”,并指出进一步核验哪一路能减少未知范围。
思考练习#
- 对五人例子枚举四种未知补全,验证
[3/5,1]的两个端点均可达到。B=0 后为何只有上端点改变? - 固定每路发出十万人,把 A 的未知数从 10000 改为 20000,同时保留 40000 个已知成功。预测哪一个差距端点会移动,再运行适配程序检查。
- 设计“负结果更晚到”的任意回传掩码,说明为何同时覆盖事件只对六路和样本量收费,不需要再为每种掩码收费;再举一个“已知标签有错”的情形,定位包含证明断在哪一步。
相关工作#
- Hoeffding (1963), Probability Inequalities for Sums of Bounded Random Variables ↗:完整前缀的有限样本浓缩基础。
- Howard, Ramdas, McAuliffe & Sekhon (2021), Time-Uniform, Nonparametric, Nonasymptotic Confidence Sequences ↗:时间一致覆盖及更紧的构造;本文延用易手算的并集预算。
- Manski (1989), Anatomy of the Selection Problem ↗:选择与缺失条件下用可行结果范围表达可识别信息。
- Manski & Molinari (2020), Estimating the COVID-19 Infection Rate: Anatomy of an Inference Problem ↗:把未观察结果与测量误差放进同一界限分析;本文采用抽象二元审计例子,不涉及该文实证估计。
下一篇预告#
未知结果包络给出了不依赖回传机制的代价,但核验预算仍有限。下一篇固定审计目标与错误预算,用当前各路“缺失宽度、统计半径和投影敏感度”决定下一笔核验优先补哪里,并区分合法的选流与会改变目标分布的选人。