观文听傑

返回

已知与未知结果卡片之间展开一条透明范围带的概念插画已知与未知结果卡片之间展开一条透明范围带的概念插画

上一篇把多专家服务拆成资格、分配与按时完成,保留了成熟结果中的缺失状态。现在报表显示:甲组已有标签者报名率 75%,乙组 100%。乙组看起来更好,但甲组只缺一人的结果,乙组缺三人。直接删除缺失者,会把“能取得结果的人”当成“全部接受服务的人”。

本篇只回答一个问题:**不猜缺失结果,也不额外假设它们随机缺失时,群体结果差距究竟能确定到什么程度?**我们从有界的二元结果推出最坏情形界限(Worst-Case Bounds),再算出哪些结论已经稳固,以及补回一个标签能减少多少未知范围。

01 未成熟、缺失和失败,仍是三个状态#

沿用入口七日报名结果 Yi∈{0,1}Y_i\in\{0,1\}。先冻结策略、入口队列、报表截点、观察窗及水位;只对结果窗已经成熟的队列计算本篇界限。未成熟的人留在另一张覆盖表,等待下个快照。成熟却没有标签的人仍计入本篇分母;已确认未报名记 0。

令 Ri=1R_i=1 表示成熟结果已被观测,Ri=0R_i=0 表示成熟但未知。这里 RR 专指结果可见性,与上一篇的专家编号无关。对 nn 行,群体 gg、成熟标记 MM、RR 和带空值的 YY 都是 [n]。结果值在程序里用 0/1/None 表达,不能把 None 送进普通均值后再默默跳过。

对群体 gg,记成熟队列人数为 NgN_g,已观测人数为 OgO_g,已观测成功数为 PgP_g,缺失人数为 Ug=Ng−OgU_g=N_g-O_g。目标是这批成熟入口的完整结果均值

μg=1Ng∑i:gi=gYi.\mu_g=\frac{1}{N_g}\sum_{i:g_i=g}Y_i.

所有正式策略入口路径都属于这个目标:基线、专家完成、专家超时与执行失败均保留。以下差距是系统实际结果的组间描述;若要回答某个专家路径造成多少增益,还需要路径因果识别,不能仅从结果缺失界限得到。

02 两个极端补全,就能推出有效界限#

把缺失者的成功数记为未知整数 TgT_g。由二元结果的取值范围可知 0≤Tg≤Ug0\le T_g\le U_g,因此

μg=Pg+TgNg∈[PgNg,Pg+UgNg]=[Lg,Hg].\mu_g=\frac{P_g+T_g}{N_g}\in \left[\frac{P_g}{N_g},\frac{P_g+U_g}{N_g}\right] =[L_g,H_g].

下界把全部缺失者设为 0,上界把全部设为 1。这两种补全都符合当前观测,因此在没有额外限制时,端点无法继续收紧。这就是部分识别(Partial Identification):数据和明确假设将答案限制在一个集合中。对有限二元队列,可行均值实际按 1/Ng1/N_g 间隔离散;本文报告覆盖它们的最小区间,端点可实现。

若 Og>0O_g>0,设标签完整率 ρg=Og/Ng\rho_g=O_g/N_g,已观测均值 Yˉg,obs=Pg/Og\bar Y_{g,obs}=P_g/O_g,同一公式还可写成

[Lg,Hg]=[ρgYˉg,obs,ρgYˉg,obs+1−ρg].[L_g,H_g]=[\rho_g\bar Y_{g,obs},\rho_g\bar Y_{g,obs}+1-\rho_g].

区间宽度 Hg−Lg=Ug/NgH_g-L_g=U_g/N_g,恰是缺失比例。全缺失时直接使用计数形式得到 [0,1][0,1];人数为零时没有这个群体的队列均值,应显示空值。

比较甲、乙两组,定义 Δ=μ甲−μ乙\Delta=\mu_{\text{甲}}-\mu_{\text{乙}},正值表示甲的报名率更高。因为两个不相交群体的缺失结果可独立补全,

Δ∈[L甲−H乙,  H甲−L乙]=[DL,DH].\Delta\in[L_{\text{甲}}-H_{\text{乙}},\;H_{\text{甲}}-L_{\text{乙}}]=[D_L,D_H].

DL>0D_L>0 才能确定甲更高,DH<0D_H<0 才能确定甲更低。若区间跨零,当前信息允许相反方向。对于事先规定的容忍差距 ε\varepsilon,只有整个区间都落在 [−ε,ε][-\varepsilon,\varepsilon] 内,才能声称这批队列的结果差距在该范围内;区间包含零不足以支持这一结论。

固定成熟入口:N 人,结果 0 / 1 / 未知
             ↓
       统计 O、P、U=N-O
        ┌────┴────┐
     未知全为 0  未知全为 1
        ↓          ↓
      L=P/N     H=(P+U)/N
        └────┬─────┘
 两组交叉相减:[L甲-H乙, H甲-L乙]
             ↓
  方向已确定?否则保留未知并安排补标签
text

图强调上下界来自不同补全,不是正负一个标准差。可编辑图源 outcome-bounds.drawio 随文章保存;所有数字都由下面的合成数据推导。

03 十行手算:100% 的已观测率,可能属于更差的一组#

以下每个元素对应一人,均已成熟;问号表示未知,全部是教学数据。

群体五人的结果NNOOPP已观测率完整队列界限
甲1,1,1,0,?5433/4[3/5,4/5]
乙1,1,?,?,?5221[2/5,1]

所以 Δ∈[3/5−1,4/5−2/5]=[−2/5,2/5]\Delta\in[3/5-1,4/5-2/5]=[-2/5,2/5],即甲减乙的差距在 −40 到 +40 个百分点之间。乙的已观测率为 100%,仍无法确定完整队列是否更好。

看看两个实际可行的补全:

  • 甲的问号为 0、乙的三个问号都为 1:甲 60%、乙 100%,Δ=−40\Delta=-40 个百分点。
  • 甲的问号为 1、乙的三个问号都为 0:甲 80%、乙 40%,Δ=+40\Delta=+40 个百分点。

两者都保持所有已知数据不变。因此选一个中点零当作“估计结果”,会抹掉数据尚不能回答的方向问题。

先计算:如果只补回乙组一个标签,而且结果为 0,差距区间怎样变?

乙组变为 N=5,O=3,P=2,U=2N=5,O=3,P=2,U=2,界限为 [2/5,4/5][2/5,4/5];甲仍为 [3/5,4/5][3/5,4/5],差距为 [−1/5,2/5][-1/5,2/5]。宽度从 4/54/5 缩到 3/53/5,方向仍未确定。若补回的结果为 1,乙界限变为 [3/5,1][3/5,1],差距为 [−2/5,1/5][-2/5,1/5];宽度同样减少 1/51/5,位置则向另一侧移动。

04 可运行 Python:精确分数与端点补全复核#

输入每行包含唯一决策键、群体、成熟标记和结果。函数要求调用者先固定成熟队列;若混入未成熟对象会报错。输出包括群体计数、均值界限及差距界限。算法只有一次计数扫描,时间为 O(n)O(n);端点枚举只是用四个未知标签验证公式,复杂度为 O(2Un)O(2^U n),不用于大表。

检查唯一键、成熟状态与二元 / 缺失标签
按群体累计 N、O、P,计算 U=N-O
输出 [P/N, (P+U)/N]
用甲下界减乙上界、甲上界减乙下界得到差距范围
极小数据枚举所有未知标签的补全,核对两端点
text

Fraction(p,n) 从整数保存精确端点,避免浮点舍入把轻微负值格式化成“零差距”;product((0,1),repeat=U) 枚举所有二元补全。语义可查 fractions 官方文档 ↗和 itertools.product 官方文档 ↗。这些是标准库接口,没有模型训练阶段。运行期先连接已冻结的入口与结果事件,再聚合界限;不要让补标签结果回流到过去的在线特征。

05 该先补谁的标签?从区间宽度推预算#

对不相交的两个群体,差距区间宽度为

DH−DL=U甲N甲+U乙N乙.D_H-D_L=\frac{U_{\text{甲}}}{N_{\text{甲}}}+\frac{U_{\text{乙}}}{N_{\text{乙}}}.

从群体 gg 补回一个真实、准确的缺失标签,会使该组宽度缩短 1/Ng1/N_g,不依赖补回结果是 0 还是 1。若这一标签的收集成本为 cg>0c_g>0,可用 1/(Ngcg)1/(N_gc_g) 作为仅以缩短当前差距区间为目标的边际收益。这个启发式还需服从收集权限、服务义务与可联系性;它不保证最早确定差距符号,因为端点移动方向取决于新结果。

例如甲组有 20 人,乙组有 100 人,一个标签的收集成本均为两分钟。甲组补回一人的区间宽度收益为 1/20=0.051/20=0.05,乙组为 1/100=0.011/100=0.01;按每分钟缩短宽度比较,甲为 0.025,乙为 0.005。不能只按缺失总人数多就优先乙。

主动补回的标签仍是原队列的真实结果,更新相同 NN 下的 O,P,UO,P,U 即可;如果把这批主动联系对象当成随机样本,直接用其成功率预测所有缺失者,又重新引入了选择偏差。联系本身若改变报名结果,需改用不改变结果的核验渠道,或另立干预与结果定义。每次补回都记录来源、入库时间与快照版本,保证旧报表可复现。

06 界限、插补与置信区间各回答什么?#

方法使用的额外信息或假设输出含义
删除缺失行后的均值直接取已观测子集描述可见者,未自动代表全组
最坏情形界限只要求结果确实在 0 与 1 之间所有允许补全对应的结果范围
模型插补或观测概率加权缺失机制、协变量、正值支持等条件在相应假设下估计全组结果
部分识别的统计推断抽样机制及依赖结构推广到总体时的置信集合

完全随机缺失(Missing Completely at Random,MCAR)要求缺失与完整数据独立;随机缺失(Missing at Random,MAR)允许缺失依赖已观测变量,但给定这些变量后不再依赖未观测值。它们是关于机制的条件,不能靠“缺失率看起来接近”就成立。给定已观测信息后,缺失仍依赖未知结果时属于非随机缺失(Missing Not at Random,MNAR),需要敏感性假设或进一步收集证据。Rubin 的原始框架还强调可忽略机制所需的参数条件,实际建模时应一并检查。

本篇区间在固定有限队列、已知标签准确和每个结果确实存在的前提下,刻画未观测带来的未知,没有 95% 的抽样覆盖含义。如果这十人只是未来人群的样本,结果推广还需部分识别的置信集合与独立单位设计,不能在当前界限两端随意加一个普通均值标准误。

二元报名属于有定义但未看见的结果;死亡后才定义的评分、根本未经历服务才有的“满意度”,可能存在结果未定义的问题,应先重写估计目标。若已观测标签也有误,当前端点同样需要扩展;若效用可负或无界,[0,1][0,1] 的端点公式也不适用。有界连续结果 Y∈[a,b]Y\in[a,b] 可把缺失总和分别替换为 UgaU_ga 和 UgbU_gb。

调试按顺序检查:入口是否去重、所有目标行是否成熟、0 是否被误当缺失、缺失行是否提前被过滤、两组是否真正不相交、结果上下界是否符合定义。最小正确性基准是全观测时区间退化为点、全缺失时为 [0,1][0,1]、补回一个标签后宽度减少 1/Ng1/N_g。再用极小表穷举补全,核对公式端点。

为什么不能把未知者全设为 0,再宣布这是保守的群体差距?

两组都设为 0,得到的是两个均值各自的下界之差;差值的最小端点需要甲取下界、乙取上界,最大端点相反。本例“两组都补零”得到 3/5−2/5=1/53/5-2/5=1/5,但真实允许的差距下界是 −2/5-2/5。对每组分别保守,不会自动对差值保守。

思考练习#

  1. 保持甲组不变,乙组改为五个标签全部观测且其中四人报名。重算差距界限,区分“甲不高于乙”与“甲严格更低”。
  2. 一个群体有十个成熟入口、观测六个,其中四人成功。若结果换成 [−2,3][-2,3] 内的效用,且已观测效用总和为 4,写出完整均值的最坏情形界限。
  3. 希望证明两组差距绝对值至多 10 个百分点。在本例中只补回乙组的三个标签,是否无论结果怎样都能证明?说明未知范围与实际差距分别造成什么限制。

相关工作#

  1. Manski (1989), Anatomy of the Selection Problem ↗:利用结果取值范围研究选择性可见数据对条件均值施加的界限,是本篇端点构造的基础。
  2. Rubin (1976), Inference and Missing Data ↗:建立缺失机制与可忽略性条件的经典框架,帮助区分界限和基于机制假设的点估计。
  3. Tamer (2010), Partial Identification in Econometrics ↗:系统阐明假设、数据与识别集合的关系,并讨论部分识别中的统计推断。
  4. Kline & Tamer (2023), Recent Developments in Partial Identification ↗:总结识别集合及近期推断框架,为从有限队列描述走向总体推断提供后续路线。

下一篇预告#

收集更多标签能缩小未知范围,但主动核验也会产生新的选择。下一篇将讨论固定预算下的随机核验抽样:怎样保留每个人的抽中概率,用设计权重估计全队列结果,并把标签获取成本与估计方差一起规划。

结果标签不全,还能判断谁受损吗?服务差距的最坏情形界限
https://zwjcode.cn/blog/service-gap-missing-outcome-bounds
作者 傑
发布于 2026年10月30日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。