观文听傑

返回

整齐的成对瓷片中,放大镜突出一组琥珀色与青色的不一致瓷片整齐的成对瓷片中,放大镜突出一组琥珀色与青色的不一致瓷片

上一篇的独立配对确认在每个新请求上回放当前版与基线版,用有界差值计算区间。它只使用差值落在 [−1,1][-1,1] 这一事实:即使 200 对全部同对同错,95% 区间仍约为 [−19.21,+19.21][-19.21,+19.21] 个百分点。大量相同结果似乎没有换来精度。

本篇把一个问题拆成两个可估计的比例:两版有多常不同?不同的时候,哪一版更容易失败?再将两个比例的联合范围映射回版本差。推导与数值均为教学构造,封面是装饰隐喻。

01 四格表保留分母,差异只来自两格#

沿用已冻结的单个切片、两个版本、用户级独立抽样、完整名单和一次预定开封。给定发现历史后,确认期每个用户的标签对独立同分布(Independent and Identically Distributed, IID),两列内部可以相关。失败定义与影子回放边界沿用上一篇。

标签矩阵 YY 形状为 [n,2],一行一位用户,第一列当前版,第二列基线版,1 表示失败。把它归并成计数矩阵 NN,形状为 [2,2]:行索引是当前版标签,列索引是基线版标签。下面四人例子能手算全部统计量。

当前版标签基线成功 0基线失败 1对失败率差的贡献
成功 0N00=1N_{00}=1c=N01=1c=N_{01}=1只有基线失败的每对贡献 −1
失败 1b=N10=2b=N_{10}=2N11=0N_{11}=0只有当前失败的每对贡献 +1

这里 n=4n=4,不一致对(Discordant Pair)数 m=b+c=3m=b+c=3。记总体两类不一致概率为 p10p_{10} 与 p01p_{01},则失败率差

Δ=P(Yc=1)−P(Yb=1)=p10−p01.\Delta=P(Y_c=1)-P(Y_b=1)=p_{10}-p_{01}.

定义不一致频率 q=p10+p01q=p_{10}+p_{01},以及在不一致条件下当前版失败的概率 θ=p10/q\theta=p_{10}/q。当 q>0q>0 时,

Δ=q(2θ−1),q^=m/n,θ^=b/m.\Delta=q(2\theta-1),\qquad \widehat q=m/n,\quad \widehat\theta=b/m.

q,θq,\theta 都是无量纲标量,Δ∈[−1,1]\Delta\in[-1,1]。例子中 q^=3/4\widehat q=3/4、θ^=2/3\widehat\theta=2/3,相乘得到 Δ^=1/4\widehat\Delta=1/4,即 +25 个百分点。相同的两格仍占总分母;只报告 b/m−c/mb/m-c/m 得到的是条件方向差,少乘了 qq。

02 随机的不一致对数,怎样仍给出联合覆盖?#

固定总人数 nn 后,M∼Binomial⁡(n,q)M\sim\operatorname{Binomial}(n,q)。给定 M=m>0M=m>0,只有当前版失败的计数满足 B∣M=m∼Binomial⁡(m,θ)B\mid M=m\sim\operatorname{Binomial}(m,\theta)。这是四格多项分布的条件化结果。MM 随机不妨碍第二个区间,因为我们对每个可能的 mm 都要求条件覆盖。

给两个比例各分配错误额度 α/2\alpha/2。使用反演二项尾概率的克洛珀–皮尔逊区间(Clopper–Pearson Interval, CP),得到 Iq=[qL,qU]I_q=[q_L,q_U] 和 Iθ=[θL,θU]I_\theta=[\theta_L,\theta_U],各自置信水平 1−α/21-\alpha/2。当 m=0m=0,直接设置 Iθ=[0,1]I_\theta=[0,1]。

对于二项计数 K=kK=k、试验数 rr 和总错误额度 η\eta,等尾 CP 下端点在 k>0k>0 时满足 PpL(K≥k)=η/2P_{p_L}(K\ge k)=\eta/2,上端点在 k<rk<r 时满足 PpU(K≤k)=η/2P_{p_U}(K\le k)=\eta/2。边界 k=0k=0 的下端点为 0,k=rk=r 的上端点为 1。每个尾部各留 η/2\eta/2;下文取 η=α/2\eta=\alpha/2,所以每尾为 α/4\alpha/4。

把条件失败概率对 MM 求平均,再用并集界(Union Bound),

P(q∉Iq)≤α/2,P(θ∉Iθ)≤α/2,P(q\notin I_q)\le\alpha/2,\qquad P(\theta\notin I_\theta)\le\alpha/2, P(q∈Iq, θ∈Iθ)≥1−α.P(q\in I_q,\ \theta\in I_\theta)\ge1-\alpha.

两个区间无须独立。q=0q=0 时总体差固定为 0,方向参数没有可识别含义;使用任意 θ∈[0,1]\theta\in[0,1] 都给出同一个总体差,构造仍覆盖它。这里的“精确”指有限样本二项覆盖至少达到名义水平,离散计数通常使它保守。

03 四个角点,怎样投影成版本差区间?#

在矩形 Iq×IθI_q\times I_\theta 上,函数 q(2θ−1)q(2\theta-1) 对任意一个坐标固定另一个后都是线性的,因此极值在四个角点取得。令

V={qa(2θb−1):a,b∈{L,U}},IΔ=[min⁡V,max⁡V].\mathcal V=\{q_a(2\theta_b-1):a,b\in\{L,U\}\}, \qquad I_\Delta=[\min\mathcal V,\max\mathcal V].

这一步保留两个符号方向,避免错误地以为下界永远等于 qL(2θL−1)q_L(2\theta_L-1):如果方向为负,乘更大的 qUq_U 才可能更小。

阶段输入形状运算输出
完整名单对齐用户键与标签 [n,2]查重、核对两版终态,按 0/1 计数四格表 [2,2]
频率推断m,nm,n 两个标量反演二项尾部IqI_q,形状 [2]
方向推断b,mb,m 两个标量条件二项区间;零对时保留全范围IθI_\theta,形状 [2]
联合投影两区间 [2,2]四角相乘,取最小和最大IΔI_\Delta,形状 [2]

零个不一致对时,qL=0q_L=0、qU=1−(α/4)1/nq_U=1-(\alpha/4)^{1/n},方向全未知,故 IΔ=[−qU,qU]I_\Delta=[-q_U,q_U]。在 n=200,α=0.05n=200,\alpha=0.05 时,端点约为 ±2.17 个百分点:仍允许罕见分歧,但比仅使用取值范围的区间更窄。两版共同失败再多,也不会改变这条差距区间;共同失败率是另一个应单独审计的目标。

不一致对越少,这个方法一定比上一篇更窄吗?

零不一致对的例子展示了收益。一般数据下,二项离散性、两路预算分割和矩形投影均会损失精度,不能保证处处更窄。若想组合两种区间,须在开封前为两者分配联合错误额度,再求交;看完结果挑较窄的普通 95% 区间,缺少同时覆盖保证。

04 Python:显式统计与角点投影,官方 API 只负责二项反演#

下面函数接收上游已经按用户键核验的四格表,以及冻结人数 frozen_n;不接受缺标后缩小的分母。行列含义必须随批次元数据保存。代码只做推断,不训练模型;前面的双版本前向推理与盲评提供标签。

在新确认样本开封前固定 n、alpha、切片与版本
完整名单齐备 → 汇总四格表并核对总数等于 n
用 m/n 构造频率区间
若 m>0,用 b/m 构造条件方向区间;否则保留 [0,1]
枚举四个 q*(2*theta-1) → 输出差距范围
text

binomtest(k,n) 接收事件次数和试验数,返回二项检验结果对象;这里调用它的 proportion_ci(confidence_level=..., method="exact") 计算比例区间,不使用默认原假设的 pvalue。返回值的 .low、.high 是端点。接口依据 SciPy 当前二项检验文档 ↗及区间文档 ↗核实。运行只需安装 SciPy,记录实际版本以便重放。

输出中的 pp 是百分点,CI 是置信区间(Confidence Interval)。

n=4, m=3, gap=+25.00 pp, CI=[-86.52, +98.85] pp
n=200, m=0, gap=+0.00 pp, CI=[-2.17, +2.17] pp
n=200, m=5, gap=+1.50 pp, CI=[-3.31, +6.23] pp
text

四格归并需要 O(n)O(n) 时间、常数计数空间;库内二项反演另有数值求根开销,四角投影只有四次乘法。失败时保留原表与错误信息,避免改用更宽松的方法静默放行。

05 调试先检查方向,再检查抽样条件#

先互换两列:点估计应反号,区间应由 [L,U][L,U] 变为 [−U,−L][-U,-L]。再构造全部一致的表,确认方向区间是 [0,1],最终差距区间包含 0。最后核对四格和等于冻结名单人数,并查找跨名单重复用户、单版缺日志和迟到评审。只保留两版都有快速结果的行,会选择性改变目标。

固定样本覆盖要求一次预定读数;逐个检查这条区间、首次“显著”就停止,需要另外的时间一致设计。来自同一门店的用户可能相关,分层过采样也会改变简单 IID 模型;应重做与抽样设计匹配的推断。错误参考标签会把两个计数方向一起带偏,先前的参考标准审计仍然需要。

McNemar 检验只看不一致对,为什么这里还需要 q?

当 q>0q>0 时,“边际失败率相等”对应条件方向 θ=1/2\theta=1/2,因此条件二项检验可以只看 b,cb,c。差距量级还取决于不一致在全部请求中的频率。1000 人里 10 对同方向分歧,与 10 人里 10 对同方向分歧,条件方向相同,失败率差分别为 1 和 100 个百分点。本篇用两比例矩形投影提供透明、保守的区间;Newcombe 等配对比例方法直接优化区间效率,有不同的覆盖表现与计算代价。

思考练习#

  1. 对四人例子交换版本,手算 b,c,q,θ,Δb,c,q,\theta,\Delta,再用代码检查区间的反号关系。
  2. 在零不一致对、α=0.05\alpha=0.05 下,反解要把差距区间压到 ±1 个百分点,至少需要多少对?解释为什么这不是一般情形的功效保证。
  3. 构造两张 b,c,nb,c,n 相同、共同失败数不同的合法四格表。为什么差距区间相同?发布报表还应展示哪个绝对指标?

相关工作#

  1. Clopper 与 Pearson(1934),The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial ↗:二项尾部反演与有限样本覆盖的经典来源。
  2. McNemar(1947),Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages ↗:相关二元比例比较的重要起点。
  3. Newcombe(1998),Improved Confidence Intervals for the Difference Between Binomial Proportions Based on Paired Data ↗:系统比较配对比例差区间;本篇没有将矩形投影归为其算法。

下一篇预告#

净差可以很小,但有些原本成功的请求仍被新版弄坏。下一篇单独限制“只有当前版失败”的概率,用单侧精确上界回答:测试中零次新增失败,到底需要多少样本才足以通过预设门槛?

两版几乎总是同对同错,差距区间为何还很宽?不一致对的频率与方向分解
https://zwjcode.cn/blog/paired-discordance-frequency-direction
作者 傑
发布于 2026年11月13日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。