两版几乎总是同对同错,差距区间为何还很宽?不一致对的频率与方向分解
把配对失败率差拆成不一致频率与条件方向,为两个二项比例分配联合错误预算,再投影出有限样本区间,处理零不一致对的边界。
上一篇的独立配对确认在每个新请求上回放当前版与基线版,用有界差值计算区间。它只使用差值落在 这一事实:即使 200 对全部同对同错,95% 区间仍约为 个百分点。大量相同结果似乎没有换来精度。
本篇把一个问题拆成两个可估计的比例:两版有多常不同?不同的时候,哪一版更容易失败?再将两个比例的联合范围映射回版本差。推导与数值均为教学构造,封面是装饰隐喻。
01 四格表保留分母,差异只来自两格#
沿用已冻结的单个切片、两个版本、用户级独立抽样、完整名单和一次预定开封。给定发现历史后,确认期每个用户的标签对独立同分布(Independent and Identically Distributed, IID),两列内部可以相关。失败定义与影子回放边界沿用上一篇。
标签矩阵 形状为 [n,2],一行一位用户,第一列当前版,第二列基线版,1 表示失败。把它归并成计数矩阵 ,形状为 [2,2]:行索引是当前版标签,列索引是基线版标签。下面四人例子能手算全部统计量。
| 当前版标签 | 基线成功 0 | 基线失败 1 | 对失败率差的贡献 |
|---|---|---|---|
| 成功 0 | 只有基线失败的每对贡献 −1 | ||
| 失败 1 | 只有当前失败的每对贡献 +1 |
这里 ,不一致对(Discordant Pair)数 。记总体两类不一致概率为 与 ,则失败率差
定义不一致频率 ,以及在不一致条件下当前版失败的概率 。当 时,
都是无量纲标量,。例子中 、,相乘得到 ,即 +25 个百分点。相同的两格仍占总分母;只报告 得到的是条件方向差,少乘了 。
02 随机的不一致对数,怎样仍给出联合覆盖?#
固定总人数 后,。给定 ,只有当前版失败的计数满足 。这是四格多项分布的条件化结果。 随机不妨碍第二个区间,因为我们对每个可能的 都要求条件覆盖。
给两个比例各分配错误额度 。使用反演二项尾概率的克洛珀–皮尔逊区间(Clopper–Pearson Interval, CP),得到 和 ,各自置信水平 。当 ,直接设置 。
对于二项计数 、试验数 和总错误额度 ,等尾 CP 下端点在 时满足 ,上端点在 时满足 。边界 的下端点为 0, 的上端点为 1。每个尾部各留 ;下文取 ,所以每尾为 。
把条件失败概率对 求平均,再用并集界(Union Bound),
两个区间无须独立。 时总体差固定为 0,方向参数没有可识别含义;使用任意 都给出同一个总体差,构造仍覆盖它。这里的“精确”指有限样本二项覆盖至少达到名义水平,离散计数通常使它保守。
03 四个角点,怎样投影成版本差区间?#
在矩形 上,函数 对任意一个坐标固定另一个后都是线性的,因此极值在四个角点取得。令
这一步保留两个符号方向,避免错误地以为下界永远等于 :如果方向为负,乘更大的 才可能更小。
| 阶段 | 输入形状 | 运算 | 输出 |
|---|---|---|---|
| 完整名单对齐 | 用户键与标签 [n,2] | 查重、核对两版终态,按 0/1 计数 | 四格表 [2,2] |
| 频率推断 | 两个标量 | 反演二项尾部 | ,形状 [2] |
| 方向推断 | 两个标量 | 条件二项区间;零对时保留全范围 | ,形状 [2] |
| 联合投影 | 两区间 [2,2] | 四角相乘,取最小和最大 | ,形状 [2] |
零个不一致对时,、,方向全未知,故 。在 时,端点约为 ±2.17 个百分点:仍允许罕见分歧,但比仅使用取值范围的区间更窄。两版共同失败再多,也不会改变这条差距区间;共同失败率是另一个应单独审计的目标。
不一致对越少,这个方法一定比上一篇更窄吗?
零不一致对的例子展示了收益。一般数据下,二项离散性、两路预算分割和矩形投影均会损失精度,不能保证处处更窄。若想组合两种区间,须在开封前为两者分配联合错误额度,再求交;看完结果挑较窄的普通 95% 区间,缺少同时覆盖保证。
04 Python:显式统计与角点投影,官方 API 只负责二项反演#
下面函数接收上游已经按用户键核验的四格表,以及冻结人数 frozen_n;不接受缺标后缩小的分母。行列含义必须随批次元数据保存。代码只做推断,不训练模型;前面的双版本前向推理与盲评提供标签。
在新确认样本开封前固定 n、alpha、切片与版本
完整名单齐备 → 汇总四格表并核对总数等于 n
用 m/n 构造频率区间
若 m>0,用 b/m 构造条件方向区间;否则保留 [0,1]
枚举四个 q*(2*theta-1) → 输出差距范围textfrom math import isfinite
from scipy.stats import binomtest
def discordance_interval(table, frozen_n, alpha=0.05):
if (type(frozen_n) is not int or frozen_n <= 0
or not isfinite(alpha) or not 0 < alpha < 1):
raise ValueError("invalid frozen size or error budget")
if len(table) != 2 or any(len(row) != 2 for row in table):
raise ValueError("expected [current label, baseline label] counts")
values = [value for row in table for value in row]
if any(type(value) is not int or value < 0 for value in values):
raise ValueError("counts must be nonnegative integers")
if sum(values) != frozen_n:
raise ValueError("incomplete or inconsistent frozen batch")
b, c = table[1][0], table[0][1]
m = b + c
level = 1 - alpha / 2
if not 0 < level < 1:
raise ValueError("budget is too small for floating-point precision")
q_ci = binomtest(m, frozen_n).proportion_ci(
confidence_level=level, method="exact")
if m:
t_ci = binomtest(b, m).proportion_ci(
confidence_level=level, method="exact")
theta_ci = (t_ci.low, t_ci.high)
else:
theta_ci = (0.0, 1.0)
corners = [q * (2 * theta - 1)
for q in (q_ci.low, q_ci.high) for theta in theta_ci]
return {"n": frozen_n, "discordant": m,
"estimate": (b - c) / frozen_n,
"q_interval": (q_ci.low, q_ci.high),
"theta_interval": theta_ci,
"gap_interval": (min(corners), max(corners))}
if __name__ == "__main__":
for table in ([[1, 1], [2, 0]], [[180, 0], [0, 20]],
[[175, 1], [4, 20]]):
n = sum(map(sum, table))
result = discordance_interval(table, n)
lo, hi = result["gap_interval"]
print(f"n={n}, m={result['discordant']}, "
f"gap={100 * result['estimate']:+.2f} pp, "
f"CI=[{100 * lo:+.2f}, {100 * hi:+.2f}] pp")pythonbinomtest(k,n) 接收事件次数和试验数,返回二项检验结果对象;这里调用它的 proportion_ci(confidence_level=..., method="exact") 计算比例区间,不使用默认原假设的 pvalue。返回值的 .low、.high 是端点。接口依据 SciPy 当前二项检验文档 ↗及区间文档 ↗核实。运行只需安装 SciPy,记录实际版本以便重放。
输出中的 pp 是百分点,CI 是置信区间(Confidence Interval)。
n=4, m=3, gap=+25.00 pp, CI=[-86.52, +98.85] pp
n=200, m=0, gap=+0.00 pp, CI=[-2.17, +2.17] pp
n=200, m=5, gap=+1.50 pp, CI=[-3.31, +6.23] pptext四格归并需要 时间、常数计数空间;库内二项反演另有数值求根开销,四角投影只有四次乘法。失败时保留原表与错误信息,避免改用更宽松的方法静默放行。
05 调试先检查方向,再检查抽样条件#
先互换两列:点估计应反号,区间应由 变为 。再构造全部一致的表,确认方向区间是 [0,1],最终差距区间包含 0。最后核对四格和等于冻结名单人数,并查找跨名单重复用户、单版缺日志和迟到评审。只保留两版都有快速结果的行,会选择性改变目标。
固定样本覆盖要求一次预定读数;逐个检查这条区间、首次“显著”就停止,需要另外的时间一致设计。来自同一门店的用户可能相关,分层过采样也会改变简单 IID 模型;应重做与抽样设计匹配的推断。错误参考标签会把两个计数方向一起带偏,先前的参考标准审计仍然需要。
McNemar 检验只看不一致对,为什么这里还需要 q?
当 时,“边际失败率相等”对应条件方向 ,因此条件二项检验可以只看 。差距量级还取决于不一致在全部请求中的频率。1000 人里 10 对同方向分歧,与 10 人里 10 对同方向分歧,条件方向相同,失败率差分别为 1 和 100 个百分点。本篇用两比例矩形投影提供透明、保守的区间;Newcombe 等配对比例方法直接优化区间效率,有不同的覆盖表现与计算代价。
思考练习#
- 对四人例子交换版本,手算 ,再用代码检查区间的反号关系。
- 在零不一致对、 下,反解要把差距区间压到 ±1 个百分点,至少需要多少对?解释为什么这不是一般情形的功效保证。
- 构造两张 相同、共同失败数不同的合法四格表。为什么差距区间相同?发布报表还应展示哪个绝对指标?
相关工作#
- Clopper 与 Pearson(1934),The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial ↗:二项尾部反演与有限样本覆盖的经典来源。
- McNemar(1947),Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages ↗:相关二元比例比较的重要起点。
- Newcombe(1998),Improved Confidence Intervals for the Difference Between Binomial Proportions Based on Paired Data ↗:系统比较配对比例差区间;本篇没有将矩形投影归为其算法。
下一篇预告#
净差可以很小,但有些原本成功的请求仍被新版弄坏。下一篇单独限制“只有当前版失败”的概率,用单侧精确上界回答:测试中零次新增失败,到底需要多少样本才足以通过预设门槛?