观文听傑

返回

琥珀色报警灯旁是一盘叠放的卡片,另一盘整齐排列着青色与深蓝色成对卡片琥珀色报警灯旁是一盘叠放的卡片,另一盘整齐排列着青色与深蓝色成对卡片

上一篇的报警账本记录了哪个版本、哪个截点触发报警。客服模型报警后,团队翻看最近的工单,发现“移动端退款”切片(Slice)的失败率涨得最多。值班人员要回答一个更具体的问题:在接下来的同类请求上,当前版比上一稳定版多失败多少个百分点?

从同一批工单里挑涨幅最大的切片、估计差距、再套普通置信区间,三步都受同一批噪声影响。即使 20 个互相独立的切片各自只有 5% 的误报机会,至少一个误报的概率也会达到 1−0.9520≈64.2%1-0.95^{20}\approx64.2\%。实际切片可以重叠,这个数字只演示独立情形。本课采用两阶段样本拆分(Sample Splitting)。报警与排查负责选一个问题,新采集的配对样本负责回答它。

01 把排查历史截在第一条确认请求之前#

把报警时间、当时的数据、人工排查结果和选出的切片统称为发现历史(Discovery History)H\mathcal H。例如,团队冻结“移动端退款”切片 S(H)S(\mathcal H)、当前版和基线版(Baseline)、同一套二值失败定义、用户级抽样规则、启用截点、完整标签条件、样本量 nn 和错误概率 α\alpha。所有这些值可以由 H\mathcal H 决定,确认样本(Confirmation Sample)的结果在冻结时保持未知。

阶段读取的数据交给下一阶段的输出
发现截点及以前的报警流、诊断切片一个切片和一个待量化的版本差
冻结发现历史和标注预算切片过滤器、版本指纹、标签规则、采样截点、nn 和 α\alpha
确认截点后的合格请求,同一用户最多一个两个版本在每个请求上的终态标签
发布冻结名单的全部 nn 对结果版本失败率差、区间和确认批次标识

用影子回放(Shadow Replay)让两个冻结版本分别处理同一请求,固定请求输入、检索快照和评审口径。请求信封与副作用隔离沿用此前的影子评估实现。评审可随机打乱输出呈现顺序并隐藏版本名。以独立同分布(Independent and Identically Distributed, IID)的用户级请求作为本课模型,切片成员资格由运行模型之前可见的字段确定。确认名单按预设顺序选满 nn 个合格单位,评审完成后一次性读数。冻结后的目标是这个切片在确认期请求分布上的版本差。若问题是“线上失败率从报警前到报警后变了多少”,应为两个时间窗另设取样方案,流量构成变化也会进入那个问题。

02 一行两列先做差,再跨行取均值#

把二值失败标签放成形状为 [n,2][n,2] 的矩阵 YY。第 ii 行对应同一条新请求,第一列 Yi,cY_{i,c} 是当前版,第二列 Yi,bY_{i,b} 是基线版,1 代表失败。两列在同一请求上往往相关。沿列做差得到形状为 [n][n] 的向量 DD,每个元素 Di=Yi,c−Yi,b∈{−1,0,1}D_i=Y_{i,c}-Y_{i,b}\in\{-1,0,1\}。再沿请求轴平均,得到标量 Δ^\widehat\Delta:

Δ^=1n∑i=1nDi,Δ=E[Di∣H].\widehat\Delta=\frac{1}{n}\sum_{i=1}^nD_i, \qquad \Delta=\mathbb E[D_i\mid\mathcal H].

Δ\Delta 是给定发现历史后,确认期目标切片上的总体失败率差。Δ>0\Delta>0 表示当前版更常失败。概率差是无量纲的,乘以 100 后用百分点报告。相减时两版都成功、两版都失败的行均贡献 0,这些行仍计入分母 nn。

确认请求当前版失败 Yi,cY_{i,c}基线版失败 Yi,bY_{i,b}差 DiD_i
甲10+1
乙10+1
丙01−1
丁110

四条请求给出 Δ^=(1+1−1+0)/4=0.25\widehat\Delta=(1+1-1+0)/4=0.25,即当前版多失败 25 个百分点。样本太小,下一步的区间会覆盖从 −100 到 +100 个百分点的全部可能值。

03 固定名单齐备后,只对这一个冻结目标开封#

给定 H\mathcal H,两个版本和切片都已固定,DiD_i 在请求之间独立,每个取值都落在长度为 2 的区间内。霍夫丁不等式(Hoeffding’s Inequality)给出

Pr⁡ ⁣(∣Δ^−Δ∣≥r∣H)≤2exp⁡(−nr2/2).\Pr\!\left(\left|\widehat\Delta-\Delta\right|\ge r\mid\mathcal H\right) \le 2\exp(-nr^2/2).

令右边等于 α\alpha,得到半宽 r=2log⁡(2/α)/nr=\sqrt{2\log(2/\alpha)/n},其中 log⁡\log 为自然对数。区间为 [Δ^−r,Δ^+r]∩[−1,1][\widehat\Delta-r,\widehat\Delta+r]\cap[-1,1]。它在每个满足抽样条件的发现历史下都至少有 1−α1-\alpha 的覆盖概率,对发现历史取平均后仍成立。这个论证可以容许发现阶段看很多切片,因为在确认数据开封前,待估目标已经锁定。

例如确认期共 200 对,只有当前版失败 50 对,只有基线版失败 10 对,两版都失败 30 对,其余 110 对均成功。当前版失败率为 40%,基线版为 20%,估计差为 +20.0 个百分点。取 α=0.05\alpha=0.05,半宽约 19.21 个百分点,95% 区间约为 [+0.79,+39.21][+0.79,+39.21] 个百分点。区间给出了差距的量级和精度,也显示这种仅依赖取值范围的方法可能很宽。若希望裁剪前的半宽至多为 ww,可反解 n≥2log⁡(2/α)/w2n\ge 2\log(2/\alpha)/w^2,并向上取整。ww 用比例表示,0.05 对应 5 个百分点。

如果确认到一半,区间已经完全在 0 以上呢?

固定样本区间(Fixed-Sample Interval)的保证针对一次预定读数。把“区间首次离开 0”用作停采规则,会使读数时点依赖确认结果。若排查需要随时确认,可在开封前按 置信序列 的设计,为配对差另构造适用的时间一致区间。若要同时确认多个冻结切片,需要为这些区间设计联合覆盖,例如按事先定义的家族分配错误额度。

04 用 Python 检查完整名单并计算区间#

生产中先按冻结的抽样协议得到名单,再对名单中的每个用户做双版本推理与核验。下面的纯 Python 函数接收名单和一次性读出的评审结果。名单元组的长度就是冻结的 nn。每行包含用户标识与两个版本的失败标签,行的回传顺序可以不同。函数输出两版失败率、差和置信区间。调用前由数据管道核验切片、时间截点、版本指纹和评审规则,示例聚焦于读数阶段。

冻结切片、两版模型和固定样本量
从截点之后的新用户中按规则锁定确认名单
对每个用户的请求回放两版模型,收齐两个终态标签
若名单与回传标签无法一一对应,继续等待或排查
按行做差 → 按用户平均 → 计算固定样本区间
text

输出如下,pp 表示百分点,CI 表示置信区间(Confidence Interval)。

n=200, current=40.0%, baseline=20.0%
gap=+20.00 pp, 95% CI=[+0.79, +39.21] pp
text

math.log 求自然对数,math.sqrt 求非负平方根。代码通过 log(2) - log(alpha) 避免先构造可能溢出的比值。名单核对与累加需要 O(n)O(n) 时间和 O(n)O(n) 额外空间,推理及标注成本单独计算。结果保留浮点原值,显示层才转换为百分点并四舍五入。

05 三条检查区分数据故障与真实变化#

  1. 核对独立单位与版本指纹。 分别对发现集、确认集做用户标识去重,再检查跨集重叠和重试链。若同一用户的后续请求受旧请求影响,换一个请求编号仍会留下依赖。共享门店或会话也可能形成簇,应按实际独立单位重新设计采样和分析。特征快照错位时先修复重放,避免把数据源差异计为版本效应。
  2. 对照确认名单和成对结果。 新版超时、旧版无日志或标注未完成时,按冻结的失败定义区别“已判定失败”和“待核验”。查清缺失数量及原因。若最终只能取得部分名单,完整样本区间的计算条件尚未满足。直接删除未完成的行会让标签可得性改变分母。
  3. 记录每一次开封。 在看见确认结果后扩大切片、修改失败规则或换一个基线,会产生新的估计目标。为新目标再留一批独立数据,或在开封前规划联合分析。若已经把同一确认集用于多次试探,保留试探日志供后续发现使用。
已经有配对检验,为什么还计算差值区间?

麦克尼马尔检验(McNemar’s Test)使用两类不一致对,回答两版的边际失败率相等这一假设是否得到拒绝。配对差区间给出与样本相容的差距范围,便于和团队关心的百分点阈值比较。两种方法的抽样设计都要先处理选切片的问题。使用独立确认集仍需为单次读数保留足够样本。对于只有服务后果标签、无法对同一请求评估两版的任务,影子回放只能评估替代指标,真实后果需要随机线上比较或合适的因果设计。

思考练习#

  1. 互换四条请求表格里的两个版本。手算点估计与区间方向怎样变化,再用代码检查 200 对案例的端点。
  2. 用 α=0.05\alpha=0.05 和 w=0.05w=0.05 计算裁剪前所需的确认样本量。如果真实差距约 2 个百分点,解释为何这个精度预算很难确认差距方向。
  3. 团队在确认集中看到新版比旧版多超时,于是删除只有一版返回的请求后重新算区间。列出需要查的三种日志,再写一条可在开封前冻结的超时与缺标规则。

相关工作#

  1. Cox(1975)分析用一部分样本选假设、另一部分评估显著性的设计与效率。 A Note on Data-Splitting for the Evaluation of Significance Levels ↗
  2. Hoeffding(1963)推导独立有界变量和的尾概率上界,为本篇有限样本区间提供依据。 Probability Inequalities for Sums of Bounded Random Variables ↗
  3. McNemar(1947)研究相关比例差的抽样误差,适合对照同一请求上两列标签的依赖结构。 Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages ↗
  4. Dwork 等(2015)研究适应性查询为什么会逐步耗损留出集,并提出有统计保证的复用机制。 Generalization in Adaptive Data Analysis and Holdout Reuse ↗

下一篇预告#

若只有当前版失败与只有基线版失败的请求都很少,通用区间仍按最坏取值范围付出精度代价。下一篇用不一致对的频率设计更紧的配对差区间,并检查零个不一致对时还能学到多少。

报警后挑中的切片到底差多少?用独立配对样本确认版本差距
https://zwjcode.cn/blog/audit-post-alert-paired-confirmation
作者 傑
发布于 2026年11月13日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。