报警后挑中的切片到底差多少?用独立配对样本确认版本差距
冻结报警后选出的切片与两套模型,在新请求上逐对核验失败标签,并用固定样本的 Hoeffding 区间量化失败率差。
上一篇的报警账本记录了哪个版本、哪个截点触发报警。客服模型报警后,团队翻看最近的工单,发现“移动端退款”切片(Slice)的失败率涨得最多。值班人员要回答一个更具体的问题:在接下来的同类请求上,当前版比上一稳定版多失败多少个百分点?
从同一批工单里挑涨幅最大的切片、估计差距、再套普通置信区间,三步都受同一批噪声影响。即使 20 个互相独立的切片各自只有 5% 的误报机会,至少一个误报的概率也会达到 。实际切片可以重叠,这个数字只演示独立情形。本课采用两阶段样本拆分(Sample Splitting)。报警与排查负责选一个问题,新采集的配对样本负责回答它。
01 把排查历史截在第一条确认请求之前#
把报警时间、当时的数据、人工排查结果和选出的切片统称为发现历史(Discovery History)。例如,团队冻结“移动端退款”切片 、当前版和基线版(Baseline)、同一套二值失败定义、用户级抽样规则、启用截点、完整标签条件、样本量 和错误概率 。所有这些值可以由 决定,确认样本(Confirmation Sample)的结果在冻结时保持未知。
| 阶段 | 读取的数据 | 交给下一阶段的输出 |
|---|---|---|
| 发现 | 截点及以前的报警流、诊断切片 | 一个切片和一个待量化的版本差 |
| 冻结 | 发现历史和标注预算 | 切片过滤器、版本指纹、标签规则、采样截点、 和 |
| 确认 | 截点后的合格请求,同一用户最多一个 | 两个版本在每个请求上的终态标签 |
| 发布 | 冻结名单的全部 对结果 | 版本失败率差、区间和确认批次标识 |
用影子回放(Shadow Replay)让两个冻结版本分别处理同一请求,固定请求输入、检索快照和评审口径。请求信封与副作用隔离沿用此前的影子评估实现。评审可随机打乱输出呈现顺序并隐藏版本名。以独立同分布(Independent and Identically Distributed, IID)的用户级请求作为本课模型,切片成员资格由运行模型之前可见的字段确定。确认名单按预设顺序选满 个合格单位,评审完成后一次性读数。冻结后的目标是这个切片在确认期请求分布上的版本差。若问题是“线上失败率从报警前到报警后变了多少”,应为两个时间窗另设取样方案,流量构成变化也会进入那个问题。
02 一行两列先做差,再跨行取均值#
把二值失败标签放成形状为 的矩阵 。第 行对应同一条新请求,第一列 是当前版,第二列 是基线版,1 代表失败。两列在同一请求上往往相关。沿列做差得到形状为 的向量 ,每个元素 。再沿请求轴平均,得到标量 :
是给定发现历史后,确认期目标切片上的总体失败率差。 表示当前版更常失败。概率差是无量纲的,乘以 100 后用百分点报告。相减时两版都成功、两版都失败的行均贡献 0,这些行仍计入分母 。
| 确认请求 | 当前版失败 | 基线版失败 | 差 |
|---|---|---|---|
| 甲 | 1 | 0 | +1 |
| 乙 | 1 | 0 | +1 |
| 丙 | 0 | 1 | −1 |
| 丁 | 1 | 1 | 0 |
四条请求给出 ,即当前版多失败 25 个百分点。样本太小,下一步的区间会覆盖从 −100 到 +100 个百分点的全部可能值。
03 固定名单齐备后,只对这一个冻结目标开封#
给定 ,两个版本和切片都已固定, 在请求之间独立,每个取值都落在长度为 2 的区间内。霍夫丁不等式(Hoeffding’s Inequality)给出
令右边等于 ,得到半宽 ,其中 为自然对数。区间为 。它在每个满足抽样条件的发现历史下都至少有 的覆盖概率,对发现历史取平均后仍成立。这个论证可以容许发现阶段看很多切片,因为在确认数据开封前,待估目标已经锁定。
例如确认期共 200 对,只有当前版失败 50 对,只有基线版失败 10 对,两版都失败 30 对,其余 110 对均成功。当前版失败率为 40%,基线版为 20%,估计差为 +20.0 个百分点。取 ,半宽约 19.21 个百分点,95% 区间约为 个百分点。区间给出了差距的量级和精度,也显示这种仅依赖取值范围的方法可能很宽。若希望裁剪前的半宽至多为 ,可反解 ,并向上取整。 用比例表示,0.05 对应 5 个百分点。
如果确认到一半,区间已经完全在 0 以上呢?
固定样本区间(Fixed-Sample Interval)的保证针对一次预定读数。把“区间首次离开 0”用作停采规则,会使读数时点依赖确认结果。若排查需要随时确认,可在开封前按 置信序列 的设计,为配对差另构造适用的时间一致区间。若要同时确认多个冻结切片,需要为这些区间设计联合覆盖,例如按事先定义的家族分配错误额度。
04 用 Python 检查完整名单并计算区间#
生产中先按冻结的抽样协议得到名单,再对名单中的每个用户做双版本推理与核验。下面的纯 Python 函数接收名单和一次性读出的评审结果。名单元组的长度就是冻结的 。每行包含用户标识与两个版本的失败标签,行的回传顺序可以不同。函数输出两版失败率、差和置信区间。调用前由数据管道核验切片、时间截点、版本指纹和评审规则,示例聚焦于读数阶段。
冻结切片、两版模型和固定样本量
从截点之后的新用户中按规则锁定确认名单
对每个用户的请求回放两版模型,收齐两个终态标签
若名单与回传标签无法一一对应,继续等待或排查
按行做差 → 按用户平均 → 计算固定样本区间textfrom math import log, sqrt
def paired_interval(roster, rows, alpha=0.05):
"""Read one complete batch of (user_id, current_failure, baseline_failure)."""
if not 0 < alpha < 1:
raise ValueError("alpha must lie strictly between zero and one")
expected = set(roster)
n = len(roster)
if n == 0 or len(expected) != n:
raise ValueError("the frozen roster must be nonempty with unique users")
seen = set()
current_total = baseline_total = difference_total = 0
for user_id, current, baseline in rows:
if user_id not in expected or user_id in seen:
raise ValueError("unexpected or repeated user")
if any(type(value) is not int or value not in (0, 1)
for value in (current, baseline)):
raise ValueError("each version needs a final integer 0/1 label")
seen.add(user_id)
current_total += current
baseline_total += baseline
difference_total += current - baseline
if seen != expected:
raise ValueError("waiting for labels from the full frozen roster")
estimate = difference_total / n
radius = sqrt(2 * (log(2) - log(alpha)) / n)
return {
"n": n,
"current_rate": current_total / n,
"baseline_rate": baseline_total / n,
"difference": estimate,
"interval": (max(-1.0, estimate - radius),
min(1.0, estimate + radius)),
}
if __name__ == "__main__":
label_pairs = [(1, 0)] * 50 + [(0, 1)] * 10 + [(1, 1)] * 30 + [(0, 0)] * 110
roster = tuple(f"u{i}" for i in range(len(label_pairs)))
rows = [(user_id, current, baseline)
for user_id, (current, baseline) in zip(roster, label_pairs)]
result = paired_interval(roster, rows)
lo, hi = result["interval"]
print(f"n={result['n']}, current={result['current_rate']:.1%}, "
f"baseline={result['baseline_rate']:.1%}")
print(f"gap={100 * result['difference']:+.2f} pp, "
f"95% CI=[{100 * lo:+.2f}, {100 * hi:+.2f}] pp")python输出如下,pp 表示百分点,CI 表示置信区间(Confidence Interval)。
n=200, current=40.0%, baseline=20.0%
gap=+20.00 pp, 95% CI=[+0.79, +39.21] pptextmath.log 求自然对数,math.sqrt 求非负平方根。代码通过 log(2) - log(alpha) 避免先构造可能溢出的比值。名单核对与累加需要 时间和 额外空间,推理及标注成本单独计算。结果保留浮点原值,显示层才转换为百分点并四舍五入。
05 三条检查区分数据故障与真实变化#
- 核对独立单位与版本指纹。 分别对发现集、确认集做用户标识去重,再检查跨集重叠和重试链。若同一用户的后续请求受旧请求影响,换一个请求编号仍会留下依赖。共享门店或会话也可能形成簇,应按实际独立单位重新设计采样和分析。特征快照错位时先修复重放,避免把数据源差异计为版本效应。
- 对照确认名单和成对结果。 新版超时、旧版无日志或标注未完成时,按冻结的失败定义区别“已判定失败”和“待核验”。查清缺失数量及原因。若最终只能取得部分名单,完整样本区间的计算条件尚未满足。直接删除未完成的行会让标签可得性改变分母。
- 记录每一次开封。 在看见确认结果后扩大切片、修改失败规则或换一个基线,会产生新的估计目标。为新目标再留一批独立数据,或在开封前规划联合分析。若已经把同一确认集用于多次试探,保留试探日志供后续发现使用。
已经有配对检验,为什么还计算差值区间?
麦克尼马尔检验(McNemar’s Test)使用两类不一致对,回答两版的边际失败率相等这一假设是否得到拒绝。配对差区间给出与样本相容的差距范围,便于和团队关心的百分点阈值比较。两种方法的抽样设计都要先处理选切片的问题。使用独立确认集仍需为单次读数保留足够样本。对于只有服务后果标签、无法对同一请求评估两版的任务,影子回放只能评估替代指标,真实后果需要随机线上比较或合适的因果设计。
思考练习#
- 互换四条请求表格里的两个版本。手算点估计与区间方向怎样变化,再用代码检查 200 对案例的端点。
- 用 和 计算裁剪前所需的确认样本量。如果真实差距约 2 个百分点,解释为何这个精度预算很难确认差距方向。
- 团队在确认集中看到新版比旧版多超时,于是删除只有一版返回的请求后重新算区间。列出需要查的三种日志,再写一条可在开封前冻结的超时与缺标规则。
相关工作#
- Cox(1975)分析用一部分样本选假设、另一部分评估显著性的设计与效率。 A Note on Data-Splitting for the Evaluation of Significance Levels ↗
- Hoeffding(1963)推导独立有界变量和的尾概率上界,为本篇有限样本区间提供依据。 Probability Inequalities for Sums of Bounded Random Variables ↗
- McNemar(1947)研究相关比例差的抽样误差,适合对照同一请求上两列标签的依赖结构。 Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages ↗
- Dwork 等(2015)研究适应性查询为什么会逐步耗损留出集,并提出有统计保证的复用机制。 Generalization in Adaptive Data Analysis and Holdout Reuse ↗
下一篇预告#
若只有当前版失败与只有基线版失败的请求都很少,通用区间仍按最坏取值范围付出精度代价。下一篇用不一致对的频率设计更紧的配对差区间,并检查零个不一致对时还能学到多少。