线上回答没有报错,为何质量仍在下滑?LLM Drift Monitoring 的切片、参考窗口与 CUSUM
从无即时真值的线上回答出发,区分输入、模型与评测器漂移,手算单侧 CUSUM,用分层代理指标、延迟标签和可执行门槛发现渐进回退。
上一篇用 Request Tracing 找到了“这次请求为何慢”。但更危险的线上退化往往不报错:回答仍返回 200,延迟也正常,只是代码通过率从 78% 缓慢降到 73%,引用正确率只在某个语言切片下降,用户投诉又要几天后才到。
Drift Monitoring(漂移监控)不是看到两条曲线不同就报警,而是持续回答三个问题:什么变了、变化是否超出正常噪声、谁该采取什么动作。本篇聚焦参考窗口、分层信号和单侧 CUSUM(累积和控制图)。
01 先区分三种“漂移”#
flowchart LR
X[输入 P(X)] --> M[模型与系统 P(Y|X)] --> O[输出与行为]
J[评测器/标签规则] --> S[观测分数]
O --> S
X -. 流量/概念变化 .-> D1[Input drift]
M -. 权重/提示/检索变化 .-> D2[Model drift]
J -. judge/规则变化 .-> D3[Measurement drift]mermaid- Input Drift(输入漂移):Prompt 长度、语言、任务或用户群改变,。
- Model/Conditional Drift(模型或条件漂移):相同输入下行为改变,,可能来自权重、system prompt、检索库、路由或工具。
- Measurement Drift(测量漂移):Judge 模型、提示词、规则或人工标注标准改变,分数变了但产品未必变。
只监控输入分布不能证明质量下降;只监控总质量分数又可能把流量构成变化误判为模型回退。必须同时版本化输入切片、服务栈和评测器。
02 没有即时真值时,监控什么?#
信号分三层:
| 层 | 例子 | 到达速度 | 局限 |
|---|---|---|---|
| 确定性结果 | JSON schema、单测、引用存在、工具成功 | 秒–分钟 | 覆盖面窄 |
| 代理质量 | 拒答率、重复率、引用蕴含、校准过的 judge | 分钟–小时 | 会偏、会漂移 |
| 延迟结果 | 投诉、追问、人工复核、任务完成 | 小时–周 | 反馈选择偏差 |
HTTP 200、低 loss 或高平均 reward 都不是通用质量真值。应按任务定义最接近用户结果的可执行检查,并保留“未知”,不要把缺失标签填成失败或成功。
03 数据流与张量:每条请求怎样变成监控样本?#
第 条请求抽取低敏感特征
例如输入/输出 token 数、语言、任务、检索文档数、工具次数和模型 revision。多个质量检查得到
并带可用掩码 。窗口内第 个指标不能直接把缺失当 0:
同时报告分母、覆盖率和延迟分布。若差评只覆盖 2% 用户,negative_rate=5% 没有 feedback_coverage=2% 就很容易误导。
04 参考窗口不是“永远拿上线第一天比较”#
Baseline(参考窗口)应满足:
- 模型、prompt、retrieval 和 judge 版本已冻结;
- 覆盖工作日/周末等已知周期;
- 没有事故、营销洪峰或数据缺失;
- 每个关键切片有足够样本;
- 保存样本构成和置信区间,而不只是一个均值。
固定参考适合检测长期偏离,却会把正常季节性当漂移;滚动参考适应季节性,却可能把缓慢退化“煮青蛙”式吸收。常见做法是双参考:近 7 天同小时对照短期异常,最近一次人工批准的黄金窗口对照长期质量。
05 为什么总体均值会掩盖关键切片?#
假设稳定期总体质量 0.84,其中普通问答占 90%、代码任务占 10%。新版普通问答从 0.85 升到 0.86,代码从 0.75 降到 0.65:
总体只下降 0.001,几乎看不见;代码切片却回退 0.10。若流量构成又变成 98% 普通问答,总体甚至可能上升。
切片应在事故前预注册:任务、语言、输入长度、租户等级、工具类型、模型/提示版本。临时枚举几百个切片再挑最差者,会制造多重比较假阳性。稀疏切片应合并、延长窗口或使用分层模型,而不是用两个样本触发回滚。
06 CUSUM 为什么能积累小而持续的下降?#
单点阈值很难发现 2–3 个百分点的持续回退。对“越低越坏”的质量指标,设参考均值 、容忍带 ,定义单侧负向累积:
当
时告警。 允许小噪声自行消散; 控制触发所需的累计证据。它们必须用历史稳定期回放校准,而不是凭直觉设成 0.01。
07 极小手算:三个小下降怎样合成告警?#
设 、、,连续窗口质量为 0.79, 0.76, 0.75, 0.74:
| t | ||
|---|---|---|
| 1 | 0.00 | 0.00 |
| 2 | -0.03 | -0.03 |
| 3 | -0.04 | -0.07 |
| 4 | -0.05 | -0.12 |
第四个窗口越过 。一次 0.76 没触发,但持续下降会累积。若后续回到 0.82,增量为 +0.03, 会向 0 恢复。
CUSUM 漂移探测器
改变线上质量下降幅度与容忍带,观察随机噪声何时累积成告警。
08 一个透明的 Python 实现#
from dataclasses import dataclass
@dataclass(frozen=True)
class Alarm:
index: int
value: float
cumulative: float
def lower_cusum(
values: list[float],
baseline: float,
allowance: float,
threshold: float,
) -> list[Alarm]:
if allowance < 0 or threshold <= 0:
raise ValueError("allowance >= 0 and threshold > 0 are required")
cumulative = 0.0
alarms: list[Alarm] = []
for index, value in enumerate(values):
cumulative = min(0.0, cumulative + (value - baseline) + allowance)
if cumulative < -threshold:
alarms.append(Alarm(index, value, cumulative))
cumulative = 0.0 # 报警后重置;也可以进入显式 incident 状态
return alarms
series = [0.79, 0.76, 0.75, 0.74]
print(lower_cusum(series, baseline=0.80, allowance=0.01, threshold=0.08))
# [Alarm(index=3, value=0.74, cumulative=-0.12)]python输入是等时间窗口的聚合质量值,不是逐 token 张量。生产实现还应携带每窗样本数、覆盖率、置信度、切片与版本,并对低样本窗口返回 insufficient_data。
09 与 怎样校准?#
设希望检测最小下降 ,在标准化观测下常以 作为起点; 越大,误报更少、检测更慢。实际指标往往非正态、相关且有昼夜周期,因此最可靠的方法是稳定历史回放:
for each candidate (k, h):
replay stable days -> false alarms / week
inject realistic 2%, 5%, 10% regressions
measure detection delay and miss rate
choose a policy meeting both budgetstext不要先看事故数据再调到“恰好能报警”,那只是过拟合一次事件。阈值、窗口大小和处置动作都要版本化。
10 分布漂移怎样量化?#
质量还没返回时,可先监控输入特征。对离散任务分布 (参考)与 (当前),Population Stability Index(PSI)常写为
它能说明构成变了,却不说明变化有害。对于 embedding,直接逐维做检验既难解释又有多重比较;更可操作的是任务/语言/长度直方图、检索命中、工具路径和少量经验证的表示统计。
所有 bin 必须预先固定,并对 0 概率做平滑。用当前数据重新定义分箱,会把最值得检测的变化藏起来。
11 怎样区分模型退化与流量变化?#
按以下顺序排查:
- 测量链是否变了:Judge、规则、采样、缺失率、数据延迟。
- 服务版本是否变了:模型、量化、system prompt、tokenizer、检索索引、工具。
- 输入构成是否变了:语言、任务、长度、租户、地区。
- 同切片是否仍下降:在相同任务与版本内比较。
- 回放是否复现:从参考与当前各抽一组脱敏样本,固定评测器重跑。
若总体下降但每个切片内部稳定,通常是 Mix Shift(构成变化);若同一稳定回放集在新模型下降,更像条件漂移;若旧输出被新 Judge 打低,先调查测量漂移。
12 从检测到行动:告警必须绑定状态机#
stateDiagram-v2
[*] --> Healthy
Healthy --> Suspect: CUSUM 越界
Suspect --> Healthy: 重算未复现
Suspect --> Investigating: 覆盖率与版本可信
Investigating --> Mitigating: 关键切片回退
Investigating --> Monitor: 输入构成变化
Mitigating --> Recovering: 回滚/修复
Recovering --> Healthy: 连续窗口恢复mermaid单个代理指标越界通常先 Suspect,不应自动回滚全部流量。安全拒答率、严重工具副作用或确定性合规检查可设为硬门槛;文风 Judge 的 2% 波动更适合人工复核。
每次告警保存:窗口、切片、分母、基线、算法版本、相关 deployment、代表性 trace 和处置结论。否则团队只能重复经历同一场调查。
13 缺失、延迟与反馈偏差#
用户反馈不是随机样本:极满意或极不满用户更可能点击;长任务更晚返回结果;超时请求甚至没有质量分。需要同时监控:
eligible_count:理论可评估请求数;observed_count:已得到标签数;coverage=observed/eligible;label_lag:从请求到标签的时间;- 按长度、语言和结果状态分层的覆盖率。
若质量分上升但覆盖率从 80% 降到 20%,应先暂停结论。可以对延迟标签做成熟窗口,只比较已经有足够时间返回结果的 cohort。
14 最短调试路径#
| 现象 | 常见原因 | 首先检查 |
|---|---|---|
| 总体下降、各切片稳定 | 流量构成变化 | 切片权重与标准化汇总 |
| 所有模型同一时刻下降 | Judge/规则或数据管道变化 | evaluator revision、coverage |
| 只有长输入下降 | 截断、上下文或路由变化 | token 分布、max length、route |
| CUSUM 每周一报警 | 周期性未建模 | 同小时/同星期参考 |
| 小切片频繁报警 | 分母太小 | 最小样本、区间、分层收缩 |
| 回滚后指标仍不恢复 | 非模型根因或标签滞后 | 检索、工具、成熟 cohort |
| Dashboard 正常但投诉增加 | 代理指标覆盖不足 | 投诉样本人工归类与新测试 |
先验证测量系统,再责怪模型。监控器自身也是一个需要测试、版本化和监控的模型。
15 失败场景与局限#
- CUSUM 假设参考过程相对稳定;强周期与自相关会增加误报。
- 漂移检测能发现变化,不能单独建立因果关系。
- 预注册切片仍可能漏掉新型失败;人工事故复盘要反哺测试集合。
- 太多切片与指标会造成告警疲劳和多重比较问题。
- Judge 漂移、提示注入和文风偏好可能制造虚假的质量变化。
- 隐私限制可能不允许保存复现样本;应保留最小统计量并设计受控审计流程。
- 模型可在平均质量稳定时出现极少但严重的安全事故,需独立红队与硬规则。
16 Drift Detection、A/B Test 与 Data Validation 的区别#
| 方法 | 主要问题 | 是否需要随机对照 |
|---|---|---|
| Data Validation | 输入是否违反 schema/范围 | 否 |
| Drift Detection | 当前过程是否偏离参考 | 否,但只能提示变化 |
| A/B Test | 候选是否因果地改善结果 | 是,通常需要 |
| Canary Guardrail | 小流量发布是否安全继续 | 同时段对照最可靠 |
Drift 适合持续守望,A/B 适合因果比较,Canary 适合限制发布风险。三者共享指标,却不能互相替代。
17 今天真正需要记住什么?#
- 先区分输入、模型和评测器漂移;一个分数下降并不自动指向模型权重。
- 总体均值必须配合预注册任务切片、分母、覆盖率与标签延迟。
- 单侧 CUSUM 用容忍带过滤小噪声,用累计和发现持续小回退;阈值应以稳定历史回放校准。
- 告警只开启调查;只有高可信、可执行的硬信号才适合自动回滚。
18 思考题与小练习#
- 取 ,手算序列
0.89, 0.87, 0.91, 0.86的 ,指出首次是否告警。 - 某天总体质量从 0.82 降到 0.79,同时代码任务占比从 10% 升到 30%。设计一个固定切片权重的标准化汇总,判断是构成变化还是切片内回退。
- 扩展 Python:每个窗口还接收
observed与eligible;覆盖率低于 80% 时冻结 CUSUM 并返回insufficient_data。
相关工作#
- Page, Continuous Inspection Schemes ↗,提出经典 CUSUM 顺序变化检测。
- Gama et al., A Survey on Concept Drift Adaptation ↗,系统梳理概念漂移、检测与适应方法。
- Lipton et al., Detecting and Correcting for Label Shift with Black Box Predictors ↗,讨论标签分布变化的识别与校正。
- Sculley et al., Hidden Technical Debt in Machine Learning Systems ↗,解释监控、反馈回路与数据依赖的长期系统风险。
- Ribeiro et al., CheckList: Beyond Accuracy for Behavioral Testing of NLP Models ↗,展示按能力与测试类型组织可解释行为检查的方法。
19 下一篇预告#
漂移告警告诉我们“线上过程已经偏离参考”,却仍可能等到用户受影响后才发现。下一篇将进入 ML Incident Response:怎样把质量、容量与安全信号编成分级预案,用冻结变更、降级、回滚与证据保全缩短恢复时间。