只给新版 5% 流量,多久才敢继续扩量?LLM Canary Analysis 的样本量、序贯门槛与护栏
从小流量灰度的低统计功效出发,手算错误率差异,设计分层对照、序贯判定、质量护栏与自动扩量状态机。
上一篇解决了 LLM 滚动更新的预热、连接排水与回滚容量,却把最难的问题留给了“观察一会儿”:新版接 5% 真实流量后,指标看起来不错,究竟是它真的没有退化,还是样本太少、坏请求还没出现?
Canary Analysis(灰度分析)不是盯着仪表盘等一条绿线,而是一个带对照组、最小样本量、观察窗和停止规则的在线实验。本篇只讲四件紧密相关的事:可比流量、效应与样本量、序贯门槛、自动扩量状态机。
01 为什么“5 分钟没有报错”几乎没有信息?#
假设稳定版错误率为 1%,新版真实错误率升到 2%。Canary 每分钟只收到 20 个请求,5 分钟共 100 个请求:
- 若真实错误率是 1%,看到 0 个错误的概率约为 ;
- 若真实错误率是 2%,看到 0 个错误的概率仍有 。
因此“零错误”既不证明新版安全,也不证明它与稳定版等价。低基准率事件需要更多样本;尾延迟还需要足够多的尾部样本,生成质量则常要按任务分层。
flowchart LR
A[真实请求] --> H{按稳定键哈希}
H -->|95%| S[稳定版 v0]
H -->|5%| C[Canary v1]
S --> M[版本 + 请求形状指标]
C --> M
M --> G{样本量 + 观察窗 + 护栏}
G -->|证据不足| W[保持权重]
G -->|通过| P[逐级扩量]
G -->|硬护栏失败| R[立即回滚]mermaid关键不是“Canary 有多少请求”,而是稳定版与新版是否在同一时段面对可比较的请求。
02 实验单位:一次请求、一个会话,还是一个用户?#
如果同一多轮会话的第一轮进入稳定版、第二轮进入新版,KV Cache、系统提示、工具状态和用户体验会被拆开。随机化单位应与干扰边界一致:
| 场景 | 推荐分流键 | 原因 |
|---|---|---|
| 无状态单轮分类 | request_id | 每次请求近似独立 |
| 多轮聊天 | conversation_id | 保持上下文、KV 与版本一致 |
| 账户级个性化 | tenant_id + user_id | 防止版本差异污染同一用户 |
| Prefix Cache 亲和路由 | prefix_hash + model_id | 保持缓存命中,同时记录负载偏差 |
| 企业租户有独立数据分布 | 租户内分层随机 | 避免大租户只落入某一版本 |
最好用确定性哈希,而不是每次抛硬币:
bucket = hash(experiment_id, assignment_key) mod 10_000
variant = canary if bucket < canary_weight * 10_000 else stabletextexperiment_id 必须进入哈希,否则相同用户在多个实验里总被分到同一侧。记录的不是用户明文,而是受控的不可逆实验键、实验版本与实际服务版本。
03 先定义最小重要退化,而不是看见差异再定规则#
设稳定版失败率为 ,Canary 为 ,关心的绝对增量为
发布前应定义 Non-Inferiority Margin(非劣界值):最多能接受多少退化。若 个百分点,目标不是证明 ,而是检验新版是否很可能满足
两个独立比例差的近似标准误为
其中 是两组请求数。一个教学用的约 95% 区间是 。若下界都高于 ,说明退化证据足以回滚;若上界低于 ,才有较强的非劣证据;夹在中间就是“不确定”,而不是“通过”。
极小手算例子#
每组各 400 个请求,稳定版 4 个失败、Canary 12 个失败:
区间约为 。若容忍增量是 1 个百分点,点估计已经很糟,但下界尚未越过 1%;单靠这个近似检验仍属不确定。此时正确动作通常是停止扩量、继续收样本,而不是宣称安全,也不是让脚本每分钟来回回滚。
Canary 判定实验室
调整样本量与失败数,观察“点估计变差”和“证据足以回滚”之间的差别。
- 稳定版失败率
- Canary 失败率
- 增量点估计
- 约 95% 下界
04 一个指标不够:硬护栏、比较指标与诊断指标#
LLM 发布同时改变质量、延迟、吞吐和成本。指标应分三层:
- 硬护栏:进程崩溃、OOM、5xx、输出 NaN、安全策略绕过;少量明确事件即可暂停或回滚。
- 比较指标:TTFT、TPOT、完整请求时长、成功率、每请求 GPU 秒、任务质量,按版本比较。
- 诊断指标:输入/输出 token、batch 大小、KV 命中、队列时间、截断原因,用于解释差异,通常不单独决定扩量。
一个请求的时间线可写成
其中 TTFT 主要包含排队与 Prefill,TPOT 则更接近 Decode 稳态。只看端到端 p99 会把“新调度器排队更慢”和“新 kernel 解码更慢”混为一谈。
建议每条记录至少包含:
{
"experiment": "runtime-2026-09-26",
"variant": "canary",
"model_digest": "sha256:…",
"runtime_digest": "sha256:…",
"input_tokens": 1430,
"output_tokens": 286,
"queue_ms": 31,
"ttft_ms": 218,
"tpot_ms": 19.4,
"finish_reason": "stop",
"quality_slice": "code"
}jsonvariant 是实验分组,digest 是实际执行实体;两者都要记录,才能发现“标成 Canary 的请求其实打到旧镜像”这类控制面错误。
05 分层:总体变好也可能伤害最重要的人#
假设新版在短问答上快 15%,但长上下文 TTFT 慢 40%。短请求占 90% 时,总体均值仍会变好。至少按以下维度预注册切片:
- prompt 与 output token 区间;
- 流式/非流式、工具调用、结构化输出;
- 模型、租户等级与区域;
- Prefix Cache 命中/未命中;
- 任务类型与安全风险等级。
维度不是越多越好。上线后临时切 200 个小组,总能找到几个“显著”异常。只把高业务风险、机制上合理的切片作为阻断条件;其余用于诊断,并对多重比较做校正或人工复核。
06 为什么不能每分钟做一次固定检验?#
如果每分钟按 重复检查并在第一次显著时停止,False Positive(假阳性)会随窥视次数增加。Canary 天然是 Sequential Experiment(序贯实验),停止规则必须属于设计的一部分。
工程上常见三种策略:
| 策略 | 优点 | 代价 |
|---|---|---|
| 固定样本 + 固定观察窗 | 简单、易审计 | 明显故障也要等,或另设硬护栏 |
| Alpha spending / group sequential | 允许分阶段看数据 | 门槛随阶段变化,需统计设计 |
| 贝叶斯后验 + 决策损失 | 直接表达退化概率 | 依赖先验与模型校准 |
无论哪种,都应设置:最小样本 、最短墙钟时间 、最大等待 、扩量/回滚/继续观察三个区域。墙钟时间防止恰好只采到一个流量周期;最大等待防止发布永远卡住。
三态门控伪代码#
observe(stable, canary):
if crash_or_safety_guardrail_failed(canary):
return ROLLBACK
if elapsed < T_min or samples < n_min:
return HOLD
for slice in preregistered_slices:
evidence = compare(canary[slice], stable[slice])
if evidence.proves_harm_beyond_margin:
return ROLLBACK
if not evidence.supports_non_inferiority:
return HOLD
return PROMOTEtext这里 HOLD 是一等状态。证据不足绝不能被编码成成功。
07 用 Python 实现可审计的近似门控#
下面只使用标准库,输入为两版本计数、容忍增量与预注册预算,输出为 rollback、hold 或 promote。它展示控制流,不替代正式统计评审。
from dataclasses import dataclass
from math import sqrt
from typing import Literal
Decision = Literal["rollback", "hold", "promote"]
@dataclass(frozen=True)
class BinaryWindow:
stable_failures: int
stable_total: int
canary_failures: int
canary_total: int
elapsed_minutes: float
def decide(
window: BinaryWindow,
margin: float = 0.005,
min_samples_per_arm: int = 2_000,
min_minutes: float = 30,
z: float = 1.96,
) -> tuple[Decision, dict[str, float]]:
counts = (
window.stable_failures,
window.stable_total,
window.canary_failures,
window.canary_total,
)
if min(counts) < 0 or window.stable_failures > window.stable_total \
or window.canary_failures > window.canary_total:
raise ValueError("invalid failure counts")
if min(window.stable_total, window.canary_total) == 0:
return "hold", {"reason": 0.0}
p0 = window.stable_failures / window.stable_total
p1 = window.canary_failures / window.canary_total
delta = p1 - p0
se = sqrt(
p0 * (1 - p0) / window.stable_total
+ p1 * (1 - p1) / window.canary_total
)
lower, upper = delta - z * se, delta + z * se
stats = {"delta": delta, "lower": lower, "upper": upper}
# 明确损害可以先停;安全/OOM 等硬护栏应在函数外更早处理。
if lower > margin:
return "rollback", stats
mature = (
min(window.stable_total, window.canary_total) >= min_samples_per_arm
and window.elapsed_minutes >= min_minutes
)
if mature and upper < margin:
return "promote", stats
return "hold", statspython输入 BinaryWindow(4, 400, 12, 400, 10) 会得到 hold:样本与时长都未成熟,区间也没有证明越过界值。生产实现还要保存每次判定的输入快照、代码版本和决策原因,保证事后可复现。
08 当前 Kubernetes 加权流量 API 怎样表达?#
Kubernetes 官方 Canary 教程给出的精确权重方案使用 Gateway API 的 gateway.networking.k8s.io/v1 HTTPRoute。稳定版和 Canary 各有独立 Service:
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
name: llm-api
spec:
parentRefs:
- name: public-gateway
rules:
- backendRefs:
- name: llm-stable
port: 8000
weight: 95
- name: llm-canary
port: 8000
weight: 5yamlweight 是相对权重,实际比例还要从请求遥测验证。Gateway API 需要集群已安装相应 controller;仅创建资源不保证数据平面支持。Kubernetes Service 的 trafficDistribution 面向拓扑偏好,不是版本级 95/5 灰度开关。
扩量控制器可以按 1% → 5% → 20% → 50% → 100% 更新权重,但每一级都必须重新满足样本与时间门槛。版本、配置、量化方式或路由策略改变任何一项,都应生成新的 experiment_id,不能沿用旧证据。
09 自动扩量状态机#
PENDING
└─ readiness + smoke pass ─> CANARY_1
├─ hard failure ─> ROLLBACK
├─ evidence uncertain ─> HOLD
└─ all gates pass ─> CANARY_5 ─> CANARY_20 ─> CANARY_50 ─> PROMOTED
任一阶段:配置漂移 / 遥测缺失 / 对照污染 ─> PAUSEDtextPAUSED 与 ROLLBACK 要分开。指标系统故障不代表模型坏了,但没有证据也不能继续扩量。控制器失联时应 fail closed:保持当前小权重或回到安全权重,而不是默认 100%。
10 最短调试路径#
| 现象 | 常见原因 | 首先检查 |
|---|---|---|
| 配置 5%,实际只有 1% | 长连接复用、会话哈希、权重未传播 | 网关配置版本、请求级 variant 计数 |
| Canary TTFT 慢但 TPOT 正常 | 冷缓存、排队或 Prefill 回归 | queue/prefill 分段、缓存命中、输入长度 |
| 总体质量上升,代码任务下降 | 流量构成掩盖分层回归 | 预注册任务切片与每层置信区间 |
| 指标忽好忽坏 | 小样本重复窥视、昼夜流量变化 | 样本数、停止规则、同时段对照 |
| 一直 HOLD | 界值太小或流量不足 | 最小可检测效应、Canary 权重、最大等待 |
| 自动扩量后突然 OOM | 小权重时未覆盖并发峰值 | batch/KV 峰值、并发与缓存驻留 |
先验证分组与遥测,再解释统计结果。错误的 variant 标签会让再精密的检验都失去意义。
11 失败场景与局限#
- Novelty Effect(新奇效应)与用户反馈延迟可能超过发布窗口;Canary 不能替代长期 A/B 实验。
- 稀有安全事故即使零观测也不等于零风险,需要红队、策略测试与人工升级通道。
- 稳定版和 Canary 共享下游检索、缓存或 GPU 节点时会互相干扰,违反独立性假设。
- 质量评估器本身可能偏向某种文风或长度;自动 judge 必须做人工校准并版本化。
- 流量只覆盖当前用户分布,无法证明新区域、新租户或灾备场景安全。
- Canary 权重太小会拖长判定,太大则让更多用户承受未知风险;这是损失函数,不是固定的“最佳 5%”。
12 Canary、A/B Test 与 Shadow Test 有什么区别?#
| 方法 | 候选输出给真实用户 | 主要目标 | 最关键约束 |
|---|---|---|---|
| Canary | 是,小比例 | 限制发布风险 | 快速回滚与护栏 |
| A/B Test | 是,按实验单位分组 | 比较长期产品效果 | 稳定分组与因果解释 |
| Shadow Test | 否 | 上线前比较行为与性能 | 双跑成本、隐私与副作用 |
Canary 关注“是否安全扩大暴露”,A/B 关注“长期业务效果谁更好”。Shadow 则可在零用户暴露下让候选模型看到真实分布,但它无法测到用户对候选答案的后续行为。
13 今天真正需要记住什么?#
- Canary 的价值来自同时段对照、稳定分组和预先定义的停止规则,不来自某个神奇的 5% 权重。
- 点估计越界不等于证据充分;证据不足应
HOLD,而不是默认通过。 - LLM 指标必须按版本、请求形状与任务切片;全局均值会掩盖长上下文和高风险任务回归。
- 自动扩量需要硬护栏、样本/时间成熟门槛、可复现决策日志,以及遥测失效时的安全暂停。
14 思考题与小练习#
- 稳定版 5/1000 失败,Canary 11/1000 失败,容忍增量为 0.5 个百分点。手算比例差、标准误与近似区间,并给出
rollback/hold/promote。 - 某 5% Canary 每小时只有 120 个请求,但要求每组至少 3000 个样本。比较“等待 25 小时”和“提高到 10%”的用户风险,设计一个带最大暴露数的方案。
- 扩展 Python 门控:加入 TTFT p99 硬门槛、连续两个成熟窗口要求,并在遥测缺失超过 5 分钟时返回
paused。
相关工作#
- Kohavi et al., Online Controlled Experiments at Large Scale ↗,系统总结大规模在线实验的随机化、护栏与工程陷阱。
- Johari et al., Always Valid Inference: Bringing Sequential Analysis to A/B Testing ↗,讨论持续观察下仍有效的序贯推断。
- Dean & Barroso, The Tail at Scale ↗,解释为什么在线服务必须显式对待尾延迟。
- Sculley et al., Hidden Technical Debt in Machine Learning Systems ↗,说明实验、监控与依赖耦合为何是 ML 系统风险的一部分。
- Kubernetes, Deploy a Release Using a Canary Deployment ↗ 与 Service ↗,给出当前加权
HTTPRoute示例,并区分 Service 的拓扑流量偏好。
15 下一篇预告#
Canary 仍会把候选输出交给少量真实用户。下一篇进入 LLM Shadow Evaluation(影子评测):怎样镜像请求、阻断副作用、对同一输入做配对比较,并在不污染用户体验的前提下复现真实负载。