观文听傑

返回

稳定 GPU 集群与小型金色 Canary 副本的流量汇入统计判定门,随后分叉为扩量和回滚路径稳定 GPU 集群与小型金色 Canary 副本的流量汇入统计判定门,随后分叉为扩量和回滚路径

上一篇解决了 LLM 滚动更新的预热、连接排水与回滚容量,却把最难的问题留给了“观察一会儿”:新版接 5% 真实流量后,指标看起来不错,究竟是它真的没有退化,还是样本太少、坏请求还没出现?

Canary Analysis(灰度分析)不是盯着仪表盘等一条绿线,而是一个带对照组、最小样本量、观察窗和停止规则的在线实验。本篇只讲四件紧密相关的事:可比流量、效应与样本量、序贯门槛、自动扩量状态机。

01 为什么“5 分钟没有报错”几乎没有信息?#

假设稳定版错误率为 1%,新版真实错误率升到 2%。Canary 每分钟只收到 20 个请求,5 分钟共 100 个请求:

  • 若真实错误率是 1%,看到 0 个错误的概率约为 0.99100=36.6%0.99^{100}=36.6\%;
  • 若真实错误率是 2%,看到 0 个错误的概率仍有 0.98100=13.3%0.98^{100}=13.3\%。

因此“零错误”既不证明新版安全,也不证明它与稳定版等价。低基准率事件需要更多样本;尾延迟还需要足够多的尾部样本,生成质量则常要按任务分层。

flowchart LR
  A[真实请求] --> H{按稳定键哈希}
  H -->|95%| S[稳定版 v0]
  H -->|5%| C[Canary v1]
  S --> M[版本 + 请求形状指标]
  C --> M
  M --> G{样本量 + 观察窗 + 护栏}
  G -->|证据不足| W[保持权重]
  G -->|通过| P[逐级扩量]
  G -->|硬护栏失败| R[立即回滚]
mermaid

关键不是“Canary 有多少请求”,而是稳定版与新版是否在同一时段面对可比较的请求。

02 实验单位:一次请求、一个会话,还是一个用户?#

如果同一多轮会话的第一轮进入稳定版、第二轮进入新版,KV Cache、系统提示、工具状态和用户体验会被拆开。随机化单位应与干扰边界一致:

场景推荐分流键原因
无状态单轮分类request_id每次请求近似独立
多轮聊天conversation_id保持上下文、KV 与版本一致
账户级个性化tenant_id + user_id防止版本差异污染同一用户
Prefix Cache 亲和路由prefix_hash + model_id保持缓存命中,同时记录负载偏差
企业租户有独立数据分布租户内分层随机避免大租户只落入某一版本

最好用确定性哈希,而不是每次抛硬币:

bucket = hash(experiment_id, assignment_key) mod 10_000
variant = canary if bucket < canary_weight * 10_000 else stable
text

experiment_id 必须进入哈希,否则相同用户在多个实验里总被分到同一侧。记录的不是用户明文,而是受控的不可逆实验键、实验版本与实际服务版本。

03 先定义最小重要退化,而不是看见差异再定规则#

设稳定版失败率为 p0p_0,Canary 为 p1p_1,关心的绝对增量为

Δ=p1−p0.\Delta=p_1-p_0.

发布前应定义 Non-Inferiority Margin(非劣界值)δ\delta:最多能接受多少退化。若 δ=0.5\delta=0.5 个百分点,目标不是证明 p1=p0p_1=p_0,而是检验新版是否很可能满足

p1−p0≤0.005.p_1-p_0\le 0.005.

两个独立比例差的近似标准误为

SE(Δ^)=p^0(1−p^0)n0+p^1(1−p^1)n1,SE(\hat\Delta)=\sqrt{\frac{\hat p_0(1-\hat p_0)}{n_0}+\frac{\hat p_1(1-\hat p_1)}{n_1}},

其中 n0,n1n_0,n_1 是两组请求数。一个教学用的约 95% 区间是 Δ^±1.96SE\hat\Delta\pm1.96SE。若下界都高于 δ\delta,说明退化证据足以回滚;若上界低于 δ\delta,才有较强的非劣证据;夹在中间就是“不确定”,而不是“通过”。

极小手算例子#

每组各 400 个请求,稳定版 4 个失败、Canary 12 个失败:

p^0=1%,p^1=3%,Δ^=2%.\hat p_0=1\%,\quad \hat p_1=3\%,\quad \hat\Delta=2\%. SE≈0.01×0.99/400+0.03×0.97/400≈0.00988.SE\approx\sqrt{0.01\times0.99/400+0.03\times0.97/400}\approx0.00988.

区间约为 2%±1.94%=[0.06%,3.94%]2\%\pm1.94\%=[0.06\%,3.94\%]。若容忍增量是 1 个百分点,点估计已经很糟,但下界尚未越过 1%;单靠这个近似检验仍属不确定。此时正确动作通常是停止扩量、继续收样本,而不是宣称安全,也不是让脚本每分钟来回回滚。

Canary 判定实验室

调整样本量与失败数,观察“点估计变差”和“证据足以回滚”之间的差别。

稳定版失败率
Canary 失败率
增量点估计
约 95% 下界

稳定版Canary稳定版 + 容忍增量

04 一个指标不够:硬护栏、比较指标与诊断指标#

LLM 发布同时改变质量、延迟、吞吐和成本。指标应分三层:

  1. 硬护栏:进程崩溃、OOM、5xx、输出 NaN、安全策略绕过;少量明确事件即可暂停或回滚。
  2. 比较指标:TTFT、TPOT、完整请求时长、成功率、每请求 GPU 秒、任务质量,按版本比较。
  3. 诊断指标:输入/输出 token、batch 大小、KV 命中、队列时间、截断原因,用于解释差异,通常不单独决定扩量。

一个请求的时间线可写成

Te2e=Tqueue+Tprefill+Tdecode+Tnetwork,T_{e2e}=T_{queue}+T_{prefill}+T_{decode}+T_{network},

其中 TTFT 主要包含排队与 Prefill,TPOT 则更接近 Decode 稳态。只看端到端 p99 会把“新调度器排队更慢”和“新 kernel 解码更慢”混为一谈。

建议每条记录至少包含:

{
  "experiment": "runtime-2026-09-26",
  "variant": "canary",
  "model_digest": "sha256:…",
  "runtime_digest": "sha256:…",
  "input_tokens": 1430,
  "output_tokens": 286,
  "queue_ms": 31,
  "ttft_ms": 218,
  "tpot_ms": 19.4,
  "finish_reason": "stop",
  "quality_slice": "code"
}
json

variant 是实验分组,digest 是实际执行实体;两者都要记录,才能发现“标成 Canary 的请求其实打到旧镜像”这类控制面错误。

05 分层:总体变好也可能伤害最重要的人#

假设新版在短问答上快 15%,但长上下文 TTFT 慢 40%。短请求占 90% 时,总体均值仍会变好。至少按以下维度预注册切片:

  • prompt 与 output token 区间;
  • 流式/非流式、工具调用、结构化输出;
  • 模型、租户等级与区域;
  • Prefix Cache 命中/未命中;
  • 任务类型与安全风险等级。

维度不是越多越好。上线后临时切 200 个小组,总能找到几个“显著”异常。只把高业务风险、机制上合理的切片作为阻断条件;其余用于诊断,并对多重比较做校正或人工复核。

06 为什么不能每分钟做一次固定检验?#

如果每分钟按 p<0.05p<0.05 重复检查并在第一次显著时停止,False Positive(假阳性)会随窥视次数增加。Canary 天然是 Sequential Experiment(序贯实验),停止规则必须属于设计的一部分。

工程上常见三种策略:

策略优点代价
固定样本 + 固定观察窗简单、易审计明显故障也要等,或另设硬护栏
Alpha spending / group sequential允许分阶段看数据门槛随阶段变化,需统计设计
贝叶斯后验 + 决策损失直接表达退化概率依赖先验与模型校准

无论哪种,都应设置:最小样本 nminn_{min}、最短墙钟时间 TminT_{min}、最大等待 TmaxT_{max}、扩量/回滚/继续观察三个区域。墙钟时间防止恰好只采到一个流量周期;最大等待防止发布永远卡住。

三态门控伪代码#

observe(stable, canary):
    if crash_or_safety_guardrail_failed(canary):
        return ROLLBACK
    if elapsed < T_min or samples < n_min:
        return HOLD

    for slice in preregistered_slices:
        evidence = compare(canary[slice], stable[slice])
        if evidence.proves_harm_beyond_margin:
            return ROLLBACK
        if not evidence.supports_non_inferiority:
            return HOLD

    return PROMOTE
text

这里 HOLD 是一等状态。证据不足绝不能被编码成成功。

07 用 Python 实现可审计的近似门控#

下面只使用标准库,输入为两版本计数、容忍增量与预注册预算,输出为 rollback、hold 或 promote。它展示控制流,不替代正式统计评审。

输入 BinaryWindow(4, 400, 12, 400, 10) 会得到 hold:样本与时长都未成熟,区间也没有证明越过界值。生产实现还要保存每次判定的输入快照、代码版本和决策原因,保证事后可复现。

08 当前 Kubernetes 加权流量 API 怎样表达?#

Kubernetes 官方 Canary 教程给出的精确权重方案使用 Gateway API 的 gateway.networking.k8s.io/v1 HTTPRoute。稳定版和 Canary 各有独立 Service:

apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: llm-api
spec:
  parentRefs:
    - name: public-gateway
  rules:
    - backendRefs:
        - name: llm-stable
          port: 8000
          weight: 95
        - name: llm-canary
          port: 8000
          weight: 5
yaml

weight 是相对权重,实际比例还要从请求遥测验证。Gateway API 需要集群已安装相应 controller;仅创建资源不保证数据平面支持。Kubernetes Service 的 trafficDistribution 面向拓扑偏好,不是版本级 95/5 灰度开关。

扩量控制器可以按 1% → 5% → 20% → 50% → 100% 更新权重,但每一级都必须重新满足样本与时间门槛。版本、配置、量化方式或路由策略改变任何一项,都应生成新的 experiment_id,不能沿用旧证据。

09 自动扩量状态机#

PENDING
  └─ readiness + smoke pass ─> CANARY_1
       ├─ hard failure        ─> ROLLBACK
       ├─ evidence uncertain  ─> HOLD
       └─ all gates pass      ─> CANARY_5 ─> CANARY_20 ─> CANARY_50 ─> PROMOTED

任一阶段:配置漂移 / 遥测缺失 / 对照污染 ─> PAUSED
text

PAUSED 与 ROLLBACK 要分开。指标系统故障不代表模型坏了,但没有证据也不能继续扩量。控制器失联时应 fail closed:保持当前小权重或回到安全权重,而不是默认 100%。

10 最短调试路径#

现象常见原因首先检查
配置 5%,实际只有 1%长连接复用、会话哈希、权重未传播网关配置版本、请求级 variant 计数
Canary TTFT 慢但 TPOT 正常冷缓存、排队或 Prefill 回归queue/prefill 分段、缓存命中、输入长度
总体质量上升,代码任务下降流量构成掩盖分层回归预注册任务切片与每层置信区间
指标忽好忽坏小样本重复窥视、昼夜流量变化样本数、停止规则、同时段对照
一直 HOLD界值太小或流量不足最小可检测效应、Canary 权重、最大等待
自动扩量后突然 OOM小权重时未覆盖并发峰值batch/KV 峰值、并发与缓存驻留

先验证分组与遥测,再解释统计结果。错误的 variant 标签会让再精密的检验都失去意义。

11 失败场景与局限#

  • Novelty Effect(新奇效应)与用户反馈延迟可能超过发布窗口;Canary 不能替代长期 A/B 实验。
  • 稀有安全事故即使零观测也不等于零风险,需要红队、策略测试与人工升级通道。
  • 稳定版和 Canary 共享下游检索、缓存或 GPU 节点时会互相干扰,违反独立性假设。
  • 质量评估器本身可能偏向某种文风或长度;自动 judge 必须做人工校准并版本化。
  • 流量只覆盖当前用户分布,无法证明新区域、新租户或灾备场景安全。
  • Canary 权重太小会拖长判定,太大则让更多用户承受未知风险;这是损失函数,不是固定的“最佳 5%”。

12 Canary、A/B Test 与 Shadow Test 有什么区别?#

方法候选输出给真实用户主要目标最关键约束
Canary是,小比例限制发布风险快速回滚与护栏
A/B Test是,按实验单位分组比较长期产品效果稳定分组与因果解释
Shadow Test否上线前比较行为与性能双跑成本、隐私与副作用

Canary 关注“是否安全扩大暴露”,A/B 关注“长期业务效果谁更好”。Shadow 则可在零用户暴露下让候选模型看到真实分布,但它无法测到用户对候选答案的后续行为。

13 今天真正需要记住什么?#

  1. Canary 的价值来自同时段对照、稳定分组和预先定义的停止规则,不来自某个神奇的 5% 权重。
  2. 点估计越界不等于证据充分;证据不足应 HOLD,而不是默认通过。
  3. LLM 指标必须按版本、请求形状与任务切片;全局均值会掩盖长上下文和高风险任务回归。
  4. 自动扩量需要硬护栏、样本/时间成熟门槛、可复现决策日志,以及遥测失效时的安全暂停。

14 思考题与小练习#

  1. 稳定版 5/1000 失败,Canary 11/1000 失败,容忍增量为 0.5 个百分点。手算比例差、标准误与近似区间,并给出 rollback/hold/promote。
  2. 某 5% Canary 每小时只有 120 个请求,但要求每组至少 3000 个样本。比较“等待 25 小时”和“提高到 10%”的用户风险,设计一个带最大暴露数的方案。
  3. 扩展 Python 门控:加入 TTFT p99 硬门槛、连续两个成熟窗口要求,并在遥测缺失超过 5 分钟时返回 paused。

相关工作#

  1. Kohavi et al., Online Controlled Experiments at Large Scale ↗,系统总结大规模在线实验的随机化、护栏与工程陷阱。
  2. Johari et al., Always Valid Inference: Bringing Sequential Analysis to A/B Testing ↗,讨论持续观察下仍有效的序贯推断。
  3. Dean & Barroso, The Tail at Scale ↗,解释为什么在线服务必须显式对待尾延迟。
  4. Sculley et al., Hidden Technical Debt in Machine Learning Systems ↗,说明实验、监控与依赖耦合为何是 ML 系统风险的一部分。
  5. Kubernetes, Deploy a Release Using a Canary Deployment ↗ 与 Service ↗,给出当前加权 HTTPRoute 示例,并区分 Service 的拓扑流量偏好。

15 下一篇预告#

Canary 仍会把候选输出交给少量真实用户。下一篇进入 LLM Shadow Evaluation(影子评测):怎样镜像请求、阻断副作用、对同一输入做配对比较,并在不污染用户体验的前提下复现真实负载。

只给新版 5% 流量,多久才敢继续扩量?LLM Canary Analysis 的样本量、序贯门槛与护栏
https://zwjcode.cn/blog/llm-canary-analysis-sequential-gates
作者 傑
发布于 2026年9月26日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。