观文听傑

返回

新旧两组 GPU 推理副本经中央路由器平滑切换流量,旧副本继续排水、新副本完成预热新旧两组 GPU 推理副本经中央路由器平滑切换流量,旧副本继续排水、新副本完成预热

上一篇把模型冷启动拆成下载、读取、Host-to-Device 传输、引擎初始化与预热,并定义了真正的 Ready。但新副本就绪只回答“能否接请求”,没有回答三个更危险的问题:何时把新流量交给它、旧副本上的流式生成怎样结束、什么指标恶化时必须回滚。

Rolling Update(滚动更新)不是把旧 Pod 数减一、新 Pod 数加一,而是一段同时存在两个模型版本、两套路由状态和一批在途请求的分布式状态迁移。本篇只讲透四件紧密相关的事:容量包络、真实预热、连接排水和回滚门槛。

01 为什么普通 Web 服务的滚动发布经验不够?#

一次 LLM 请求可能经历几十秒的 Prefill(预填充)与 Decode(逐 token 解码),并通过 Server-Sent Events 或流式 RPC 持续占用连接。若负载均衡器停止送入新请求后立刻杀死旧副本,已经输出一半的回答仍会中断。

与此同时,新副本即使加载了相同权重,也可能尚未完成 CUDA Graph、kernel、KV Cache 页面和通信路径的预热。把第一个真实用户送过去,会把发布成本直接计入用户的 Time to First Token(首 token 延迟,TTFT)。

sequenceDiagram
  participant R as Router
  participant O as Old Replica
  participant N as New Replica
  participant C as Client
  N->>N: 加载权重 + 真实形状预热
  N-->>R: readiness = true
  R->>N: 少量新请求
  R-xO: 停止分配新请求
  O-->>C: 继续输出已有 token
  O-->>R: inflight = 0
  R->>O: TERM,正常退出
mermaid

正确顺序是:先预热,再切入新流量;先摘除新流量,再等待旧连接排空;最后才终止进程。

02 容量预算:maxSurge 不是一个免费数字#

设目标副本数为 NN,maxUnavailable 为 UU,maxSurge 为 SS。在 Deployment 控制器的抽象中:

Amin=N−U,Pactive,max=N+S.A_{min}=N-U,\qquad P_{active,max}=N+S.
  • AminA_{min}:滚动过程中最少可用副本数;
  • Pactive,maxP_{active,max}:非终止 Pod 的期望上界;
  • N,U,SN,U,S:均为副本数;百分比形式中,UU 向下取整,SS 向上取整。

但 Kubernetes 官方文档特别提醒:Terminating(终止中)的 Pod 不计入 availableReplicas,它们在宽限期内仍可能占 GPU。因此真实资源峰值可能是

Presource,peak≈N+S+D,P_{resource,peak}\approx N+S+D,

其中 DD 是仍在排水的旧副本数。这不是控制器承诺的硬上界,而是容量规划必须额外测量的资源占用。

极小手算例子#

服务有 N=4N=4 个副本,每个占 1 张 GPU,设置 maxUnavailable=0、maxSurge=1:

  1. 旧版 4 个副本继续服务;
  2. 新版最多先启动 1 个,活跃 Pod 数为 5;
  3. 新版 Ready 后,一个旧版进入排水;
  4. 若控制面已继续创建下一个新版,而旧版尚未退出,短时间可能观察到 4 个可服务副本、1 个预热副本、1 个排水副本,共占 6 张 GPU。

如果集群只有 5 张可分配 GPU,第 6 个 Pod 会 Pending,发布可能停在中间。maxSurge=1 只表示控制器允许多创建一个活跃副本,不表示节点一定有一张空闲卡,也不包含终止中副本的尾部占用。

滚动发布预算实验室

调整副本与排水预算,观察“可调度”“可接新流量”和“仍占资源”为什么不是同一个数。

稳定可用
4
启动上限
5
排水期峰值
6
排水余量
30 秒

03 Ready 应验证模型,而不只是端口#

模型服务的 Startup Probe(启动探针)应给权重加载和初始化足够时间;它成功前,Kubernetes 不执行 liveness/readiness probe。Readiness Probe(就绪探针)则应持续表达“此刻能否接收新流量”。三者职责不能混用:

探针要回答的问题失败结果
startup首次加载是否仍在合理时间内进行超阈值后重启
readiness当前是否应接收新请求从普通 Service 流量中摘除
liveness进程是否卡死且无法自行恢复重启容器

LLM 预热输入至少要覆盖线上常见形状。若 batch token id 为

X∈NB×L,X\in\mathbb{N}^{B\times L},

其中 BB 是批大小、LL 是 prompt 长度,模型 hidden state 为

H∈RB×L×d,H\in\mathbb{R}^{B\times L\times d},

则只用 B=1,L=1B=1,L=1 的空探针无法触发真实长 prompt 的 attention workspace、常见 CUDA Graph bucket 或 tensor-parallel collective。建议准备一小组受控形状,例如 (B,L)∈{(1,32),(2,512)}(B,L)\in\{(1,32),(2,512)\},执行短 Prefill 与 2–4 个 Decode step,并检查:

  • 模型与 tokenizer digest 正确;
  • 输出 token 非空且 logits 不含 NaN/Inf;
  • 所有 tensor-parallel rank 均成功;
  • TTFT、Token Per Output Time(每输出 token 时间,TPOT)和 HBM 余量达标。

04 数据流:从“新 Pod 出现”到“旧连接消失”#

一个安全发布控制器可以使用以下状态机:

NEW_LOADING
  └─ warmup_passed ─> NEW_CANARY
       ├─ SLO_passed for window ─> NEW_SERVING
       └─ SLO_failed             ─> ROLLBACK

OLD_SERVING
  └─ new_capacity_ready ─> OLD_DRAINING
       ├─ inflight == 0          ─> TERMINATE
       └─ grace_deadline reached ─> FORCE_TERMINATE + incident
text

这里有两个独立平面:

  1. 控制平面更新 Pod、EndpointSlice 与流量权重;
  2. 数据平面承载请求、KV Cache、流式连接和 token 输出。

控制平面看到 endpoint ready=false,不等于所有代理瞬间完成传播,也不等于已有连接消失。Kubernetes EndpointSlice 还区分 serving 与 terminating:一个终止 endpoint 可以不再接普通新流量,却仍在完成已有连接。应用、网关和连接池必须共享这套语义。

05 排水预算应该怎样算?#

设:

  • TpropT_{prop}:readiness/endpoint/代理规则传播的 p99;
  • TqueueT_{queue}:摘流时副本内已排队工作的 p99;
  • TstreamT_{stream}:在途生成剩余时间的 p99;
  • TshutdownT_{shutdown}:flush 指标、日志和进程退出时间;
  • MM:抖动与测量误差余量。

终止宽限期至少应满足

Tgrace≥Tprop+Tqueue+Tstream+Tshutdown+M.T_{grace}\ge T_{prop}+T_{queue}+T_{stream}+T_{shutdown}+M.

假设 ready=false 到所有代理生效需要 5 s,排队尾部 8 s,最长允许生成剩余 70 s,退出 4 s,余量 13 s,则

Tgrace≥5+8+70+4+13=100s.T_{grace}\ge5+8+70+4+13=100\text{s}.

若只配置 30 s,preStop 睡 20 s 后留给应用处理 TERM 和连接的时间只有 10 s。Kubernetes 的终止宽限期计时在 preStop 执行前已经开始;hook 与应用退出共享同一个预算。

幂等的排水伪代码#

on_pre_stop():
    accepting_new_requests = false
    readiness = false
    deadline = now + drain_budget

    while inflight_requests > 0 and now < deadline:
        wait(250 ms)

    flush_metrics()
    return  # kubelet 随后发送 TERM
text

preStop 可能被至少一次调用,逻辑必须幂等。不要在 hook 中启动无法观测的复杂迁移;核心状态应由主进程维护,hook 只触发排水并等待。

06 一个当前 Kubernetes API 的最小配置#

下面使用稳定的 apps/v1 Deployment 字段。maxUnavailable: 0 保护可用副本数,maxSurge: 1 允许先起一个新版;minReadySeconds 防止刚刚 Ready 的副本立刻被当成稳定容量。

关键输入是不可变镜像/模型 digest、探针路径、发布预算和终止宽限期;输出不是一个“成功”布尔值,而是版本级的 Ready 副本、路由权重、在途请求与 SLO 时间序列。

07 用 Python 先验算发布预算#

下面的函数把资源峰值与排水时间显式化。它不模拟 Kubernetes 控制器,只用于在发布前拒绝明显不可行的配置。

线上 stream_remaining_p99_s 应来自按模型、路由、输入/输出长度分桶的观测,不能拿平均请求时长替代。长尾少量请求往往正是被截断的那些请求。

08 回滚门槛:比较版本,而不是只看全局均值#

滚动更新期间同时存在旧版 v0v_0 与新版 v1v_1。若只看聚合指标,新版 10% 流量的严重回归会被旧版 90% 稀释。至少按 model_digest、runtime_version、replica_set 和请求形状分组。

一个简化的自动回滚规则可以是:在最小样本数 nminn_{min} 与连续观察窗 WW 满足后,只要任一硬门槛失败就停止扩量:

rollback=(E1−E0>δE)∨(TTFT1,p99TTFT0,p99>rT)∨(Q1<Qmin),rollback = (E_1-E_0>\delta_E) \lor \left(\frac{TTFT_{1,p99}}{TTFT_{0,p99}}>r_T\right) \lor (Q_1<Q_{min}),

其中:

  • E0,E1E_0,E_1:旧/新版错误率;
  • δE\delta_E:允许的绝对错误率增量;
  • TTFTk,p99TTFT_{k,p99}:版本 kk 的 TTFT p99;
  • rTr_T:尾延迟倍率门槛;
  • Q1Q_1:新版离线或在线质量指标,例如固定 prompt 集通过率。

示例:旧版错误率 0.5%,新版 2.0%,若 δE=0.5\delta_E=0.5 个百分点,则增量 1.5 个百分点已经越界;即使全局错误率仍只有 0.65%,也应回滚。

回滚同样需要容量。旧版 Pod 若已经全部退出并释放权重缓存,所谓“回滚”其实是一次新的冷启动。至少保留一个已验证的旧版本 ReplicaSet、镜像与模型 digest,并确保回滚路径也经过 readiness。

09 最短调试路径#

现象常见原因首先检查
新版 Ready 后 TTFT 突增预热形状过小、图编译仍在发生按版本看首次请求与 graph/kernel 事件
发布卡在 4/5 个 Pod无空闲 GPU,排水 Pod 仍占卡Pending 原因、Terminating 时长、配额
偶发半截回答grace 小于长流式请求尾部终止时间线、连接关闭码、最后 token
readiness 已失败仍收到请求Endpoint/代理传播或长连接复用EndpointSlice 条件与各层路由缓存
回滚后仍持续报错旧版已冷却或共享依赖发生变化旧 ReplicaSet、digest、配置与依赖版本
全局指标正常,新版用户变慢聚合均值稀释小比例 canary按版本与 prompt/output 长度分桶

建议为每个请求记录 request_id、模型 digest、ReplicaSet、Pod、入队/Prefill/首 token/末 token 时间、终止原因和是否在发布窗口内。排水时再记录 drain_started_at、inflight_at_start、last_request_finished_at 与强杀数量,才能把“用户说断了”还原成时间线。

10 失败场景与边界#

  • Pod Disruption、节点故障和进程崩溃不会等待优雅排水;客户端仍需支持幂等重试或从已确认 token 继续。
  • 流式请求若包含随机采样状态,换副本续写不一定得到相同 token;简单重试可能产生重复或分叉文本。
  • maxUnavailable=0 保证的是 Pod 可用数量,不保证 token/s 容量相同;新版量化、上下文长度或调度器改变后,单副本能力可能下降。
  • 外部负载均衡器、Service Mesh 和应用内连接池的摘流延迟不同,Kubernetes Service 的语义不能自动覆盖所有层。
  • 同时发布模型、运行时、CUDA 驱动和路由策略会让回归无法归因;尽量一次只改变一个可验证维度。

11 Rolling、Blue/Green 与 Canary 有什么区别?#

方法流量方式额外容量适合场景主要代价
Rolling副本逐批替换较小 surge同构服务、变化风险已知新旧版本并存,回滚会变慢
Blue/Green整套环境切换接近一倍要求快速整体回切GPU 成本最高
Canary新版先接小比例真实流量取决于实现需要用线上指标验证性能/质量统计判定与路由更复杂

三者不是互斥的:常见做法是在 Rolling 的每一批内部做 Canary 观察;高风险大版本则先 Blue/Green 保留完整旧池,再逐步加权。

12 今天真正需要记住什么?#

  1. Ready 只表示新副本具备接流条件;一次安全发布还必须处理流量传播、在途连接和回滚。
  2. 容量预算要包含 maxSurge 与仍在排水的终止副本,GPU 实际峰值可能超过 Deployment 表面的活跃上限。
  3. terminationGracePeriodSeconds 覆盖 preStop 与进程退出的总时间,应由传播、队列、流式尾部和退出 p99 共同决定。
  4. 回滚指标必须按版本和请求形状分桶;聚合均值会掩盖小流量新版的严重回归。

13 思考题与小练习#

  1. 一个 8 副本服务设置 maxUnavailable=0,maxSurge=25%。两个旧副本同时排水时,最坏会占用多少张 GPU?若集群只空闲 2 张,发布会在哪一步停住?
  2. 某服务的 endpoint 传播 p99 为 4 s、队列 p99 为 12 s、剩余生成 p99 为 95 s、退出 6 s。给出至少包含 20% 余量的 terminationGracePeriodSeconds,并解释余量放在哪一项。
  3. 扩展上面的 Python:输入旧/新版每分钟错误数、请求数与 TTFT 样本,只有样本量足够且连续两个窗口越界时才返回 rollback=True。

相关工作#

  1. Verma et al., Large-scale cluster management at Google with Borg ↗,系统讨论大规模集群中的任务更新、可用性与资源管理。
  2. Dean & Barroso, The Tail at Scale ↗,解释为何服务系统必须围绕尾延迟而非均值设计。
  3. Patel et al., Splitwise: Efficient Generative LLM Inference Using Phase Splitting ↗,展示 LLM 推理阶段差异如何影响资源与服务指标。
  4. Fu et al., ServerlessLLM: Low-Latency Serverless Inference for Large Language Models ↗,研究模型加载与迁移如何决定弹性和恢复速度。
  5. Kubernetes, Deployments ↗、Probes ↗、Container Lifecycle Hooks ↗ 与 EndpointSlices ↗,是本文 API 行为的官方依据。

14 下一篇预告#

滚动更新解决了“怎样安全替换副本”,却没有回答“小比例真实流量是否足以证明新版更好”。下一篇将进入 LLM Canary Analysis(灰度分析):样本量、序贯检验、护栏指标与自动扩量,避免凭几分钟均值拍脑袋发布。

新版副本已 Ready,为何发布仍会截断回答?LLM Rolling Update 的预热、排水与回滚门槛
https://zwjcode.cn/blog/llm-rolling-update-warmup-draining-surge-rollback
作者 傑
发布于 2026年9月25日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。