新版副本已 Ready,为何发布仍会截断回答?LLM Rolling Update 的预热、排水与回滚门槛
从长连接被中断与 GPU 容量超卖出发,手算滚动更新的 surge、可用容量和排水预算,设计版本感知的预热、切流与自动回滚。
上一篇把模型冷启动拆成下载、读取、Host-to-Device 传输、引擎初始化与预热,并定义了真正的 Ready。但新副本就绪只回答“能否接请求”,没有回答三个更危险的问题:何时把新流量交给它、旧副本上的流式生成怎样结束、什么指标恶化时必须回滚。
Rolling Update(滚动更新)不是把旧 Pod 数减一、新 Pod 数加一,而是一段同时存在两个模型版本、两套路由状态和一批在途请求的分布式状态迁移。本篇只讲透四件紧密相关的事:容量包络、真实预热、连接排水和回滚门槛。
01 为什么普通 Web 服务的滚动发布经验不够?#
一次 LLM 请求可能经历几十秒的 Prefill(预填充)与 Decode(逐 token 解码),并通过 Server-Sent Events 或流式 RPC 持续占用连接。若负载均衡器停止送入新请求后立刻杀死旧副本,已经输出一半的回答仍会中断。
与此同时,新副本即使加载了相同权重,也可能尚未完成 CUDA Graph、kernel、KV Cache 页面和通信路径的预热。把第一个真实用户送过去,会把发布成本直接计入用户的 Time to First Token(首 token 延迟,TTFT)。
sequenceDiagram
participant R as Router
participant O as Old Replica
participant N as New Replica
participant C as Client
N->>N: 加载权重 + 真实形状预热
N-->>R: readiness = true
R->>N: 少量新请求
R-xO: 停止分配新请求
O-->>C: 继续输出已有 token
O-->>R: inflight = 0
R->>O: TERM,正常退出mermaid正确顺序是:先预热,再切入新流量;先摘除新流量,再等待旧连接排空;最后才终止进程。
02 容量预算:maxSurge 不是一个免费数字#
设目标副本数为 ,maxUnavailable 为 ,maxSurge 为 。在 Deployment 控制器的抽象中:
- :滚动过程中最少可用副本数;
- :非终止 Pod 的期望上界;
- :均为副本数;百分比形式中, 向下取整, 向上取整。
但 Kubernetes 官方文档特别提醒:Terminating(终止中)的 Pod 不计入 availableReplicas,它们在宽限期内仍可能占 GPU。因此真实资源峰值可能是
其中 是仍在排水的旧副本数。这不是控制器承诺的硬上界,而是容量规划必须额外测量的资源占用。
极小手算例子#
服务有 个副本,每个占 1 张 GPU,设置 maxUnavailable=0、maxSurge=1:
- 旧版 4 个副本继续服务;
- 新版最多先启动 1 个,活跃 Pod 数为 5;
- 新版 Ready 后,一个旧版进入排水;
- 若控制面已继续创建下一个新版,而旧版尚未退出,短时间可能观察到 4 个可服务副本、1 个预热副本、1 个排水副本,共占 6 张 GPU。
如果集群只有 5 张可分配 GPU,第 6 个 Pod 会 Pending,发布可能停在中间。maxSurge=1 只表示控制器允许多创建一个活跃副本,不表示节点一定有一张空闲卡,也不包含终止中副本的尾部占用。
滚动发布预算实验室
调整副本与排水预算,观察“可调度”“可接新流量”和“仍占资源”为什么不是同一个数。
- 稳定可用
- 4
- 启动上限
- 5
- 排水期峰值
- 6
- 排水余量
- 30 秒
03 Ready 应验证模型,而不只是端口#
模型服务的 Startup Probe(启动探针)应给权重加载和初始化足够时间;它成功前,Kubernetes 不执行 liveness/readiness probe。Readiness Probe(就绪探针)则应持续表达“此刻能否接收新流量”。三者职责不能混用:
| 探针 | 要回答的问题 | 失败结果 |
|---|---|---|
| startup | 首次加载是否仍在合理时间内进行 | 超阈值后重启 |
| readiness | 当前是否应接收新请求 | 从普通 Service 流量中摘除 |
| liveness | 进程是否卡死且无法自行恢复 | 重启容器 |
LLM 预热输入至少要覆盖线上常见形状。若 batch token id 为
其中 是批大小、 是 prompt 长度,模型 hidden state 为
则只用 的空探针无法触发真实长 prompt 的 attention workspace、常见 CUDA Graph bucket 或 tensor-parallel collective。建议准备一小组受控形状,例如 ,执行短 Prefill 与 2–4 个 Decode step,并检查:
- 模型与 tokenizer digest 正确;
- 输出 token 非空且 logits 不含 NaN/Inf;
- 所有 tensor-parallel rank 均成功;
- TTFT、Token Per Output Time(每输出 token 时间,TPOT)和 HBM 余量达标。
04 数据流:从“新 Pod 出现”到“旧连接消失”#
一个安全发布控制器可以使用以下状态机:
NEW_LOADING
└─ warmup_passed ─> NEW_CANARY
├─ SLO_passed for window ─> NEW_SERVING
└─ SLO_failed ─> ROLLBACK
OLD_SERVING
└─ new_capacity_ready ─> OLD_DRAINING
├─ inflight == 0 ─> TERMINATE
└─ grace_deadline reached ─> FORCE_TERMINATE + incidenttext这里有两个独立平面:
- 控制平面更新 Pod、EndpointSlice 与流量权重;
- 数据平面承载请求、KV Cache、流式连接和 token 输出。
控制平面看到 endpoint ready=false,不等于所有代理瞬间完成传播,也不等于已有连接消失。Kubernetes EndpointSlice 还区分 serving 与 terminating:一个终止 endpoint 可以不再接普通新流量,却仍在完成已有连接。应用、网关和连接池必须共享这套语义。
05 排水预算应该怎样算?#
设:
- :readiness/endpoint/代理规则传播的 p99;
- :摘流时副本内已排队工作的 p99;
- :在途生成剩余时间的 p99;
- :flush 指标、日志和进程退出时间;
- :抖动与测量误差余量。
终止宽限期至少应满足
假设 ready=false 到所有代理生效需要 5 s,排队尾部 8 s,最长允许生成剩余 70 s,退出 4 s,余量 13 s,则
若只配置 30 s,preStop 睡 20 s 后留给应用处理 TERM 和连接的时间只有 10 s。Kubernetes 的终止宽限期计时在 preStop 执行前已经开始;hook 与应用退出共享同一个预算。
幂等的排水伪代码#
on_pre_stop():
accepting_new_requests = false
readiness = false
deadline = now + drain_budget
while inflight_requests > 0 and now < deadline:
wait(250 ms)
flush_metrics()
return # kubelet 随后发送 TERMtextpreStop 可能被至少一次调用,逻辑必须幂等。不要在 hook 中启动无法观测的复杂迁移;核心状态应由主进程维护,hook 只触发排水并等待。
06 一个当前 Kubernetes API 的最小配置#
下面使用稳定的 apps/v1 Deployment 字段。maxUnavailable: 0 保护可用副本数,maxSurge: 1 允许先起一个新版;minReadySeconds 防止刚刚 Ready 的副本立刻被当成稳定容量。
apiVersion: apps/v1
kind: Deployment
metadata:
name: llm-api
spec:
replicas: 4
minReadySeconds: 30
progressDeadlineSeconds: 1200
strategy:
type: RollingUpdate
rollingUpdate:
maxUnavailable: 0
maxSurge: 1
template:
spec:
terminationGracePeriodSeconds: 120
containers:
- name: server
image: registry.example/llm-api:model-sha256
ports:
- name: http
containerPort: 8000
startupProbe:
httpGet: { path: /startup, port: http }
periodSeconds: 10
failureThreshold: 90
readinessProbe:
httpGet: { path: /ready, port: http }
periodSeconds: 3
failureThreshold: 1
livenessProbe:
httpGet: { path: /live, port: http }
periodSeconds: 10
failureThreshold: 3
lifecycle:
preStop:
httpGet: { path: /drain, port: http }yaml关键输入是不可变镜像/模型 digest、探针路径、发布预算和终止宽限期;输出不是一个“成功”布尔值,而是版本级的 Ready 副本、路由权重、在途请求与 SLO 时间序列。
07 用 Python 先验算发布预算#
下面的函数把资源峰值与排水时间显式化。它不模拟 Kubernetes 控制器,只用于在发布前拒绝明显不可行的配置。
from dataclasses import dataclass
@dataclass(frozen=True)
class RolloutPlan:
replicas: int
max_surge: int
draining_replicas: int
free_gpus: int
propagation_p99_s: float
queue_p99_s: float
stream_remaining_p99_s: float
shutdown_s: float
margin_s: float
termination_grace_s: float
def check_rollout(plan: RolloutPlan) -> dict[str, float | bool]:
if min(plan.replicas, plan.free_gpus, plan.termination_grace_s) < 0:
raise ValueError("replicas, free_gpus and grace must be non-negative")
extra_gpu_need = plan.max_surge + plan.draining_replicas
drain_need = (
plan.propagation_p99_s
+ plan.queue_p99_s
+ plan.stream_remaining_p99_s
+ plan.shutdown_s
+ plan.margin_s
)
return {
"peak_gpu_replicas": plan.replicas + extra_gpu_need,
"capacity_fits": plan.free_gpus >= extra_gpu_need,
"drain_need_s": drain_need,
"grace_fits": plan.termination_grace_s >= drain_need,
}
plan = RolloutPlan(
replicas=4,
max_surge=1,
draining_replicas=1,
free_gpus=2,
propagation_p99_s=5,
queue_p99_s=8,
stream_remaining_p99_s=70,
shutdown_s=4,
margin_s=13,
termination_grace_s=120,
)
print(check_rollout(plan))
# {'peak_gpu_replicas': 6, 'capacity_fits': True,
# 'drain_need_s': 100, 'grace_fits': True}python线上 stream_remaining_p99_s 应来自按模型、路由、输入/输出长度分桶的观测,不能拿平均请求时长替代。长尾少量请求往往正是被截断的那些请求。
08 回滚门槛:比较版本,而不是只看全局均值#
滚动更新期间同时存在旧版 与新版 。若只看聚合指标,新版 10% 流量的严重回归会被旧版 90% 稀释。至少按 model_digest、runtime_version、replica_set 和请求形状分组。
一个简化的自动回滚规则可以是:在最小样本数 与连续观察窗 满足后,只要任一硬门槛失败就停止扩量:
其中:
- :旧/新版错误率;
- :允许的绝对错误率增量;
- :版本 的 TTFT p99;
- :尾延迟倍率门槛;
- :新版离线或在线质量指标,例如固定 prompt 集通过率。
示例:旧版错误率 0.5%,新版 2.0%,若 个百分点,则增量 1.5 个百分点已经越界;即使全局错误率仍只有 0.65%,也应回滚。
回滚同样需要容量。旧版 Pod 若已经全部退出并释放权重缓存,所谓“回滚”其实是一次新的冷启动。至少保留一个已验证的旧版本 ReplicaSet、镜像与模型 digest,并确保回滚路径也经过 readiness。
09 最短调试路径#
| 现象 | 常见原因 | 首先检查 |
|---|---|---|
| 新版 Ready 后 TTFT 突增 | 预热形状过小、图编译仍在发生 | 按版本看首次请求与 graph/kernel 事件 |
| 发布卡在 4/5 个 Pod | 无空闲 GPU,排水 Pod 仍占卡 | Pending 原因、Terminating 时长、配额 |
| 偶发半截回答 | grace 小于长流式请求尾部 | 终止时间线、连接关闭码、最后 token |
| readiness 已失败仍收到请求 | Endpoint/代理传播或长连接复用 | EndpointSlice 条件与各层路由缓存 |
| 回滚后仍持续报错 | 旧版已冷却或共享依赖发生变化 | 旧 ReplicaSet、digest、配置与依赖版本 |
| 全局指标正常,新版用户变慢 | 聚合均值稀释小比例 canary | 按版本与 prompt/output 长度分桶 |
建议为每个请求记录 request_id、模型 digest、ReplicaSet、Pod、入队/Prefill/首 token/末 token 时间、终止原因和是否在发布窗口内。排水时再记录 drain_started_at、inflight_at_start、last_request_finished_at 与强杀数量,才能把“用户说断了”还原成时间线。
10 失败场景与边界#
- Pod Disruption、节点故障和进程崩溃不会等待优雅排水;客户端仍需支持幂等重试或从已确认 token 继续。
- 流式请求若包含随机采样状态,换副本续写不一定得到相同 token;简单重试可能产生重复或分叉文本。
maxUnavailable=0保证的是 Pod 可用数量,不保证 token/s 容量相同;新版量化、上下文长度或调度器改变后,单副本能力可能下降。- 外部负载均衡器、Service Mesh 和应用内连接池的摘流延迟不同,Kubernetes Service 的语义不能自动覆盖所有层。
- 同时发布模型、运行时、CUDA 驱动和路由策略会让回归无法归因;尽量一次只改变一个可验证维度。
11 Rolling、Blue/Green 与 Canary 有什么区别?#
| 方法 | 流量方式 | 额外容量 | 适合场景 | 主要代价 |
|---|---|---|---|---|
| Rolling | 副本逐批替换 | 较小 surge | 同构服务、变化风险已知 | 新旧版本并存,回滚会变慢 |
| Blue/Green | 整套环境切换 | 接近一倍 | 要求快速整体回切 | GPU 成本最高 |
| Canary | 新版先接小比例真实流量 | 取决于实现 | 需要用线上指标验证性能/质量 | 统计判定与路由更复杂 |
三者不是互斥的:常见做法是在 Rolling 的每一批内部做 Canary 观察;高风险大版本则先 Blue/Green 保留完整旧池,再逐步加权。
12 今天真正需要记住什么?#
Ready只表示新副本具备接流条件;一次安全发布还必须处理流量传播、在途连接和回滚。- 容量预算要包含
maxSurge与仍在排水的终止副本,GPU 实际峰值可能超过 Deployment 表面的活跃上限。 terminationGracePeriodSeconds覆盖preStop与进程退出的总时间,应由传播、队列、流式尾部和退出 p99 共同决定。- 回滚指标必须按版本和请求形状分桶;聚合均值会掩盖小流量新版的严重回归。
13 思考题与小练习#
- 一个 8 副本服务设置
maxUnavailable=0,maxSurge=25%。两个旧副本同时排水时,最坏会占用多少张 GPU?若集群只空闲 2 张,发布会在哪一步停住? - 某服务的 endpoint 传播 p99 为 4 s、队列 p99 为 12 s、剩余生成 p99 为 95 s、退出 6 s。给出至少包含 20% 余量的
terminationGracePeriodSeconds,并解释余量放在哪一项。 - 扩展上面的 Python:输入旧/新版每分钟错误数、请求数与 TTFT 样本,只有样本量足够且连续两个窗口越界时才返回
rollback=True。
相关工作#
- Verma et al., Large-scale cluster management at Google with Borg ↗,系统讨论大规模集群中的任务更新、可用性与资源管理。
- Dean & Barroso, The Tail at Scale ↗,解释为何服务系统必须围绕尾延迟而非均值设计。
- Patel et al., Splitwise: Efficient Generative LLM Inference Using Phase Splitting ↗,展示 LLM 推理阶段差异如何影响资源与服务指标。
- Fu et al., ServerlessLLM: Low-Latency Serverless Inference for Large Language Models ↗,研究模型加载与迁移如何决定弹性和恢复速度。
- Kubernetes, Deployments ↗、Probes ↗、Container Lifecycle Hooks ↗ 与 EndpointSlices ↗,是本文 API 行为的官方依据。
14 下一篇预告#
滚动更新解决了“怎样安全替换副本”,却没有回答“小比例真实流量是否足以证明新版更好”。下一篇将进入 LLM Canary Analysis(灰度分析):样本量、序贯检验、护栏指标与自动扩量,避免凭几分钟均值拍脑袋发布。