观文听傑

返回

控制器根据请求队列、KV 压力和延迟指标启动新的 GPU 推理副本控制器根据请求队列、KV 压力和延迟指标启动新的 GPU 推理副本

上一篇让路由器在缓存亲和与副本负载之间取舍。但当每个副本都排起队时,换一条队列不能创造容量:系统要么增加可服务副本,要么承认当前负载已经超出能力。

Autoscaling(自动扩缩容)的难点不在“指标超过阈值就加一张卡”,而在三个时间尺度:请求数秒内突发,推理负载每轮都变,GPU 副本却可能要数分钟才能下载权重、初始化通信并预热。本文只讲透一条控制链:怎样把需求换成所需副本数,并让慢执行器稳定追上快变化的流量。

01 为什么 GPU 利用率会给出错误答案?#

生成式推理交替经历 Prefill(预填充)和 Decode(解码)。Decode 常受显存带宽限制;连续批处理又可能让 GPU 一直忙,却只是在处理积压。于是同一个利用率可能对应完全不同状态:

场景GPU 利用率等待队列TTFT是否该扩容
单个长 Prefill95%0正常未必
Decode 小批次55%80恶化是
持续满批99%300已失控立即扩容并限流
无请求但权重驻留2%0无样本可以谨慎缩容

GPU 指标描述设备是否忙,不描述用户是否在期限内得到结果。更接近需求的信号是 queued tokens、等待请求、KV Cache 使用率、TTFT/TPOT 的 SLO Goodput(满足服务等级目标的完成吞吐)以及到达率。

02 从服务能力推导副本数#

在一个短窗口 Δt\Delta t 内,记:

  • AA:到达的工作量,单位为等价 token;
  • μ\mu:单副本每秒可完成的等价 token;
  • RR:Ready 且可路由的副本数;
  • QtQ_t:窗口开始时排队的等价 token。

队列近似更新为

Qt+1=max⁡(0,Qt+A−μRΔt).Q_{t+1}=\max\left(0,Q_t+A-\mu R\Delta t\right).

若希望在排空目标 TdrainT_{drain} 内消化队列,并承接到达率 λ=A/Δt\lambda=A/\Delta t,最小容量近似为

R∗=⌈λ+Qt/Tdrainμρ⌉,R^*=\left\lceil \frac{\lambda+Q_t/T_{drain}}{\mu\rho}\right\rceil,

其中 0<ρ<10<\rho<1 是安全利用率,例如 0.8,为尾部波动和 batch 组成变化留余量。

一个可手算的例子#

每个 warm replica(已预热副本)稳定处理 2000 equivalent tokens/s;当前到达 4200 tokens/s,队列已有 6000 tokens,希望 10 秒排空,取 ρ=0.8\rho=0.8:

R∗=⌈4200+6000/102000×0.8⌉=⌈3⌉=3.R^*=\left\lceil\frac{4200+6000/10}{2000\times0.8}\right\rceil =\lceil3\rceil=3.

若当前只有 2 个 Ready 副本,就应至少增加 1 个。只看“等待请求数”会把 100-token 与 32k-token prompt 当成同样大小;equivalent tokens 至少要分别给 Prefill 和 Decode 标定成本。

03 数据流:指标、决策与执行不是同一时刻#

flowchart LR
  R[Router / vLLM metrics] --> C[聚合窗口与去噪]
  C --> E[估计到达率、队列工作量<br/>KV 压力与 SLO goodput]
  E --> D[计算 desired replicas]
  D --> H[Hysteresis + 速率限制]
  H --> K[Kubernetes HPA / KEDA]
  K --> P[拉取权重、GPU 初始化、预热]
  P --> G[Ready gate]
  G --> L[进入负载均衡候选]
  L --> R
mermaid

从指标产生到新副本接流量包含 scrape、控制器同步、调度、镜像与权重加载、CUDA/NCCL 初始化、图捕获和预热。若总冷启动为 TcoldT_{cold},Reactive Autoscaling(反应式扩容)看到队列时,新容量至少晚 TcoldT_{cold} 才生效。

04 冷启动为什么要求前馈信号?#

若到达率以斜率 gg tokens/s² 上升,冷启动期间额外队列近似为

Qcold≈12gTcold2.Q_{cold}\approx \frac12 gT_{cold}^2.

冷启动 120 秒、需求每秒增加 50 tokens/s 时,新增积压约为 0.5×50×1202=3600000.5\times50\times120^2=360000 tokens。扩容最终完成也可能来不及挽救当前 SLO。

因此需要组合三类信号:

  1. 领先信号:到达率斜率、已知活动、周期预测;提前启动。
  2. 压力信号:queued tokens、vllm:num_requests_waiting、KV 占用;确认实例正在饱和。
  3. 结果信号:TTFT/TPOT/E2E SLO goodput;验证扩容是否真的改善用户体验。

预测只负责提前量,压力信号负责纠偏。预测失败时仍要回到安全的反应式控制。

05 一个可单元测试的最小控制器#

输入是五个标量,而不是训练张量;输出是整数 desired replicas。真正部署时,capacity_per_replica 不能来自峰值宣传数字,要由固定模型、硬件、量化、上下文长度和 SLO 的压测矩阵估计。

06 为什么要把 Prefill 与 Decode 工作量分开?#

一个粗略等价工作量可写为

W=cpNp+cdNd,W=c_pN_p+c_dN_d,

NpN_p 是待处理 prompt tokens,NdN_d 是预计 decode tokens;cp,cdc_p,c_d 是在目标硬件上的相对服务成本。对 Disaggregated Serving(分离式服务),更应分别算

Rp∗=⌈λp+Qp/Tpμpρp⌉,Rd∗=⌈λd+Qd/Tdμdρd⌉.R_p^*=\left\lceil\frac{\lambda_p+Q_p/T_p}{\mu_p\rho_p}\right\rceil, \quad R_d^*=\left\lceil\frac{\lambda_d+Q_d/T_d}{\mu_d\rho_d}\right\rceil.

否则长 prompt 突发可能错误扩 Decode 池,长输出突发又错误扩 Prefill 池。上一篇的输出长度分位数可以提供 NdN_d,但高分位预测需设置上限并监控覆盖率。

07 当前 vLLM 有哪些可直接观测的信号?#

当前官方 /metrics 暴露:

  • vllm:num_requests_waiting:等待调度的请求数;
  • vllm:num_requests_running:执行批中的请求数;
  • vllm:kv_cache_usage_perc:KV Cache 占用,1 表示 100%;
  • vllm:prompt_tokens、vllm:generation_tokens:累计 token 计数,可用 rate() 求速率;
  • TTFT、inter-token 与 E2E latency histogram:用于验证 SLO。

指标名会随版本演进,部署前以当前 vLLM Production Metrics ↗为准。Counter 要用区间 rate,Gauge 才能直接聚合;多个 Pod 的 queue 通常求和,KV 压力要同时看 max 与分位数,不能只平均。

# 集群等待请求
sum(vllm:num_requests_waiting{model_name="my-model"})

# 最近 2 分钟每秒进入模型的 prompt tokens
sum(rate(vllm:prompt_tokens{model_name="my-model"}[2m]))

# 最热副本的 KV 压力
max(vllm:kv_cache_usage_perc{model_name="my-model"})
plaintext

08 HPA 与 KEDA 配置分别控制什么?#

Kubernetes autoscaling/v2 HPA 支持自定义指标和独立的扩/缩策略;KEDA 把 Prometheus 等外部信号适配给 HPA。当前 KEDA 文档特别说明:cooldownPeriod 只控制缩到 0;从 1 到 N 仍由 HPA behavior 控制。

这里的 YAML 是机制示例,不是可复制的万能阈值。当前 KEDA pollingInterval 默认 30 秒;1→N 时 HPA 的同步周期通常才是主节拍。生产前应核对ScaledObject 当前规范 ↗与集群版本。

09 为什么扩容要快,缩容要慢?#

扩容太慢会让队列发散;缩容太快会造成三类损失:

  • 刚加载的几十 GB 权重很快被销毁;
  • 热 KV cache 与 prefix locality 被清空;
  • 下一波流量到来时再次支付冷启动。

因此常用 Asymmetric Control(非对称控制):scale-up 无稳定窗口且允许成倍增加;scale-down 使用 5–15 分钟窗口,每次只撤一个,并先 drain(停止接新请求、完成在途请求)。Kubernetes HPA 的默认 downscale stabilization 是 300 秒,显式配置才能让意图可审计。

10 如何避免振荡与“幽灵容量”?#

  1. 用 30–120 秒窗口估计速率,但为硬过载保留快速通道。
  2. scale-up 与 scale-down 使用不同阈值,形成 Hysteresis(迟滞)。
  3. 只把 Ready endpoint 计入分母;新 Pod 预热前不接流量。
  4. 记录 desired、scheduled、running、ready、routable 五种副本数。
  5. 指标缺失时禁止缩容并进入 fallback,而不是把缺失当 0。
  6. 路由器的缓存亲和要感知 draining,避免把新会话继续粘到待删除副本。

11 怎样验证控制器,而不是只看 Pod 曲线?#

用可重放 trace 做阶跃、斜坡和尖峰三种实验:

稳态 5 min → 10× 突发 2 min → 低流量 15 min
记录 arrival / queued tokens / ready replicas / KV usage
记录 TTFT P50/P95/P99 / TPOT / timeout / rejection / SLO goodput
记录 scale decision → Pod scheduled → model ready → first request
text

关键指标包括:检测延迟、冷启动分位数、队列峰值、SLO violation area、扩容超调、缩容后反弹次数和 GPU-hours。只展示“最终扩到了 8 个 Pod”无法证明控制策略有效。

12 常见错误与最短调试路径#

现象常见原因最短检查
GPU 低但 TTFT 高Decode/KV 瓶颈或队列未入指标对齐 waiting、KV、TTFT
扩容后仍不降队列Pod 未 Ready 或路由未发现分解五种副本数
每隔几分钟扩缩一次窗口过短、无迟滞画 desired 原始序列
指标故障时缩到最小缺失被当 0检查 adapter 与 fallback
总体队列正常、单 Pod 爆满路由热点看 per-replica max 与方差
Prefill 突发扩错池两阶段信号混合拆分 Qp,QdQ_p,Q_d
GPU 一直昂贵空闲缩容窗口过长量化冷启动与保留成本

调试顺序应是:流量与 token 计数 → 指标时间戳 → desired 公式 → HPA/KEDA condition → 调度/拉取 → readiness → router endpoint → 端到端 SLO。

13 与相近机制的边界#

机制改变什么响应速度不能解决
Continuous batching单副本批组成毫秒总容量不足
Load-aware routing请求落点毫秒全体过载
Vertical scaling单实例资源分钟/重启GPU 粒度与快速突发
Horizontal autoscaling副本数量十秒到分钟冷启动期间的积压
Admission control接受的工作量立即长期容量不足
Scheduled scaling提前准备容量预测提前量未知突发

Autoscaling 与 admission 必须共存:前者修正持续容量,后者保护冷启动窗口与不可预测尖峰。

14 失败场景与局限#

  • GPU 配额或节点库存不足,desired replicas 永远无法调度;
  • 权重存储抖动使冷启动分布重尾,固定提前量失效;
  • 不同副本的 GPU、量化或并行度不同,却用相同容量标尺;
  • 指标聚合隐藏单副本热点或多租户不公平;
  • KV 高占用既可能是有效热缓存,也可能意味着无可调度空间;
  • 仅优化平均成本导致尾部 SLO 恶化;
  • 负载增长快于最大 scale-up policy,队列仍会发散。

15 今天真正需要记住什么?#

  1. GPU utilization 不是需求;队列工作量与 SLO goodput 才连接容量和用户体验。
  2. desired replicas 应由到达率、待排空工作量、单副本 SLO 容量与安全余量共同决定。
  3. 冷启动把扩容变成有延迟的控制系统,需要预测提前量、Ready gate 与 admission 保护。
  4. 扩容宜快、缩容宜慢;指标缺失时不应缩容。
  5. 验证要覆盖从决策到首次接流量的整条链,而不是只看 Pod 数。

16 思考题与小练习#

  1. 到达率 7200 tokens/s,队列 12000 tokens,单副本 SLO 容量 2500 tokens/s,希望 20 秒排空,ρ=0.8\rho=0.8。计算 R∗R^*。
  2. 修改最小控制器:分别输入 Prefill/Decode 队列与容量,输出两个池的副本数,并为指标缺失设计“可扩不可缩”规则。
  3. 构造冷启动为 60/180 秒的两组 trace,比较纯反应式、提前 2 分钟 scheduled scaling 与 admission guard 的 P99 TTFT 和 GPU-hours。

相关工作#

  1. Zhong et al., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving ↗,用 SLO goodput 分析阶段容量。
  2. Patel et al., Splitwise: Efficient Generative LLM Inference Using Phase Splitting ↗,研究分阶段资源池与配置。
  3. Sun et al., Llumnix: Dynamic Scheduling for Large Language Model Serving ↗,讨论实例间动态调度与迁移。
  4. Kubernetes, Horizontal Pod Autoscaling ↗,当前 HPA 算法、行为与稳定窗口。
  5. KServe, Autoscale InferenceService with LLM metrics ↗,vLLM 指标接入 KEDA 的当前官方示例。

17 下一篇预告#

新 GPU 还在冷启动,而请求已经到达时,队列不能无限增长。下一篇将讨论 Admission Control(准入控制):怎样从 deadline、预计 token 成本和当前 backlog 判断“现在接受是否仍可能达标”,以及如何公平拒绝、降级并返回可执行的重试信息。

GPU 利用率不高为何仍要扩容?推理 Autoscaling 的队列信号、冷启动与 SLO Goodput
https://zwjcode.cn/blog/llm-inference-autoscaling-queue-cold-start
作者 傑
发布于 2026年9月23日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。