GPU 利用率不高为何仍要扩容?推理 Autoscaling 的队列信号、冷启动与 SLO Goodput
从突发流量压垮 TTFT 出发,手算副本需求,解释排队 tokens、KV 压力、冷启动提前量与稳定扩缩容。
上一篇让路由器在缓存亲和与副本负载之间取舍。但当每个副本都排起队时,换一条队列不能创造容量:系统要么增加可服务副本,要么承认当前负载已经超出能力。
Autoscaling(自动扩缩容)的难点不在“指标超过阈值就加一张卡”,而在三个时间尺度:请求数秒内突发,推理负载每轮都变,GPU 副本却可能要数分钟才能下载权重、初始化通信并预热。本文只讲透一条控制链:怎样把需求换成所需副本数,并让慢执行器稳定追上快变化的流量。
01 为什么 GPU 利用率会给出错误答案?#
生成式推理交替经历 Prefill(预填充)和 Decode(解码)。Decode 常受显存带宽限制;连续批处理又可能让 GPU 一直忙,却只是在处理积压。于是同一个利用率可能对应完全不同状态:
| 场景 | GPU 利用率 | 等待队列 | TTFT | 是否该扩容 |
|---|---|---|---|---|
| 单个长 Prefill | 95% | 0 | 正常 | 未必 |
| Decode 小批次 | 55% | 80 | 恶化 | 是 |
| 持续满批 | 99% | 300 | 已失控 | 立即扩容并限流 |
| 无请求但权重驻留 | 2% | 0 | 无样本 | 可以谨慎缩容 |
GPU 指标描述设备是否忙,不描述用户是否在期限内得到结果。更接近需求的信号是 queued tokens、等待请求、KV Cache 使用率、TTFT/TPOT 的 SLO Goodput(满足服务等级目标的完成吞吐)以及到达率。
02 从服务能力推导副本数#
在一个短窗口 内,记:
- :到达的工作量,单位为等价 token;
- :单副本每秒可完成的等价 token;
- :Ready 且可路由的副本数;
- :窗口开始时排队的等价 token。
队列近似更新为
若希望在排空目标 内消化队列,并承接到达率 ,最小容量近似为
其中 是安全利用率,例如 0.8,为尾部波动和 batch 组成变化留余量。
一个可手算的例子#
每个 warm replica(已预热副本)稳定处理 2000 equivalent tokens/s;当前到达 4200 tokens/s,队列已有 6000 tokens,希望 10 秒排空,取 :
若当前只有 2 个 Ready 副本,就应至少增加 1 个。只看“等待请求数”会把 100-token 与 32k-token prompt 当成同样大小;equivalent tokens 至少要分别给 Prefill 和 Decode 标定成本。
03 数据流:指标、决策与执行不是同一时刻#
flowchart LR
R[Router / vLLM metrics] --> C[聚合窗口与去噪]
C --> E[估计到达率、队列工作量<br/>KV 压力与 SLO goodput]
E --> D[计算 desired replicas]
D --> H[Hysteresis + 速率限制]
H --> K[Kubernetes HPA / KEDA]
K --> P[拉取权重、GPU 初始化、预热]
P --> G[Ready gate]
G --> L[进入负载均衡候选]
L --> Rmermaid从指标产生到新副本接流量包含 scrape、控制器同步、调度、镜像与权重加载、CUDA/NCCL 初始化、图捕获和预热。若总冷启动为 ,Reactive Autoscaling(反应式扩容)看到队列时,新容量至少晚 才生效。
04 冷启动为什么要求前馈信号?#
若到达率以斜率 tokens/s² 上升,冷启动期间额外队列近似为
冷启动 120 秒、需求每秒增加 50 tokens/s 时,新增积压约为 tokens。扩容最终完成也可能来不及挽救当前 SLO。
因此需要组合三类信号:
- 领先信号:到达率斜率、已知活动、周期预测;提前启动。
- 压力信号:queued tokens、
vllm:num_requests_waiting、KV 占用;确认实例正在饱和。 - 结果信号:TTFT/TPOT/E2E SLO goodput;验证扩容是否真的改善用户体验。
预测只负责提前量,压力信号负责纠偏。预测失败时仍要回到安全的反应式控制。
05 一个可单元测试的最小控制器#
from dataclasses import dataclass
from math import ceil
@dataclass(frozen=True)
class Snapshot:
arrival_tokens_per_s: float
queued_tokens: int
ready_replicas: int
kv_usage: float # 0..1
slo_goodput: float # 0..1
def desired_replicas(
x: Snapshot,
capacity_per_replica: float,
drain_seconds: float = 10.0,
safe_utilization: float = 0.8,
min_replicas: int = 1,
max_replicas: int = 16,
) -> int:
if capacity_per_replica <= 0 or drain_seconds <= 0:
raise ValueError("capacities and time must be positive")
work_per_s = x.arrival_tokens_per_s + x.queued_tokens / drain_seconds
need = ceil(work_per_s / (capacity_per_replica * safe_utilization))
# KV 接近耗尽且 goodput 已下降时,至少再留一个副本的逃生余量。
if x.kv_usage >= 0.90 and x.slo_goodput < 0.95:
need = max(need, x.ready_replicas + 1)
return min(max(need, min_replicas), max_replicas)
x = Snapshot(4200, 6000, ready_replicas=2,
kv_usage=0.84, slo_goodput=0.93)
print(desired_replicas(x, capacity_per_replica=2000)) # 3python输入是五个标量,而不是训练张量;输出是整数 desired replicas。真正部署时,capacity_per_replica 不能来自峰值宣传数字,要由固定模型、硬件、量化、上下文长度和 SLO 的压测矩阵估计。
06 为什么要把 Prefill 与 Decode 工作量分开?#
一个粗略等价工作量可写为
是待处理 prompt tokens, 是预计 decode tokens; 是在目标硬件上的相对服务成本。对 Disaggregated Serving(分离式服务),更应分别算
否则长 prompt 突发可能错误扩 Decode 池,长输出突发又错误扩 Prefill 池。上一篇的输出长度分位数可以提供 ,但高分位预测需设置上限并监控覆盖率。
07 当前 vLLM 有哪些可直接观测的信号?#
当前官方 /metrics 暴露:
vllm:num_requests_waiting:等待调度的请求数;vllm:num_requests_running:执行批中的请求数;vllm:kv_cache_usage_perc:KV Cache 占用,1 表示 100%;vllm:prompt_tokens、vllm:generation_tokens:累计 token 计数,可用rate()求速率;- TTFT、inter-token 与 E2E latency histogram:用于验证 SLO。
指标名会随版本演进,部署前以当前 vLLM Production Metrics ↗为准。Counter 要用区间 rate,Gauge 才能直接聚合;多个 Pod 的 queue 通常求和,KV 压力要同时看 max 与分位数,不能只平均。
# 集群等待请求
sum(vllm:num_requests_waiting{model_name="my-model"})
# 最近 2 分钟每秒进入模型的 prompt tokens
sum(rate(vllm:prompt_tokens{model_name="my-model"}[2m]))
# 最热副本的 KV 压力
max(vllm:kv_cache_usage_perc{model_name="my-model"})plaintext08 HPA 与 KEDA 配置分别控制什么?#
Kubernetes autoscaling/v2 HPA 支持自定义指标和独立的扩/缩策略;KEDA 把 Prometheus 等外部信号适配给 HPA。当前 KEDA 文档特别说明:cooldownPeriod 只控制缩到 0;从 1 到 N 仍由 HPA behavior 控制。
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
name: llm-serving
spec:
scaleTargetRef:
name: llm-serving
minReplicaCount: 2
maxReplicaCount: 16
pollingInterval: 15
fallback:
failureThreshold: 3
replicas: 4
advanced:
horizontalPodAutoscalerConfig:
behavior:
scaleUp:
stabilizationWindowSeconds: 0
policies:
- type: Percent
value: 100
periodSeconds: 60
- type: Pods
value: 4
periodSeconds: 60
selectPolicy: Max
scaleDown:
stabilizationWindowSeconds: 600
policies:
- type: Pods
value: 1
periodSeconds: 120
triggers:
- type: prometheus
metadata:
serverAddress: http://prometheus.monitoring.svc:9090
metricName: llm_waiting_requests
query: sum(vllm:num_requests_waiting{model_name="my-model"})
threshold: '8'yaml这里的 YAML 是机制示例,不是可复制的万能阈值。当前 KEDA pollingInterval 默认 30 秒;1→N 时 HPA 的同步周期通常才是主节拍。生产前应核对ScaledObject 当前规范 ↗与集群版本。
09 为什么扩容要快,缩容要慢?#
扩容太慢会让队列发散;缩容太快会造成三类损失:
- 刚加载的几十 GB 权重很快被销毁;
- 热 KV cache 与 prefix locality 被清空;
- 下一波流量到来时再次支付冷启动。
因此常用 Asymmetric Control(非对称控制):scale-up 无稳定窗口且允许成倍增加;scale-down 使用 5–15 分钟窗口,每次只撤一个,并先 drain(停止接新请求、完成在途请求)。Kubernetes HPA 的默认 downscale stabilization 是 300 秒,显式配置才能让意图可审计。
10 如何避免振荡与“幽灵容量”?#
- 用 30–120 秒窗口估计速率,但为硬过载保留快速通道。
- scale-up 与 scale-down 使用不同阈值,形成 Hysteresis(迟滞)。
- 只把 Ready endpoint 计入分母;新 Pod 预热前不接流量。
- 记录 desired、scheduled、running、ready、routable 五种副本数。
- 指标缺失时禁止缩容并进入 fallback,而不是把缺失当 0。
- 路由器的缓存亲和要感知 draining,避免把新会话继续粘到待删除副本。
11 怎样验证控制器,而不是只看 Pod 曲线?#
用可重放 trace 做阶跃、斜坡和尖峰三种实验:
稳态 5 min → 10× 突发 2 min → 低流量 15 min
记录 arrival / queued tokens / ready replicas / KV usage
记录 TTFT P50/P95/P99 / TPOT / timeout / rejection / SLO goodput
记录 scale decision → Pod scheduled → model ready → first requesttext关键指标包括:检测延迟、冷启动分位数、队列峰值、SLO violation area、扩容超调、缩容后反弹次数和 GPU-hours。只展示“最终扩到了 8 个 Pod”无法证明控制策略有效。
12 常见错误与最短调试路径#
| 现象 | 常见原因 | 最短检查 |
|---|---|---|
| GPU 低但 TTFT 高 | Decode/KV 瓶颈或队列未入指标 | 对齐 waiting、KV、TTFT |
| 扩容后仍不降队列 | Pod 未 Ready 或路由未发现 | 分解五种副本数 |
| 每隔几分钟扩缩一次 | 窗口过短、无迟滞 | 画 desired 原始序列 |
| 指标故障时缩到最小 | 缺失被当 0 | 检查 adapter 与 fallback |
| 总体队列正常、单 Pod 爆满 | 路由热点 | 看 per-replica max 与方差 |
| Prefill 突发扩错池 | 两阶段信号混合 | 拆分 |
| GPU 一直昂贵空闲 | 缩容窗口过长 | 量化冷启动与保留成本 |
调试顺序应是:流量与 token 计数 → 指标时间戳 → desired 公式 → HPA/KEDA condition → 调度/拉取 → readiness → router endpoint → 端到端 SLO。
13 与相近机制的边界#
| 机制 | 改变什么 | 响应速度 | 不能解决 |
|---|---|---|---|
| Continuous batching | 单副本批组成 | 毫秒 | 总容量不足 |
| Load-aware routing | 请求落点 | 毫秒 | 全体过载 |
| Vertical scaling | 单实例资源 | 分钟/重启 | GPU 粒度与快速突发 |
| Horizontal autoscaling | 副本数量 | 十秒到分钟 | 冷启动期间的积压 |
| Admission control | 接受的工作量 | 立即 | 长期容量不足 |
| Scheduled scaling | 提前准备容量 | 预测提前量 | 未知突发 |
Autoscaling 与 admission 必须共存:前者修正持续容量,后者保护冷启动窗口与不可预测尖峰。
14 失败场景与局限#
- GPU 配额或节点库存不足,desired replicas 永远无法调度;
- 权重存储抖动使冷启动分布重尾,固定提前量失效;
- 不同副本的 GPU、量化或并行度不同,却用相同容量标尺;
- 指标聚合隐藏单副本热点或多租户不公平;
- KV 高占用既可能是有效热缓存,也可能意味着无可调度空间;
- 仅优化平均成本导致尾部 SLO 恶化;
- 负载增长快于最大 scale-up policy,队列仍会发散。
15 今天真正需要记住什么?#
- GPU utilization 不是需求;队列工作量与 SLO goodput 才连接容量和用户体验。
- desired replicas 应由到达率、待排空工作量、单副本 SLO 容量与安全余量共同决定。
- 冷启动把扩容变成有延迟的控制系统,需要预测提前量、Ready gate 与 admission 保护。
- 扩容宜快、缩容宜慢;指标缺失时不应缩容。
- 验证要覆盖从决策到首次接流量的整条链,而不是只看 Pod 数。
16 思考题与小练习#
- 到达率 7200 tokens/s,队列 12000 tokens,单副本 SLO 容量 2500 tokens/s,希望 20 秒排空,。计算 。
- 修改最小控制器:分别输入 Prefill/Decode 队列与容量,输出两个池的副本数,并为指标缺失设计“可扩不可缩”规则。
- 构造冷启动为 60/180 秒的两组 trace,比较纯反应式、提前 2 分钟 scheduled scaling 与 admission guard 的 P99 TTFT 和 GPU-hours。
相关工作#
- Zhong et al., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving ↗,用 SLO goodput 分析阶段容量。
- Patel et al., Splitwise: Efficient Generative LLM Inference Using Phase Splitting ↗,研究分阶段资源池与配置。
- Sun et al., Llumnix: Dynamic Scheduling for Large Language Model Serving ↗,讨论实例间动态调度与迁移。
- Kubernetes, Horizontal Pod Autoscaling ↗,当前 HPA 算法、行为与稳定窗口。
- KServe, Autoscale InferenceService with LLM metrics ↗,vLLM 指标接入 KEDA 的当前官方示例。
17 下一篇预告#
新 GPU 还在冷启动,而请求已经到达时,队列不能无限增长。下一篇将讨论 Admission Control(准入控制):怎样从 deadline、预计 token 成本和当前 backlog 判断“现在接受是否仍可能达标”,以及如何公平拒绝、降级并返回可执行的重试信息。