多个模型争抢 GPU,怎样做 SLO 容量规划与故障冗余?
从平均吞吐无法指导多模型部署出发,手算 SLO 容量、GPU 整数分配与 N+1 余量,给出可回放的规划器和上线流程。
上一篇用 Admission Control(准入控制)在过载时保护已接受请求。但若集群同时服务问答、代码和嵌入等多个模型,更早的问题是:24 张 GPU 应该给谁,每个模型要放几个副本,坏一台机器后还能不能达标?
只拿“平均 tokens/s”除以流量会给出错误答案。Prompt/Output 长度、到达突发、并发、张量并行度和 SLO 都会改变单副本容量。本文把 Capacity Planning(容量规划)收敛为一条可审计链路:真实负载 → SLO 容量曲线 → 显存可行性 → 整数分配 → 故障回放。
01 为什么不能用一个吞吐数字?#
同一模型在三种负载下可能有相似总 tokens/s,却有完全不同的用户体验:
| 负载 | Prompt / Output | 主要压力 | 主要 SLO |
|---|---|---|---|
| 互动问答 | 1K / 128 | Prefill 与排队 | p99 TTFT |
| 长文摘要 | 16K / 512 | KV 显存与 Prefill | p99 TTFT + 成功率 |
| 代码补全 | 4K / 1K | Decode 时长 | p99 TPOT |
对模型 和负载桶 ,定义单副本 SLO Capacity(SLO 容量):
是到达率, 是产品约定。它不是理论峰值,而是在指定长度分布、并发和突发度下,仍同时满足尾延迟与成功率的最大持续流量。
02 先测曲线,再算副本#
对每个模型固定权重版本、GPU 类型、并行度和服务配置,然后逐档提高请求率。当任一 SLO 首次失败时,前一档才是容量点。
flowchart LR
W[生产负载分布<br/>prompt/output/cache hit] --> B[阶梯压测<br/>递增 request rate]
B --> M[TTFT / TPOT / success<br/>KV / queue / preemption]
M --> C[SLO 容量曲线<br/>model × GPU × bucket]
C --> P[副本数与 GPU 装箱]
P --> F[N+1 / 故障域回放]
F -->|SLO 未达标| PmermaidvLLM 当前官方 vllm bench serve 用 --request-rate、--burstiness 和 --max-concurrency 分别控制到达率、突发性和在途上限;它还会输出 TTFT、TPOT 与 ITL。容量压测不要默认用无限请求率,也不要让前缀缓存意外污染后一轮结果。
vllm bench serve \
--backend openai-chat \
--model "$MODEL_ID" \
--endpoint /v1/chat/completions \
--dataset-name custom \
--dataset-path replay-bucket.jsonl \
--request-rate 8 \
--burstiness 0.5 \
--max-concurrency 64 \
--num-prompts 2000 \
--save-result --save-detailedbashMODEL_ID 要固定到不可变版本,压测数据要保留 token 长度、多轮结构与缓存命中特征。生产隐私数据不应直接进入压测集;可以保留统计结构后合成文本。
03 最小例子:三个模型需要几个副本?#
假设压测已给出满足各自 SLO 的单副本容量:
| 模型 | 预测峰值 | 单副本 SLO 容量 | 预留系数 |
|---|---|---|---|
| Chat-70B | 5.4 req/s | 2.0 req/s | 0.75 |
| Code-14B | 9.0 req/s | 5.0 req/s | 0.80 |
| Embed-7B | 34 req/s | 20 req/s | 0.85 |
不考虑故障时,副本下界为
手算得:
预留系数不是“凭感觉多留 20%”。它应吸收预测误差、突发、性能漂移和运维操作,并用历史误差分位数校准。
04 副本数还不等于 GPU 数#
若模型 的单副本需要张量并行度 ,正常运行的卡数是 。上例若分别需要 4、1、1 张 GPU,总数为
但“21 张卡”仍未说明能否部署:4 卡副本需要高速互联和连续可用的 4 张卡,不能被篮子里四个碎片空位替代。
对一个副本,每张 GPU 的最小显存约束可写为
其中:
- :权重显存;
- :CUDA Graph、workspace 与运行时峰值;
- :序列长度 和并发序列数 下的 KV Cache;
- :显存安全上限。
vLLM 当前提供 --gpu-memory-utilization 和更精确的 --kv-cache-memory-bytes;后者显式设置后会覆盖前者对 KV 大小的推断。它们是单实例配置,不会自动协调同一张卡上的另一实例;不要把两个 0.6 当成可装入 1 张 GPU。
05 从“凑够卡”到整数装箱#
令 表示模型 在故障域 (主机或机架)放置的副本数。最小化使用 GPU 成本的基本形式是
同时满足:
是故障域 的 GPU 数。实际还要加 GPU 类型、互联拓扑、模型兼容性、最大同域副本数和租户隔离约束。
错误:Host A [Chat-70B 的 3 个副本] Host B [其他]
Host A 一旦故障,Chat 容量瞬间失去 75%
较稳健:Host A [Chat #1] Host B [Chat #2]
Host C [Chat #3] Host D [Chat #4]textKubernetes 通过 GPU device plugin 把 GPU 暴露为 nvidia.com/gpu 等 extended resource;GPU 通常写在 limits,若同时写 requests 则两者必须相等。异构集群要再用 node labels/affinity 约束型号和显存,不能只说“要 4 张 GPU”。
resources:
limits:
nvidia.com/gpu: 4
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: accelerator
operator: In
values: [h100-80gb]yaml06 用穷举写一个可检查的小规划器#
小问题不需要先上黑盒求解器。下面的代码先计算副本下界,再检查“丢失最大主机后仍满足需求”:
from dataclasses import dataclass
from math import ceil
@dataclass(frozen=True)
class ModelLoad:
name: str
peak_rps: float
slo_rps_per_replica: float
target_utilization: float
def replicas(load: ModelLoad, lost_replicas: int = 0) -> int:
useful_capacity = load.slo_rps_per_replica * load.target_utilization
if useful_capacity <= 0:
raise ValueError("capacity and utilization must be positive")
return ceil(load.peak_rps / useful_capacity) + lost_replicas
loads = [
ModelLoad("chat-70b", 5.4, 2.0, 0.75),
ModelLoad("code-14b", 9.0, 5.0, 0.80),
ModelLoad("embed-7b", 34.0, 20.0, 0.85),
]
for load in loads:
normal = replicas(load)
n_plus_one = replicas(load, lost_replicas=1)
print(load.name, normal, n_plus_one)
# chat-70b 4 5
# code-14b 3 4
# embed-7b 2 3pythonlost_replicas=1 只是“丢一个副本”,不是“丢一台主机”。若某主机放了同模型两个副本,就要用其最大同域损失重算。生产规划器应输出具体摆放与每条约束的 slack,而不是只返回“可行”。
07 N+1 为什么还不够?#
N+1 只能回答单一副本或故障域损失。它没有覆盖:
- 流量在故障同时处于预测上界;
- 替换副本需要下载权重、编译 kernel 和预热;
- 一个机架、可用区或网络织物失效;
- 生产发布正同时占用 surge 容量;
- 故障后批处理效率因副本变少而非线性下降。
因此要对候选方案执行 scenario replay(场景回放):正常、最大主机丢失、单 AZ 丢失、发布 surge、流量 p95/p99 与依赖降级。每个场景都要重算路由后流量与 SLO,不能只看剩余 GPU 数。
08 容量曲线怎样变成日常数据产品?#
每个曲线点都应携带元数据:
model_digest, tokenizer_digest, server_version
gpu_sku, gpu_count, tensor_parallel, kv_dtype
prompt_bucket, output_bucket, cache_hit_bucket
request_rate, burstiness, concurrency
p50/p99_ttft, p50/p99_tpot, success_rate, goodput
kv_peak, queue_peak, preemptions, run_id, timestamptext规划时不应在桶之间随意线性插值。从 2K 到 32K context 会改变 KV 约束和 kernel 路径;从单机到跨机 TP 会引入网络拐点。没有相邻实测点时,应选更保守的下界并标记 extrapolated=true。
09 预测、规划与实时控制的边界#
| 层次 | 时间尺度 | 回答的问题 | 不擅长 |
|---|---|---|---|
| Capacity planning | 天到月 | 买/租多少 GPU,如何放置 | 秒级突发 |
| Autoscaling | 分钟 | 何时增减副本 | 冷启动前的突发 |
| Routing/Scheduling | 毫秒到秒 | 请求去哪个副本 | 增加物理容量 |
| Admission control | 毫秒 | 这份工作是否还可完成 | 解决持续容量缺口 |
四者共享同一套模型版本、负载桶和 SLO 定义,否则容量规划说“可承载 10 RPS”,Autoscaler 与网关却会用另一种长度分布解释这个数字。
10 如何验证一个部署方案?#
- 冻结契约:固定模型、服务引擎、GPU、量化、并行度和 SLO。
- 分布回放:使用生产 prompt/output/cache-hit 分布,包含突发而不只是平滑 RPS。
- 扫描拐点:从低负载递增,找出首个 SLO 失败点,保存其前一档。
- 生成方案:先检查显存和拓扑,再解整数副本与故障域分散。
- 注入故障:丢失最大主机/AZ,同时回放高峰,验证重路由后的 SLO Goodput。
- 灰度上线:限制租户和流量,比较规划容量与真实容量,超出误差预算就回滚。
11 常见错误与最短调试路径#
| 现象 | 常见原因 | 最短检查 |
|---|---|---|
| GPU 利用低但 TTFT 高 | KV 满、队列堵塞或 Prefill 干扰 | 按模型查 queue、KV、TTFT |
| 压测能力高于生产 | 长度/突发/缓存分布不同 | 对比负载桶与 cache hit |
| 总卡数足够却无法调度 | TP 连续卡或 GPU 型号碎片 | 按主机画卡槽和拓扑 |
| 坏一台机器容量腰斩 | 副本集中在同一故障域 | 计算 max-host-loss |
| 发布时无卡可用 | 规划未包含 surge/warmup | 把发布当成独立场景 |
| 缩容后立即超时 | 用平均流量而非高峰分位数 | 回放预测残差与周期峰值 |
最短路径:确认模型版本 → 对齐负载桶 → 复现单副本曲线 → 检查显存/KV → 检查拓扑与故障域 → 回放最大损失 → 对比预测与实际 Goodput。
12 失败场景与局限#
- 新权重或新引擎改变 kernel,旧容量曲线立即失效;
- 长上下文、多模态或工具调用的分布漂移;
- 不同模型共享 CPU、NIC、磁盘或电力上限,单独压测无法显示干扰;
- 低流量大模型按容量计算仅需半个副本,却仍要支付完整常驻权重;
- Spot/抢占式 GPU 的回收相关性远高于独立失效假设;
- 简单 N+1 无法代表区域级灾难,跨区域冗余又会受数据合规和网络延迟限制。
容量规划不保证未来;它把假设、负载、约束与风险写成可重放的版本。真正重要的不是某次算出 24 张卡,而是流量或软件改变时能知道哪条假设失效。
13 与相近方法的区别#
| 方法 | 主要输入 | 输出 | 关键局限 |
|---|---|---|---|
| 平均利用率估算 | GPU utilization | 粗略容量 | 忽略尾延迟和长度分布 |
| 单模型 Autoscaling | 实时队列/流量 | 副本变化 | 不解决多模型 GPU 总预算 |
| Bin Packing(装箱) | 副本资源需求 | 具体放置 | 未定义流量与 SLO 容量 |
| Queueing model(排队模型) | 到达/服务分布 | 延迟估计 | 难精确描述 continuous batching |
| SLO 容量规划 | 压测曲线+负载+故障 | 副本与放置 | 需持续重测与校准 |
14 今天真正需要记住什么?#
- 单副本容量必须是在真实长度、突发和并发下同时满足 TTFT、TPOT 与成功率的实测点。
- 先用显存、GPU 类型和互联拓扑排除不可行部署,再做副本整数分配。
- 预留系数应由预测误差和性能漂移校准,不是固定的传统比例。
- N+1 要按真实故障域验证;总卡数尚在,不代表模型仍能组成所需副本。
- 规划结果必须能被压测、故障注入和灰度数据反驳。
15 思考题与小练习#
- 某模型峰值 18 RPS,单副本 SLO 容量 6 RPS,目标利用率 0.75。正常需要几个副本?丢失一个副本后仍要承载峰值时呢?
- 把小规划器扩展为三台 8-GPU 主机的穷举装箱:要求 4-GPU 副本不跨主机,且同模型不能有超过一半副本在同一主机。
- 设计一次容量曲线漂移实验:同时改变 prompt p95、缓存命中率和 burstiness,找出哪个变量先使 TTFT SLO 失败。
相关工作#
- Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention ↗,说明 KV 显存管理如何改变可承载序列数。
- Yu et al., Orca: A Distributed Serving System for Transformer-Based Generative Models ↗,用 iteration-level scheduling 与 selective batching 提高服务效率。
- Crankshaw et al., Clipper: A Low-Latency Online Prediction Serving System ↗,研究在延迟目标下组合模型服务。
- Gujarati et al., Serving DNNs like Clockwork: Performance Predictability from the Bottom Up ↗,将可预测执行与 SLO 调度联系起来。
- vLLM, Benchmark CLI ↗,给出当前服务压测的到达模式、延迟指标与容量参数。
16 下一篇预告#
容量规划给出“应该放几个副本”,但模型权重动辄数十 GB,将新副本变成 Ready 可能需要数分钟。下一篇将拆解 Model Loading(模型加载)的冷启动路径:权重分发、并行加载、预热与可用性门槛。