观文听傑

返回

三类模型计算模块被分配到 GPU 机架,并保留一组故障余量三类模型计算模块被分配到 GPU 机架,并保留一组故障余量

上一篇用 Admission Control(准入控制)在过载时保护已接受请求。但若集群同时服务问答、代码和嵌入等多个模型,更早的问题是:24 张 GPU 应该给谁,每个模型要放几个副本,坏一台机器后还能不能达标?

只拿“平均 tokens/s”除以流量会给出错误答案。Prompt/Output 长度、到达突发、并发、张量并行度和 SLO 都会改变单副本容量。本文把 Capacity Planning(容量规划)收敛为一条可审计链路:真实负载 → SLO 容量曲线 → 显存可行性 → 整数分配 → 故障回放。

01 为什么不能用一个吞吐数字?#

同一模型在三种负载下可能有相似总 tokens/s,却有完全不同的用户体验:

负载Prompt / Output主要压力主要 SLO
互动问答1K / 128Prefill 与排队p99 TTFT
长文摘要16K / 512KV 显存与 Prefillp99 TTFT + 成功率
代码补全4K / 1KDecode 时长p99 TPOT

对模型 mm 和负载桶 bb,定义单副本 SLO Capacity(SLO 容量):

cm,b=max⁡{λ: p99(TTFT)≤Tm, p99(TPOT)≤Pm, success≥Am}.c_{m,b}=\max\{\lambda:\ p99(TTFT)\le T_m,\ p99(TPOT)\le P_m,\ success\ge A_m\}.

λ\lambda 是到达率,Tm,Pm,AmT_m,P_m,A_m 是产品约定。它不是理论峰值,而是在指定长度分布、并发和突发度下,仍同时满足尾延迟与成功率的最大持续流量。

02 先测曲线,再算副本#

对每个模型固定权重版本、GPU 类型、并行度和服务配置,然后逐档提高请求率。当任一 SLO 首次失败时,前一档才是容量点。

flowchart LR
  W[生产负载分布<br/>prompt/output/cache hit] --> B[阶梯压测<br/>递增 request rate]
  B --> M[TTFT / TPOT / success<br/>KV / queue / preemption]
  M --> C[SLO 容量曲线<br/>model × GPU × bucket]
  C --> P[副本数与 GPU 装箱]
  P --> F[N+1 / 故障域回放]
  F -->|SLO 未达标| P
mermaid

vLLM 当前官方 vllm bench serve 用 --request-rate、--burstiness 和 --max-concurrency 分别控制到达率、突发性和在途上限;它还会输出 TTFT、TPOT 与 ITL。容量压测不要默认用无限请求率,也不要让前缀缓存意外污染后一轮结果。

vllm bench serve \
  --backend openai-chat \
  --model "$MODEL_ID" \
  --endpoint /v1/chat/completions \
  --dataset-name custom \
  --dataset-path replay-bucket.jsonl \
  --request-rate 8 \
  --burstiness 0.5 \
  --max-concurrency 64 \
  --num-prompts 2000 \
  --save-result --save-detailed
bash

MODEL_ID 要固定到不可变版本,压测数据要保留 token 长度、多轮结构与缓存命中特征。生产隐私数据不应直接进入压测集;可以保留统计结构后合成文本。

03 最小例子:三个模型需要几个副本?#

假设压测已给出满足各自 SLO 的单副本容量:

模型预测峰值 λm\lambda_m单副本 SLO 容量 cmc_m预留系数 ρm\rho_m
Chat-70B5.4 req/s2.0 req/s0.75
Code-14B9.0 req/s5.0 req/s0.80
Embed-7B34 req/s20 req/s0.85

不考虑故障时,副本下界为

rm=⌈λmρmcm⌉.r_m=\left\lceil\frac{\lambda_m}{\rho_m c_m}\right\rceil.

手算得:

rchat=⌈5.4/(0.75×2)⌉=4,r_{chat}=\lceil5.4/(0.75\times2)\rceil=4, rcode=⌈9/(0.8×5)⌉=3,rembed=⌈34/(0.85×20)⌉=2.r_{code}=\lceil9/(0.8\times5)\rceil=3,\qquad r_{embed}=\lceil34/(0.85\times20)\rceil=2.

预留系数不是“凭感觉多留 20%”。它应吸收预测误差、突发、性能漂移和运维操作,并用历史误差分位数校准。

04 副本数还不等于 GPU 数#

若模型 mm 的单副本需要张量并行度 gmg_m,正常运行的卡数是 rmgmr_mg_m。上例若分别需要 4、1、1 张 GPU,总数为

4×4+3×1+2×1=21.4\times4+3\times1+2\times1=21.

但“21 张卡”仍未说明能否部署:4 卡副本需要高速互联和连续可用的 4 张卡,不能被篮子里四个碎片空位替代。

对一个副本,每张 GPU 的最小显存约束可写为

Mweights/gm+Mruntime+MKV(L,N)≤ηMGPU,M_{weights}/g_m+M_{runtime}+M_{KV}(L,N)\le \eta M_{GPU},

其中:

  • MweightsM_{weights}:权重显存;
  • MruntimeM_{runtime}:CUDA Graph、workspace 与运行时峰值;
  • MKV(L,N)M_{KV}(L,N):序列长度 LL 和并发序列数 NN 下的 KV Cache;
  • η<1\eta<1:显存安全上限。

vLLM 当前提供 --gpu-memory-utilization 和更精确的 --kv-cache-memory-bytes;后者显式设置后会覆盖前者对 KV 大小的推断。它们是单实例配置,不会自动协调同一张卡上的另一实例;不要把两个 0.6 当成可装入 1 张 GPU。

05 从“凑够卡”到整数装箱#

令 xm,hx_{m,h} 表示模型 mm 在故障域 hh(主机或机架)放置的副本数。最小化使用 GPU 成本的基本形式是

min⁡∑m,hcosthgmxm,h,\min\sum_{m,h}cost_hg_mx_{m,h},

同时满足:

∑hxm,h≥rm,\sum_hx_{m,h}\ge r_m, ∑mgmxm,h≤Gh,\sum_mg_mx_{m,h}\le G_h, xm,h∈Z≥0.x_{m,h}\in\mathbb Z_{\ge0}.

GhG_h 是故障域 hh 的 GPU 数。实际还要加 GPU 类型、互联拓扑、模型兼容性、最大同域副本数和租户隔离约束。

错误:Host A [Chat-70B 的 3 个副本]  Host B [其他]
      Host A 一旦故障,Chat 容量瞬间失去 75%

较稳健:Host A [Chat #1]  Host B [Chat #2]
          Host C [Chat #3]  Host D [Chat #4]
text

Kubernetes 通过 GPU device plugin 把 GPU 暴露为 nvidia.com/gpu 等 extended resource;GPU 通常写在 limits,若同时写 requests 则两者必须相等。异构集群要再用 node labels/affinity 约束型号和显存,不能只说“要 4 张 GPU”。

resources:
  limits:
    nvidia.com/gpu: 4
affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
        - matchExpressions:
            - key: accelerator
              operator: In
              values: [h100-80gb]
yaml

06 用穷举写一个可检查的小规划器#

小问题不需要先上黑盒求解器。下面的代码先计算副本下界,再检查“丢失最大主机后仍满足需求”:

lost_replicas=1 只是“丢一个副本”,不是“丢一台主机”。若某主机放了同模型两个副本,就要用其最大同域损失重算。生产规划器应输出具体摆放与每条约束的 slack,而不是只返回“可行”。

07 N+1 为什么还不够?#

N+1 只能回答单一副本或故障域损失。它没有覆盖:

  • 流量在故障同时处于预测上界;
  • 替换副本需要下载权重、编译 kernel 和预热;
  • 一个机架、可用区或网络织物失效;
  • 生产发布正同时占用 surge 容量;
  • 故障后批处理效率因副本变少而非线性下降。

因此要对候选方案执行 scenario replay(场景回放):正常、最大主机丢失、单 AZ 丢失、发布 surge、流量 p95/p99 与依赖降级。每个场景都要重算路由后流量与 SLO,不能只看剩余 GPU 数。

08 容量曲线怎样变成日常数据产品?#

每个曲线点都应携带元数据:

model_digest, tokenizer_digest, server_version
gpu_sku, gpu_count, tensor_parallel, kv_dtype
prompt_bucket, output_bucket, cache_hit_bucket
request_rate, burstiness, concurrency
p50/p99_ttft, p50/p99_tpot, success_rate, goodput
kv_peak, queue_peak, preemptions, run_id, timestamp
text

规划时不应在桶之间随意线性插值。从 2K 到 32K context 会改变 KV 约束和 kernel 路径;从单机到跨机 TP 会引入网络拐点。没有相邻实测点时,应选更保守的下界并标记 extrapolated=true。

09 预测、规划与实时控制的边界#

层次时间尺度回答的问题不擅长
Capacity planning天到月买/租多少 GPU,如何放置秒级突发
Autoscaling分钟何时增减副本冷启动前的突发
Routing/Scheduling毫秒到秒请求去哪个副本增加物理容量
Admission control毫秒这份工作是否还可完成解决持续容量缺口

四者共享同一套模型版本、负载桶和 SLO 定义,否则容量规划说“可承载 10 RPS”,Autoscaler 与网关却会用另一种长度分布解释这个数字。

10 如何验证一个部署方案?#

  1. 冻结契约:固定模型、服务引擎、GPU、量化、并行度和 SLO。
  2. 分布回放:使用生产 prompt/output/cache-hit 分布,包含突发而不只是平滑 RPS。
  3. 扫描拐点:从低负载递增,找出首个 SLO 失败点,保存其前一档。
  4. 生成方案:先检查显存和拓扑,再解整数副本与故障域分散。
  5. 注入故障:丢失最大主机/AZ,同时回放高峰,验证重路由后的 SLO Goodput。
  6. 灰度上线:限制租户和流量,比较规划容量与真实容量,超出误差预算就回滚。

11 常见错误与最短调试路径#

现象常见原因最短检查
GPU 利用低但 TTFT 高KV 满、队列堵塞或 Prefill 干扰按模型查 queue、KV、TTFT
压测能力高于生产长度/突发/缓存分布不同对比负载桶与 cache hit
总卡数足够却无法调度TP 连续卡或 GPU 型号碎片按主机画卡槽和拓扑
坏一台机器容量腰斩副本集中在同一故障域计算 max-host-loss
发布时无卡可用规划未包含 surge/warmup把发布当成独立场景
缩容后立即超时用平均流量而非高峰分位数回放预测残差与周期峰值

最短路径:确认模型版本 → 对齐负载桶 → 复现单副本曲线 → 检查显存/KV → 检查拓扑与故障域 → 回放最大损失 → 对比预测与实际 Goodput。

12 失败场景与局限#

  • 新权重或新引擎改变 kernel,旧容量曲线立即失效;
  • 长上下文、多模态或工具调用的分布漂移;
  • 不同模型共享 CPU、NIC、磁盘或电力上限,单独压测无法显示干扰;
  • 低流量大模型按容量计算仅需半个副本,却仍要支付完整常驻权重;
  • Spot/抢占式 GPU 的回收相关性远高于独立失效假设;
  • 简单 N+1 无法代表区域级灾难,跨区域冗余又会受数据合规和网络延迟限制。

容量规划不保证未来;它把假设、负载、约束与风险写成可重放的版本。真正重要的不是某次算出 24 张卡,而是流量或软件改变时能知道哪条假设失效。

13 与相近方法的区别#

方法主要输入输出关键局限
平均利用率估算GPU utilization粗略容量忽略尾延迟和长度分布
单模型 Autoscaling实时队列/流量副本变化不解决多模型 GPU 总预算
Bin Packing(装箱)副本资源需求具体放置未定义流量与 SLO 容量
Queueing model(排队模型)到达/服务分布延迟估计难精确描述 continuous batching
SLO 容量规划压测曲线+负载+故障副本与放置需持续重测与校准

14 今天真正需要记住什么?#

  1. 单副本容量必须是在真实长度、突发和并发下同时满足 TTFT、TPOT 与成功率的实测点。
  2. 先用显存、GPU 类型和互联拓扑排除不可行部署,再做副本整数分配。
  3. 预留系数应由预测误差和性能漂移校准,不是固定的传统比例。
  4. N+1 要按真实故障域验证;总卡数尚在,不代表模型仍能组成所需副本。
  5. 规划结果必须能被压测、故障注入和灰度数据反驳。

15 思考题与小练习#

  1. 某模型峰值 18 RPS,单副本 SLO 容量 6 RPS,目标利用率 0.75。正常需要几个副本?丢失一个副本后仍要承载峰值时呢?
  2. 把小规划器扩展为三台 8-GPU 主机的穷举装箱:要求 4-GPU 副本不跨主机,且同模型不能有超过一半副本在同一主机。
  3. 设计一次容量曲线漂移实验:同时改变 prompt p95、缓存命中率和 burstiness,找出哪个变量先使 TTFT SLO 失败。

相关工作#

  1. Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention ↗,说明 KV 显存管理如何改变可承载序列数。
  2. Yu et al., Orca: A Distributed Serving System for Transformer-Based Generative Models ↗,用 iteration-level scheduling 与 selective batching 提高服务效率。
  3. Crankshaw et al., Clipper: A Low-Latency Online Prediction Serving System ↗,研究在延迟目标下组合模型服务。
  4. Gujarati et al., Serving DNNs like Clockwork: Performance Predictability from the Bottom Up ↗,将可预测执行与 SLO 调度联系起来。
  5. vLLM, Benchmark CLI ↗,给出当前服务压测的到达模式、延迟指标与容量参数。

16 下一篇预告#

容量规划给出“应该放几个副本”,但模型权重动辄数十 GB,将新副本变成 Ready 可能需要数分钟。下一篇将拆解 Model Loading(模型加载)的冷启动路径:权重分发、并行加载、预热与可用性门槛。

多个模型争抢 GPU,怎样做 SLO 容量规划与故障冗余?
https://zwjcode.cn/blog/multi-model-gpu-capacity-planning-slo-bin-packing
作者 傑
发布于 2026年9月24日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。