观文听傑

返回

本文主题示意图本文主题示意图

上一篇把 Prefill 和 Decode 放到了两组实例。这解除了资源绑定,却立刻带来一个容量问题:应该给 Prefill 多少 GPU,给 Decode 多少 GPU?

如果只追求 tokens/s,系统可以用更大 batch 取得很好看的总吞吐,同时让请求长时间排队,或让每个流式 token 间隔越来越大。对用户来说,超过 10 秒才出第一个字的回答,即使之后吞吐很高,也已经失败。

SLO Goodput(服务目标有效吞吐)只统计同时满足延迟 Service-Level Objective(服务级别目标,SLO)的完成请求。它迫使容量规划回到用户可感知的结果。

01 Throughput 为什么不够?#

设观测窗口为 TT,完成请求集合为 CC,满足所有 SLO 的请求为 G⊆CG\subseteq C:

request throughput=∣C∣T,goodput=∣G∣T.\text{request throughput}=\frac{|C|}{T},\qquad \text{goodput}=\frac{|G|}{T}.

对同时要求 TTFT 和 TPOT 的交互式生成,第 ii 个请求的通过指示量是

gi=1[TTFTi≤STTFT]⋅1[TPOTi≤STPOT]⋅1[E2Ei≤SE2E],g_i=\mathbf 1[TTFT_i\le S_{TTFT}] \cdot \mathbf 1[TPOT_i\le S_{TPOT}] \cdot \mathbf 1[E2E_i\le S_{E2E}],

没有 E2E 约束时可去掉最后一项。关键是“同一请求同时通过”:不能把 TTFT 通过率 95% 和 TPOT 通过率 95% 直接声称为 95% 双 SLO 达标。

02 用 6 个请求手算 Goodput#

观测 2 秒,SLO 为 TTFT ≤500\le 500 ms,TPOT ≤50\le 50 ms:

请求TTFT/msTPOT/ms双 SLO 通过?
A32040✓
B47065✗
C62042✗
D41048✓
E29044✓
F53073✗

六个都完成,所以 request throughput 是 6/2=36/2=3 req/s;只有 A/D/E 通过两个约束,Goodput 是 3/2=1.53/2=1.5 req/s,SLO attainment(达标率)为 3/6=50%3/6=50\%。

若一次“优化”让吞吐上升到 3.5 req/s,却让 Goodput 降到 1.2 req/s,它对这个 SLO 就是退化。

03 为什么要把 Prefill 和 Decode 分开算需求?#

请求 ii 有 Lp,iL_{p,i} 个 prompt tokens 和 Lo,iL_{o,i} 个 output tokens。到达率为 λ\lambda req/s 时,平均 token demand 是

DP=λ E[Lp],DD=λ E[Lo].D_P=\lambda\,\mathbb E[L_p],\qquad D_D=\lambda\,\mathbb E[L_o].

若一张 Prefill GPU 在目标负载形状下的可持续速率是 μP\mu_P prompt tok/s,Decode GPU 是 μD\mu_D output tok/s,最粗的实例下界为

nP≥⌈DPμP⌉,qquadnD≥⌈DDμD⌉.n_P\ge \left\lceil\frac{D_P}{\mu_P}\right\rceil,qquad n_D\ge \left\lceil\frac{D_D}{\mu_D}\right\rceil.

例如 λ=8\lambda=8 req/s,平均 prompt 2000 tokens,平均 output 256 tokens。实测单 P 为 20k prompt tok/s,单 D 为 1k output tok/s:

nP≥⌈16000/20000⌉=1,qquadnD≥⌈2048/1000⌉=3.n_P\ge\lceil16000/20000\rceil=1,qquad n_D\ge\lceil2048/1000\rceil=3.

这个结果只是扫描起点,不是生产答案。当利用率接近 100%时,排队延迟会非线性上升;而长度分布的尾部、到达爆发和 KV 容量也没有进入上式。

04 平均长度为什么会骗人?#

两批流量都可以有平均 prompt 2000:

流量 X: 几乎全是 1800–2200 tokens
流量 Y: 90% 为 200 tokens,10% 为 18,200 tokens
text

Y 会造成长 Prefill 尾部、KV 峰值与队头阻塞。同样,平均 output 256 可能隐藏少量生成数千 tokens 的请求,它们长时间占据 Decode slots。

容量评估应保留 prompt/output 的联合分布,至少按 (prompt bucket, output bucket, tenant/class) 分桶,而不是把两列各自打乱后重新拼接。

05 排队怎样吃掉 SLO 余量?#

TTFT 不只是 Prefill kernel 时间:

TTFT=Tfrontend+WP+TP+Txfer+WD+Tfirst decode.TTFT=T_{frontend}+W_P+T_P+T_{xfer}+W_D+T_{first\ decode}.

WPW_P 和 WDW_D 是两个池的排队时间。当 D 池不足时,请求甚至可在 KV 已生成后等待,同时占据临时缓存。

对稳态系统,Little’s Law(小林定律)提供一个有用的对账式:

N=λW,N=\lambda W,

平均系统内请求数 NN 等于到达率 λ\lambda 乘平均停留时间 WW。它不直接给出 p99,但若仪表盘上的 running + waiting 与到达率、延迟完全对不上,通常说明指标口径或路由范围有误。

06 一个可检查的 Goodput 计算器#

输入是每请求的时延和成功状态,输出同时保留 throughput、goodput、attainment 和 error rate。必须明确单 token 响应的 TPOT 口径:它没有相邻输出 token 间隔,不能用 0 毫秒把结果人为拉好。

07 应该扫描什么,而不是只压一个点?#

flowchart TD
  W[保留真实长度联合分布] --> L[扫描 request rate / concurrency]
  L --> B[每个负载点预热后重复测试]
  B --> S[统计 TTFT/TPOT/E2E 与 Goodput]
  S --> Q[对齐 P/D 队列、KV、preemption、xfer]
  Q --> K{双 SLO 达标率足够?}
  K -->|是| H[提高负载或减少资源]
  K -->|否| D[找到 P/D/网络瓶颈]
mermaid

先在低负载测出服务时间基线,再逐步增加 request rate 或 max concurrency。靠近拐点时加密采样,因为排队常在很窄的负载区间从稳定转为持续增长。

08 用当前 vLLM 工具设计负载#

vLLM 当前 bench serve 可用 --request-rate 控制到达率,用 --burstiness 改变到达间隔的 Gamma 分布,用 --max-concurrency 模拟网关背压。一个可复现的扫描点可写成:

vllm bench serve \
  --backend openai-chat \
  --model your-org/your-model \
  --endpoint /v1/chat/completions \
  --dataset-name sharegpt \
  --dataset-path /data/ShareGPT.json \
  --num-prompts 1000 \
  --request-rate 8 \
  --burstiness 1.0 \
  --max-concurrency 64
bash

request-rate=inf 表示尽快发送,适合找最大吞吐,不能代表生产到达过程。burstiness=1.0 对应 Poisson 式到达;更小值更爆发。容量结论应同时包含稳定、爆发和最大吞吐负载,不能只选最好看的一类。

09 当前哪些指标可以定位 P/D 失衡?#

vLLM 当前在 /metrics 暴露 Prometheus 指标,包括:

  • vllm:time_to_first_token_seconds 与 vllm:inter_token_latency_seconds;
  • vllm:request_queue_time_seconds;
  • vllm:num_requests_running 与 vllm:num_requests_waiting;
  • vllm:num_requests_waiting_by_reason 的 capacity/deferred 原因;
  • vllm:kv_cache_usage_perc 与 vllm:num_preemptions;
  • prompt/output token counters 与 prefix cache token hits。

常见模式是:

观测更可能的瓶颈
P 等待增长,D 稳定Prefill 容量不足或长 prompt 爆发
D 等待增长,TPOT 恶化Decode 容量不足或输出尾部过长
deferred 增长,P/D 利用率不高KV 交接或外部约束阻塞
KV usage 接近 1,preemption 上升上下文容量而非纯计算不足
平均稳定,p99 恶化爆发、队头阻塞或流量类别不公平

10 怎样从扫描结果选 P/D 比例?#

对候选配置 (n_P, n_D) 和负载 λ\lambda,记录单位 GPU Goodput:

Ggpu(nP,nD,λ)=SLO-good requests/snP+nD.G_{gpu}(n_P,n_D,\lambda)= \frac{\text{SLO-good requests}/s}{n_P+n_D}.

约束应同时包含:

P(TTFT≤STTFT∧TPOT≤STPOT)≥q,P(TTFT\le S_{TTFT}\land TPOT\le S_{TPOT})\ge q,

例如 q=0.99q=0.99,再加错误率、成本或功率上限。选择“满足约束时 GgpuG_{gpu} 最高”的点,而不是“总 tokens/s 最高”的点。

若 (1P,3D) 与 (2P,3D) 的稳态 Goodput 接近,但后者在爆发负载下 TTFT p99 明显更稳,多出的 P 是容量余量,不是“利用率浪费”。余量大小应由流量不确定性和扩容启动时间决定。

11 Autoscaling 为什么不能只看 GPU 利用率?#

Prefill 和 Decode 的 GPU utilization 含义不同:Decode 可能内存带宽饱和而计算利用率不高;Prefill 也可能在等 KV 空间或调度。更可执行的信号组合是:

扩 P: P waiting tokens/requests 持续增长 + TTFT 余量消失
扩 D: D waiting/running 增长 + TPOT 余量消失
先查网络: deferred/transfer wait 增长,但 P/D 不饱和
先查 KV: cache usage/preemption 恶化,但纯计算尚有余量
text

扩容信号要有持续窗口、冷却期和启动时间估计。若新副本加载权重需要两分钟,等队列已经违约才扩容就太晚了;需要预热副本、负载预测或更大余量。

12 常见错误与最短调试路径#

错误后果最短修正
只报平均 TTFT/TPOT尾部违约被掩盖报 p50/p95/p99 和请求级通过率
将两个 99% 达标率当作联合 99%高估 Goodput在同一 request ID 上做逻辑与
只用固定并发看不到到达爆发与排队漂移同时扫 request rate、burstiness、concurrency
只用平均长度严重低估长尾容量保留 prompt/output 联合分布
把客户端背压时间排除实际用户等待被藏在网关同时报 server 与 end-to-end 口径
混合冷启动与稳态分位数无法解释分别报预热、稳态和扩容窗口

13 失败场景与局限#

  • 业务没有明确可量化 SLO,Goodput 门槛只是人为数字;
  • 请求分类差异很大,单一 SLO 会让批处理与交互流量互相伤害;
  • output 长度在请求到达时未知,Decode 容量只能用分布而不是精确需求规划;
  • Goodput 不表达公平性:调度器可能牺牲长请求来让更多短请求达标;
  • 测试数据的模型、提示模板、长度和到达过程与生产不同,结论不可外推;
  • 单区域稳态容量没有包含故障转移、版本滚动和容灾余量。

14 今天真正需要记住什么?#

  1. Throughput 统计所有完成工作;Goodput 只统计同时满足用户 SLO 的完成请求。
  2. Prefill 容量由 prompt token demand 驱动,Decode 容量由 output token demand 与活跃序列驱动,应分开建模。
  3. 平均长度和平均延迟都会掩盖尾部;必须保留联合分布、请求级达标和分位数。
  4. P/D 配比是在真实到达过程上扫描出来的;理论 token/s 只用来给候选范围定起点。

15 思考题与小练习#

  1. 10 秒内完成 80 个请求,72 个满足 TTFT,70 个满足 TPOT,但只有 66 个同时满足两者。计算 throughput、goodput 与双 SLO attainment。
  2. 扩展 summarize,按 prompt 长度 <1K/1K–8K/>8K 分桶;解释为什么全局 99% 达标仍可能严重伤害长上下文用户。
  3. 对 (1P,2D)、(1P,3D)、(2P,2D) 设计负载扫描表,加入稳定与爆发到达,用单 GPU Goodput 和 99% 双 SLO 约束选配置。

相关工作#

  1. Zhong et al., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving ↗,将双 SLO 下的 Goodput 用于 P/D 资源规划。
  2. Yu et al., Orca: A Distributed Serving System for Transformer-Based Generative Models ↗,提出 iteration-level scheduling 与 selective batching。
  3. Agrawal et al., Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve ↗,讨论 chunked-prefill 与吞吐—延迟平衡。
  4. vLLM, Benchmark CLI 官方文档 ↗,说明 request rate、burstiness 与 max concurrency 的当前语义。
  5. vLLM, Production Metrics 官方文档 ↗,列出 TTFT、ITL、队列、KV 与 preemption 指标。

16 下一篇预告#

Goodput 告诉我们哪个配置在当前流量下达标,但请求的输出长度在到达时通常未知。下一篇将进入 SLO-aware Scheduling(SLO 感知调度):如何根据已等待时间、长度估计与剩余余量排序,以及为什么最大化达标数会伤害长请求公平性。

吞吐更高为何用户却更慢?用 SLO Goodput 为 Prefill/Decode 池配比
https://zwjcode.cn/blog/slo-goodput-prefill-decode-capacity-planning
作者 傑
发布于 2026年9月21日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。