吞吐更高为何用户却更慢?用 SLO Goodput 为 Prefill/Decode 池配比
从吞吐与延迟目标的冲突出发,手算 SLO Goodput,用 token service demand 估算 P/D 容量,并通过负载扫描、分桶与排队指标找出可持续的流量边界。
上一篇把 Prefill 和 Decode 放到了两组实例。这解除了资源绑定,却立刻带来一个容量问题:应该给 Prefill 多少 GPU,给 Decode 多少 GPU?
如果只追求 tokens/s,系统可以用更大 batch 取得很好看的总吞吐,同时让请求长时间排队,或让每个流式 token 间隔越来越大。对用户来说,超过 10 秒才出第一个字的回答,即使之后吞吐很高,也已经失败。
SLO Goodput(服务目标有效吞吐)只统计同时满足延迟 Service-Level Objective(服务级别目标,SLO)的完成请求。它迫使容量规划回到用户可感知的结果。
01 Throughput 为什么不够?#
设观测窗口为 ,完成请求集合为 ,满足所有 SLO 的请求为 :
对同时要求 TTFT 和 TPOT 的交互式生成,第 个请求的通过指示量是
没有 E2E 约束时可去掉最后一项。关键是“同一请求同时通过”:不能把 TTFT 通过率 95% 和 TPOT 通过率 95% 直接声称为 95% 双 SLO 达标。
02 用 6 个请求手算 Goodput#
观测 2 秒,SLO 为 TTFT ms,TPOT ms:
| 请求 | TTFT/ms | TPOT/ms | 双 SLO 通过? |
|---|---|---|---|
| A | 320 | 40 | ✓ |
| B | 470 | 65 | ✗ |
| C | 620 | 42 | ✗ |
| D | 410 | 48 | ✓ |
| E | 290 | 44 | ✓ |
| F | 530 | 73 | ✗ |
六个都完成,所以 request throughput 是 req/s;只有 A/D/E 通过两个约束,Goodput 是 req/s,SLO attainment(达标率)为 。
若一次“优化”让吞吐上升到 3.5 req/s,却让 Goodput 降到 1.2 req/s,它对这个 SLO 就是退化。
03 为什么要把 Prefill 和 Decode 分开算需求?#
请求 有 个 prompt tokens 和 个 output tokens。到达率为 req/s 时,平均 token demand 是
若一张 Prefill GPU 在目标负载形状下的可持续速率是 prompt tok/s,Decode GPU 是 output tok/s,最粗的实例下界为
例如 req/s,平均 prompt 2000 tokens,平均 output 256 tokens。实测单 P 为 20k prompt tok/s,单 D 为 1k output tok/s:
这个结果只是扫描起点,不是生产答案。当利用率接近 100%时,排队延迟会非线性上升;而长度分布的尾部、到达爆发和 KV 容量也没有进入上式。
04 平均长度为什么会骗人?#
两批流量都可以有平均 prompt 2000:
流量 X: 几乎全是 1800–2200 tokens
流量 Y: 90% 为 200 tokens,10% 为 18,200 tokenstextY 会造成长 Prefill 尾部、KV 峰值与队头阻塞。同样,平均 output 256 可能隐藏少量生成数千 tokens 的请求,它们长时间占据 Decode slots。
容量评估应保留 prompt/output 的联合分布,至少按 (prompt bucket, output bucket, tenant/class) 分桶,而不是把两列各自打乱后重新拼接。
05 排队怎样吃掉 SLO 余量?#
TTFT 不只是 Prefill kernel 时间:
和 是两个池的排队时间。当 D 池不足时,请求甚至可在 KV 已生成后等待,同时占据临时缓存。
对稳态系统,Little’s Law(小林定律)提供一个有用的对账式:
平均系统内请求数 等于到达率 乘平均停留时间 。它不直接给出 p99,但若仪表盘上的 running + waiting 与到达率、延迟完全对不上,通常说明指标口径或路由范围有误。
06 一个可检查的 Goodput 计算器#
from dataclasses import dataclass
@dataclass(frozen=True)
class Result:
ttft_ms: float
tpot_ms: float | None
e2e_ms: float
ok: bool
def summarize(
rows: list[Result],
duration_s: float,
*,
ttft_slo_ms: float,
tpot_slo_ms: float,
e2e_slo_ms: float | None = None,
) -> dict[str, float]:
completed = [r for r in rows if r.ok]
def meets(r: Result) -> bool:
# 单 token 回答没有 token 间隔,不应伪造 0 ms TPOT
tpot_ok = r.tpot_ms is None or r.tpot_ms <= tpot_slo_ms
e2e_ok = e2e_slo_ms is None or r.e2e_ms <= e2e_slo_ms
return r.ttft_ms <= ttft_slo_ms and tpot_ok and e2e_ok
good = [r for r in completed if meets(r)]
return {
"throughput_rps": len(completed) / duration_s,
"goodput_rps": len(good) / duration_s,
"attainment": len(good) / len(completed) if completed else 0.0,
"error_rate": 1.0 - len(completed) / len(rows) if rows else 0.0,
}python输入是每请求的时延和成功状态,输出同时保留 throughput、goodput、attainment 和 error rate。必须明确单 token 响应的 TPOT 口径:它没有相邻输出 token 间隔,不能用 0 毫秒把结果人为拉好。
07 应该扫描什么,而不是只压一个点?#
flowchart TD
W[保留真实长度联合分布] --> L[扫描 request rate / concurrency]
L --> B[每个负载点预热后重复测试]
B --> S[统计 TTFT/TPOT/E2E 与 Goodput]
S --> Q[对齐 P/D 队列、KV、preemption、xfer]
Q --> K{双 SLO 达标率足够?}
K -->|是| H[提高负载或减少资源]
K -->|否| D[找到 P/D/网络瓶颈]mermaid先在低负载测出服务时间基线,再逐步增加 request rate 或 max concurrency。靠近拐点时加密采样,因为排队常在很窄的负载区间从稳定转为持续增长。
08 用当前 vLLM 工具设计负载#
vLLM 当前 bench serve 可用 --request-rate 控制到达率,用 --burstiness 改变到达间隔的 Gamma 分布,用 --max-concurrency 模拟网关背压。一个可复现的扫描点可写成:
vllm bench serve \
--backend openai-chat \
--model your-org/your-model \
--endpoint /v1/chat/completions \
--dataset-name sharegpt \
--dataset-path /data/ShareGPT.json \
--num-prompts 1000 \
--request-rate 8 \
--burstiness 1.0 \
--max-concurrency 64bashrequest-rate=inf 表示尽快发送,适合找最大吞吐,不能代表生产到达过程。burstiness=1.0 对应 Poisson 式到达;更小值更爆发。容量结论应同时包含稳定、爆发和最大吞吐负载,不能只选最好看的一类。
09 当前哪些指标可以定位 P/D 失衡?#
vLLM 当前在 /metrics 暴露 Prometheus 指标,包括:
vllm:time_to_first_token_seconds与vllm:inter_token_latency_seconds;vllm:request_queue_time_seconds;vllm:num_requests_running与vllm:num_requests_waiting;vllm:num_requests_waiting_by_reason的 capacity/deferred 原因;vllm:kv_cache_usage_perc与vllm:num_preemptions;- prompt/output token counters 与 prefix cache token hits。
常见模式是:
| 观测 | 更可能的瓶颈 |
|---|---|
| P 等待增长,D 稳定 | Prefill 容量不足或长 prompt 爆发 |
| D 等待增长,TPOT 恶化 | Decode 容量不足或输出尾部过长 |
| deferred 增长,P/D 利用率不高 | KV 交接或外部约束阻塞 |
| KV usage 接近 1,preemption 上升 | 上下文容量而非纯计算不足 |
| 平均稳定,p99 恶化 | 爆发、队头阻塞或流量类别不公平 |
10 怎样从扫描结果选 P/D 比例?#
对候选配置 (n_P, n_D) 和负载 ,记录单位 GPU Goodput:
约束应同时包含:
例如 ,再加错误率、成本或功率上限。选择“满足约束时 最高”的点,而不是“总 tokens/s 最高”的点。
若 (1P,3D) 与 (2P,3D) 的稳态 Goodput 接近,但后者在爆发负载下 TTFT p99 明显更稳,多出的 P 是容量余量,不是“利用率浪费”。余量大小应由流量不确定性和扩容启动时间决定。
11 Autoscaling 为什么不能只看 GPU 利用率?#
Prefill 和 Decode 的 GPU utilization 含义不同:Decode 可能内存带宽饱和而计算利用率不高;Prefill 也可能在等 KV 空间或调度。更可执行的信号组合是:
扩 P: P waiting tokens/requests 持续增长 + TTFT 余量消失
扩 D: D waiting/running 增长 + TPOT 余量消失
先查网络: deferred/transfer wait 增长,但 P/D 不饱和
先查 KV: cache usage/preemption 恶化,但纯计算尚有余量text扩容信号要有持续窗口、冷却期和启动时间估计。若新副本加载权重需要两分钟,等队列已经违约才扩容就太晚了;需要预热副本、负载预测或更大余量。
12 常见错误与最短调试路径#
| 错误 | 后果 | 最短修正 |
|---|---|---|
| 只报平均 TTFT/TPOT | 尾部违约被掩盖 | 报 p50/p95/p99 和请求级通过率 |
| 将两个 99% 达标率当作联合 99% | 高估 Goodput | 在同一 request ID 上做逻辑与 |
| 只用固定并发 | 看不到到达爆发与排队漂移 | 同时扫 request rate、burstiness、concurrency |
| 只用平均长度 | 严重低估长尾容量 | 保留 prompt/output 联合分布 |
| 把客户端背压时间排除 | 实际用户等待被藏在网关 | 同时报 server 与 end-to-end 口径 |
| 混合冷启动与稳态 | 分位数无法解释 | 分别报预热、稳态和扩容窗口 |
13 失败场景与局限#
- 业务没有明确可量化 SLO,Goodput 门槛只是人为数字;
- 请求分类差异很大,单一 SLO 会让批处理与交互流量互相伤害;
- output 长度在请求到达时未知,Decode 容量只能用分布而不是精确需求规划;
- Goodput 不表达公平性:调度器可能牺牲长请求来让更多短请求达标;
- 测试数据的模型、提示模板、长度和到达过程与生产不同,结论不可外推;
- 单区域稳态容量没有包含故障转移、版本滚动和容灾余量。
14 今天真正需要记住什么?#
- Throughput 统计所有完成工作;Goodput 只统计同时满足用户 SLO 的完成请求。
- Prefill 容量由 prompt token demand 驱动,Decode 容量由 output token demand 与活跃序列驱动,应分开建模。
- 平均长度和平均延迟都会掩盖尾部;必须保留联合分布、请求级达标和分位数。
- P/D 配比是在真实到达过程上扫描出来的;理论 token/s 只用来给候选范围定起点。
15 思考题与小练习#
- 10 秒内完成 80 个请求,72 个满足 TTFT,70 个满足 TPOT,但只有 66 个同时满足两者。计算 throughput、goodput 与双 SLO attainment。
- 扩展
summarize,按 prompt 长度<1K/1K–8K/>8K分桶;解释为什么全局 99% 达标仍可能严重伤害长上下文用户。 - 对
(1P,2D)、(1P,3D)、(2P,2D)设计负载扫描表,加入稳定与爆发到达,用单 GPU Goodput 和 99% 双 SLO 约束选配置。
相关工作#
- Zhong et al., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving ↗,将双 SLO 下的 Goodput 用于 P/D 资源规划。
- Yu et al., Orca: A Distributed Serving System for Transformer-Based Generative Models ↗,提出 iteration-level scheduling 与 selective batching。
- Agrawal et al., Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve ↗,讨论 chunked-prefill 与吞吐—延迟平衡。
- vLLM, Benchmark CLI 官方文档 ↗,说明 request rate、burstiness 与 max concurrency 的当前语义。
- vLLM, Production Metrics 官方文档 ↗,列出 TTFT、ITL、队列、KV 与 preemption 指标。
16 下一篇预告#
Goodput 告诉我们哪个配置在当前流量下达标,但请求的输出长度在到达时通常未知。下一篇将进入 SLO-aware Scheduling(SLO 感知调度):如何根据已等待时间、长度估计与剩余余量排序,以及为什么最大化达标数会伤害长请求公平性。