命中缓存却排队更久怎么办?Load-aware Routing 的亲和—负载权衡
从热门前缀制造单副本热点出发,手算缓存收益与相对负载评分,解释 β 阈值、冷副本溢出、陈旧指标和可验证调参。
上一篇让路由器查询全局 KV 位置索引,把请求送到持有最长连续前缀的副本。这个策略在低并发下很自然;并发升高后,成功本身会制造新问题:热门系统提示集中在副本 A,新的相似请求继续选择 A,A 的缓存更热、队列也更长,而副本 B、C 空闲。
因此路由不能只问“哪里已经算过”,还要问“等待这次复用是否比去空闲副本重算更快”。Load-aware Routing(负载感知路由)的核心不是换一个负载指标,而是把缓存亲和收益与排队代价放进同一个可比较的决策。
01 命中越多为什么不一定越快?#
对副本 ,一次请求的近似完成前时间可拆成:
命中更多主要减少 ,有远端 cache tier 时还可能增加 ;副本拥堵则抬高 。只最大化 matched tokens,相当于假设其余项在所有副本上相同,这在热点出现时显然不成立。
例如一个 4000-token prompt:
| 副本 | 命中 | 排队估计 | 剩余 Prefill | 粗略总等待到首 token |
|---|---|---|---|---|
| A | 3600 tokens | 900 ms | 80 ms | 980 ms |
| B | 0 | 40 ms | 500 ms | 540 ms |
A 省下 420 ms 计算,却多排 860 ms;选择缓存最多者反而慢约 440 ms。
02 当前官方评分式在比较什么?#
截至本文核对时,vLLM Production Stack 的官方 Load Aware Routing 教程对每个 endpoint 使用:
这里:
- :副本 可复用的最长前缀 token 数;
- :本次请求 prompt 长度;
- :官方当前实现使用 endpoint 的 in-flight request 数;
- :所有健康候选副本平均负载;
- :用多少缓存亲和去交换负载均衡。
第一项与第二项都无量纲。命中比例落在 ;相对负载 0 表示处于集群平均值,1 表示比平均值高一个平均值。分母下限 1 避免几乎空闲时除以很小的均值。
03 用三个副本手算一次选择#
请求长 1000 tokens,三个副本的匹配和 in-flight 为:
| 副本 | matched | hit ratio | in-flight |
|---|---|---|---|
| A | 900 | 0.9 | 8 |
| B | 400 | 0.4 | 2 |
| C | 0 | 0.0 | 2 |
平均负载为 ,相对负载分别是:
令 :
结果选择 B:它放弃 500 个 cached tokens,却避开 A 的热点。C 虽最冷,但与 B 同负载且完全无命中,因此仍输给 B。
04 β 的切换阈值可以直接算#
比较两个副本 :
其中 是命中比例、 是相对负载。若 ,从偏好高命中的 A 切换到低负载的 B 的阈值是
上例 A 与 B 的阈值为
- :A 的缓存优势更重要;
- :B 的低负载更重要;
- :退化为只看缓存;
- 很大:逐渐接近只选低负载。
这使调参不再是盲扫:先从线上样本计算“策略改变发生在哪些 区间”,再在少数阈值附近回放和压测。
05 完整数据流怎样闭环?#
flowchart LR
Q[请求 token ids<br/>L] --> K[查询 KV 位置索引]
K --> H[各副本命中比例<br/>h: R]
M[副本实时指标<br/>in-flight: R] --> N[计算相对负载<br/>l: R]
H --> S[score = h - βl]
N --> S
F[健康/模型/租户过滤] --> S
S --> A[argmax + 稳定平局]
A --> G[目标 GPU]
G --> O[实际 cached tokens<br/>queue / TTFT]
O --> C[离线回放与 β 校准]
C --> Smermaid输入张量可看作两个长度为 的向量:;逐元素评分后取 argmax。在生产实现中,必须先过滤不健康、模型不匹配、正在 draining 或隔离域不兼容的副本,不能让高分绕过硬约束。
06 一个最小实现:把每个中间量都返回#
from dataclasses import dataclass
from statistics import fmean
@dataclass(frozen=True)
class Endpoint:
name: str
matched_tokens: int
inflight: int
@dataclass(frozen=True)
class Decision:
endpoint: str
hit_ratio: float
relative_load: float
score: float
def choose_load_aware(
endpoints: list[Endpoint],
prompt_tokens: int,
beta: float = 1.0,
) -> Decision:
if prompt_tokens <= 0:
raise ValueError("prompt_tokens must be positive")
if not endpoints:
raise ValueError("no healthy endpoints")
if beta < 0:
raise ValueError("beta must be non-negative")
mean_load = fmean(e.inflight for e in endpoints)
denominator = max(1.0, mean_load)
rows: list[Decision] = []
for endpoint in endpoints:
hit_ratio = min(endpoint.matched_tokens, prompt_tokens) / prompt_tokens
relative_load = (endpoint.inflight - mean_load) / denominator
score = hit_ratio - beta * relative_load
rows.append(Decision(endpoint.name, hit_ratio, relative_load, score))
# 最大分;完全平局时稳定选择名称更小者,便于复现测试。
return min(rows, key=lambda row: (-row.score, row.endpoint))
decision = choose_load_aware(
[
Endpoint("A", matched_tokens=900, inflight=8),
Endpoint("B", matched_tokens=400, inflight=2),
Endpoint("C", matched_tokens=0, inflight=2),
],
prompt_tokens=1000,
beta=0.4,
)
print(decision)
# Decision(endpoint='B', hit_ratio=0.4,
# relative_load=-0.5, score=0.6)python为什么要返回中间量?若只记录 chosen=B,无法区分“B 缓存更好”“B 更空闲”“A 被过滤”或“指标陈旧”。可观测决策必须包含候选集、各项特征、权重、分数和最终 tie-break。
07 in-flight request 为什么只是负载代理?#
一个含 100-token prompt、最多输出 16 tokens 的请求,与 64k prompt、长思维链请求都计作 1 个 in-flight;它们占用的 Prefill 算力、KV blocks 和 Decode slots 完全不同。
更贴近成本的负载可组合:
其中:
- :等待请求数或预计排队 token;
- :未完成 Prefill tokens;
- :运行中 Decode sequences 或预计剩余输出;
- :KV cache utilization;
- :通过 profile 标定的换算系数。
但复杂不必然更准。上一篇的长度分位数可以改善 ,也会引入预测误差。应先用简单 in-flight 基线,再用离线 trace 回放证明新增特征确实改善 P95/P99,而不是只让公式更漂亮。
08 指标陈旧会怎样让所有路由器一起追热点?#
若 scrape 间隔为 1 秒,路由器在这 1 秒内可能连续把 100 个请求都发给“刚才最空闲”的 B。下一次指标刷新时,所有路由器又一起转向 C,形成 Herding(羊群振荡)。
可用四层保护:
- 本地未确认计数:路由决定后立刻把目标副本的 shadow inflight 加 1,完成或超时后减 1。
- 指数平滑:对噪声指标用 EWMA,但不能把突发完全抹掉。
- 随机化候选:在接近最高分的副本中按 softmax 或随机平局,避免所有 router 完全同步。
- Hysteresis(迟滞):新副本必须高出当前偏好超过 才切换。
09 冷但空闲的副本何时真的值得去?#
评分式可以从工程直觉出发校准。设每省一个 Prefill token 的平均时间为 ,副本 的排队时间估计为 ,则更直接的成本是:
是 prompt tokens, 是 matched tokens。选择冷副本 而非热副本 的条件为:
左边是少排的时间,右边是放弃缓存后多付的计算与固定成本。官方 dimensionless score 更容易部署、跨长度归一化;延迟成本模型更接近目标,却需要硬件、模型、batch 组成和阶段的在线校准。两者应通过同一批 trace 比较,而不是在概念上争论。
10 当前 vLLM Production Stack 怎样配置?#
官方当前教程在 KV-aware 示例 values 基础上,把路由逻辑切换为 loadaware:
helm install vllm helm/ \
-f tutorials/assets/values-17-kv-aware.yaml \
--set routerSpec.routingLogic=loadawarebashbeta 可通过 --loadaware-beta 设置:
routerSpec:
routingLogic: 'loadaware'
extraArgs:
- '--loadaware-beta'
- '0.5'yaml官方说明默认 beta=1.0,也可用 LOADAWARE_BETA 环境变量,显式 flag 优先。beta=0 复现 cache-only;较大的值更早把请求溢出到空闲副本。参数和示例会随版本变化,部署前应核对当前 Load Aware Routing 官方教程 ↗。
当 controller 完全找不到 cache holder 时,官方实现回退到 session-hash / QPS 路由;因此“所有 hit ratio 都为 0”不应由一个固定字典序副本吞掉全部流量。
11 怎样用 trace 选择 β,而不是在线乱试?#
从一段生产 trace 提取每个请求在决策时刻的:
timestamp, request_id, prompt_tokens
candidate, matched_tokens, inflight, healthy
chosen, actual_cached_tokens, queue_ms, ttft_ms, output_tokenstext离线对 回放:
- 用当时可见特征重算 chosen endpoint;
- 对未真实选择的副本,不能直接把观测 TTFT 当反事实真值;先在影子流量或受控压测中采样。
- 比较 cached token ratio、负载离散度、TTFT P50/P95/P99、SLO goodput 与超时率。
- 按 prompt 长度、共享前缀热度和并发区间分桶;一个全局均值会隐藏长前缀热点。
线上从保守的小流量 canary 开始,并给 改动设置冷却时间。目标应是更高 SLO goodput,而不是单独最大化缓存命中或平均吞吐。
12 常见错误与最短调试路径#
| 现象 | 常见原因 | 最短检查 |
|---|---|---|
| 命中率高但 P99 变差 | 热 holder 排队 | 按副本画 queue 与 matched tokens |
| 请求在副本间来回摆动 | scrape 陈旧、无 shadow load | 对齐决策时间与指标时间戳 |
beta 改了却无差异 | 候选负载相近或配置未生效 | 打印逐候选分数和配置来源 |
| 短 prompt 被过度粘住 | 用 raw matched tokens 未归一化 | 改看 matched/prompt |
| 空载时分布不均 | 全部零分且 tie-break 固定 | 使用明确的 QPS/session fallback |
| 长请求仍拖垮副本 | in-flight 不能表达大小 | 加入 queued tokens/预测剩余量实验 |
| router 选中后 worker miss | KV 索引陈旧 | 比较 predicted 与 actual cached tokens |
调试顺序:候选过滤 → KV 命中 → 指标新鲜度 → 分数重算 → 实际 worker 结果 → 端到端 SLO。不要先调 来掩盖错误的 token 或陈旧位置索引。
13 与相近方法的边界#
| 方法 | 缓存状态 | 负载状态 | 典型优点 | 典型缺点 |
|---|---|---|---|---|
| Round-robin | ✗ | ✗ | 简单稳定 | 忽略请求差异 |
| Least connections | ✗ | ✓ | 避开明显热点 | 破坏前缀复用 |
| Session affinity | 间接 | ✗ | 多轮对话简单有效 | 淘汰后仍粘住 |
| KV-aware | ✓ | 平局时可能用 | 最大化实际命中 | 热前缀集中 |
| Load-aware KV routing | ✓ | ✓ | 可表达冷副本溢出 | 依赖指标与权重 |
| SLO/latency-aware | ✓/可选 | ✓ | 更贴近 deadline | 预测和校准复杂 |
这层是副本路由,与上一篇 SLO-aware scheduler 的单副本内部批调度不同:前者决定进哪条队列,后者决定队列里谁进入下一 GPU step。两层若各自只优化局部指标,仍可能互相打架。
14 失败场景与局限#
- 副本硬件不同但负载未做容量归一化;
- in-flight 相同、请求 token 成本相差两个数量级;
- Prefill/Decode 已分离,却把两类 pool 的负载混成一个数;
- KV 位于 CPU/远端,matched tokens 未扣除传输代价;
- 多个 router 的本地 shadow load 不共享,仍可能同步追逐;
- 低流量下样本不足,动态 追着噪声变化;
- 故障、drain、模型版本不一致未作为硬过滤;
- 极端 SLO 请求需要 deadline-aware admission,而不是靠平均负载评分。
负载感知路由能缓和热点,却不能创造容量。当所有副本同时过载时,必须扩容、限流、降级或拒绝;把请求换一条同样拥堵的队列不会改善 SLO。
15 今天真正需要记住什么?#
- KV 命中减少 Prefill,排队增加 TTFT;副本选择必须同时看到两者。
- 官方当前
loadaware评分用命中比例减去 倍相对负载,使两个信号无量纲可比较。 - 的切换阈值可手算;应通过 trace、影子流量和 canary 围绕阈值校准。
- 指标新鲜度、shadow load、随机化和平局回退决定了策略会稳定分流还是集体振荡。
- 当全体过载时,路由不是答案;系统需要容量与 admission control。
16 思考题与小练习#
- 两个副本的命中比例为 0.8、0.2,相对负载为 0.5、-0.25。计算切换阈值 ,并分别判断 和 1.0 的选择。
- 修改最小实现:当所有 endpoint 的
matched_tokens=0时,回退到(inflight, stable_hash(session_id));写测试证明不会固定打到同一副本。 - 构造一次“指标每 500 ms 更新、每 10 ms 到达一个请求”的模拟,比较无 shadow load 与有 shadow load 的最大队列长度和切换次数。
相关工作#
- Liu et al., Preble: Efficient Distributed Prompt Scheduling for LLM Serving ↗,研究分布式前缀复用与负载之间的调度权衡。
- Sun et al., Llumnix: Dynamic Scheduling for Large Language Model Serving ↗,讨论 LLM serving 的动态负载均衡与请求迁移。
- Patel et al., Splitwise: Efficient Generative LLM Inference Using Phase Splitting ↗,分析 Prefill/Decode 阶段拆分及集群级资源调度。
- Zhong et al., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving ↗,以 goodput 和阶段干扰为中心设计分离式 serving。
- vLLM Production Stack, Load Aware Routing ↗,当前评分式、
beta与部署配置的官方来源。
17 下一篇预告#
当每个副本都持续接近过载,路由只能重新分配痛苦,无法增加总容量。下一篇将进入推理副本 Autoscaling(自动扩缩容):为什么 GPU 利用率会误导扩容,怎样用排队 tokens、KV 压力与 SLO goodput 选择扩缩信号和冷启动提前量。