观文听傑

返回

路由器在缓存丰富但拥堵的 GPU 与缓存较少但空闲的 GPU 之间分流路由器在缓存丰富但拥堵的 GPU 与缓存较少但空闲的 GPU 之间分流

上一篇让路由器查询全局 KV 位置索引,把请求送到持有最长连续前缀的副本。这个策略在低并发下很自然;并发升高后,成功本身会制造新问题:热门系统提示集中在副本 A,新的相似请求继续选择 A,A 的缓存更热、队列也更长,而副本 B、C 空闲。

因此路由不能只问“哪里已经算过”,还要问“等待这次复用是否比去空闲副本重算更快”。Load-aware Routing(负载感知路由)的核心不是换一个负载指标,而是把缓存亲和收益与排队代价放进同一个可比较的决策。

01 命中越多为什么不一定越快?#

对副本 ii,一次请求的近似完成前时间可拆成:

Ti=Troute+Tqueue,i+Tkvload,i+Tprefill,i+Tdecode,i.T_i=T_{route}+T_{queue,i}+T_{kvload,i}+T_{prefill,i}+T_{decode,i}.

命中更多主要减少 Tprefill,iT_{prefill,i},有远端 cache tier 时还可能增加 Tkvload,iT_{kvload,i};副本拥堵则抬高 Tqueue,iT_{queue,i}。只最大化 matched tokens,相当于假设其余项在所有副本上相同,这在热点出现时显然不成立。

例如一个 4000-token prompt:

副本命中排队估计剩余 Prefill粗略总等待到首 token
A3600 tokens900 ms80 ms980 ms
B040 ms500 ms540 ms

A 省下 420 ms 计算,却多排 860 ms;选择缓存最多者反而慢约 440 ms。

02 当前官方评分式在比较什么?#

截至本文核对时,vLLM Production Stack 的官方 Load Aware Routing 教程对每个 endpoint 使用:

score(i)=matched_tokens(i)prompt_tokens−β⋅relative_load(i),score(i)=\frac{matched\_tokens(i)}{prompt\_tokens} -\beta\cdot relative\_load(i), relative_load(i)=load(i)−load‾max⁡(1,load‾).relative\_load(i)= \frac{load(i)-\overline{load}}{\max(1,\overline{load})}.

这里:

  • matched_tokens(i)matched\_tokens(i):副本 ii 可复用的最长前缀 token 数;
  • prompt_tokensprompt\_tokens:本次请求 prompt 长度;
  • load(i)load(i):官方当前实现使用 endpoint 的 in-flight request 数;
  • load‾\overline{load}:所有健康候选副本平均负载;
  • β≥0\beta\ge0:用多少缓存亲和去交换负载均衡。

第一项与第二项都无量纲。命中比例落在 [0,1][0,1];相对负载 0 表示处于集群平均值,1 表示比平均值高一个平均值。分母下限 1 避免几乎空闲时除以很小的均值。

03 用三个副本手算一次选择#

请求长 1000 tokens,三个副本的匹配和 in-flight 为:

副本matchedhit ratioin-flight
A9000.98
B4000.42
C00.02

平均负载为 (8+2+2)/3=4(8+2+2)/3=4,相对负载分别是:

lA=(8−4)/4=1,lB=lC=(2−4)/4=−0.5.l_A=(8-4)/4=1, \quad l_B=l_C=(2-4)/4=-0.5.

令 β=0.4\beta=0.4:

sA=0.9−0.4×1=0.5,s_A=0.9-0.4\times1=0.5, sB=0.4−0.4×(−0.5)=0.6,s_B=0.4-0.4\times(-0.5)=0.6, sC=0−0.4×(−0.5)=0.2.s_C=0-0.4\times(-0.5)=0.2.

结果选择 B:它放弃 500 个 cached tokens,却避开 A 的热点。C 虽最冷,但与 B 同负载且完全无命中,因此仍输给 B。

04 β 的切换阈值可以直接算#

比较两个副本 a,ba,b:

sa−sb=(ha−hb)−β(la−lb),s_a-s_b=(h_a-h_b)-\beta(l_a-l_b),

其中 hh 是命中比例、ll 是相对负载。若 la>lbl_a>l_b,从偏好高命中的 A 切换到低负载的 B 的阈值是

β∗=ha−hbla−lb.\beta^*=\frac{h_a-h_b}{l_a-l_b}.

上例 A 与 B 的阈值为

β∗=0.9−0.41−(−0.5)=13.\beta^*=\frac{0.9-0.4}{1-(-0.5)}=\frac{1}{3}.
  • β<1/3\beta<1/3:A 的缓存优势更重要;
  • β>1/3\beta>1/3:B 的低负载更重要;
  • β=0\beta=0:退化为只看缓存;
  • β\beta 很大:逐渐接近只选低负载。

这使调参不再是盲扫:先从线上样本计算“策略改变发生在哪些 β\beta 区间”,再在少数阈值附近回放和压测。

05 完整数据流怎样闭环?#

flowchart LR
  Q[请求 token ids<br/>L] --> K[查询 KV 位置索引]
  K --> H[各副本命中比例<br/>h: R]
  M[副本实时指标<br/>in-flight: R] --> N[计算相对负载<br/>l: R]
  H --> S[score = h - βl]
  N --> S
  F[健康/模型/租户过滤] --> S
  S --> A[argmax + 稳定平局]
  A --> G[目标 GPU]
  G --> O[实际 cached tokens<br/>queue / TTFT]
  O --> C[离线回放与 β 校准]
  C --> S
mermaid

输入张量可看作两个长度为 RR 的向量:h,l∈RRh,l\in\mathbb R^R;逐元素评分后取 argmax。在生产实现中,必须先过滤不健康、模型不匹配、正在 draining 或隔离域不兼容的副本,不能让高分绕过硬约束。

06 一个最小实现:把每个中间量都返回#

为什么要返回中间量?若只记录 chosen=B,无法区分“B 缓存更好”“B 更空闲”“A 被过滤”或“指标陈旧”。可观测决策必须包含候选集、各项特征、权重、分数和最终 tie-break。

07 in-flight request 为什么只是负载代理?#

一个含 100-token prompt、最多输出 16 tokens 的请求,与 64k prompt、长思维链请求都计作 1 个 in-flight;它们占用的 Prefill 算力、KV blocks 和 Decode slots 完全不同。

更贴近成本的负载可组合:

loadi=wqQi+wpPi+wdDi+wkKi,load_i=w_qQ_i+w_pP_i+w_dD_i+w_kK_i,

其中:

  • QiQ_i:等待请求数或预计排队 token;
  • PiP_i:未完成 Prefill tokens;
  • DiD_i:运行中 Decode sequences 或预计剩余输出;
  • KiK_i:KV cache utilization;
  • w∗w_*:通过 profile 标定的换算系数。

但复杂不必然更准。上一篇的长度分位数可以改善 DiD_i,也会引入预测误差。应先用简单 in-flight 基线,再用离线 trace 回放证明新增特征确实改善 P95/P99,而不是只让公式更漂亮。

08 指标陈旧会怎样让所有路由器一起追热点?#

若 scrape 间隔为 1 秒,路由器在这 1 秒内可能连续把 100 个请求都发给“刚才最空闲”的 B。下一次指标刷新时,所有路由器又一起转向 C,形成 Herding(羊群振荡)。

可用四层保护:

  1. 本地未确认计数:路由决定后立刻把目标副本的 shadow inflight 加 1,完成或超时后减 1。
  2. 指数平滑:对噪声指标用 EWMA,但不能把突发完全抹掉。
  3. 随机化候选:在接近最高分的副本中按 softmax 或随机平局,避免所有 router 完全同步。
  4. Hysteresis(迟滞):新副本必须高出当前偏好超过 ϵ\epsilon 才切换。

09 冷但空闲的副本何时真的值得去?#

评分式可以从工程直觉出发校准。设每省一个 Prefill token 的平均时间为 cpc_p,副本 ii 的排队时间估计为 qiq_i,则更直接的成本是:

T^i=qi+cp(L−mi)+tfixed,i,\widehat T_i=q_i+c_p(L-m_i)+t_{fixed,i},

LL 是 prompt tokens,mim_i 是 matched tokens。选择冷副本 bb 而非热副本 aa 的条件为:

qa−qb>cp(ma−mb)+(tfixed,b−tfixed,a).q_a-q_b>c_p(m_a-m_b)+(t_{fixed,b}-t_{fixed,a}).

左边是少排的时间,右边是放弃缓存后多付的计算与固定成本。官方 dimensionless score 更容易部署、跨长度归一化;延迟成本模型更接近目标,却需要硬件、模型、batch 组成和阶段的在线校准。两者应通过同一批 trace 比较,而不是在概念上争论。

10 当前 vLLM Production Stack 怎样配置?#

官方当前教程在 KV-aware 示例 values 基础上,把路由逻辑切换为 loadaware:

helm install vllm helm/ \
  -f tutorials/assets/values-17-kv-aware.yaml \
  --set routerSpec.routingLogic=loadaware
bash

beta 可通过 --loadaware-beta 设置:

routerSpec:
  routingLogic: 'loadaware'
  extraArgs:
    - '--loadaware-beta'
    - '0.5'
yaml

官方说明默认 beta=1.0,也可用 LOADAWARE_BETA 环境变量,显式 flag 优先。beta=0 复现 cache-only;较大的值更早把请求溢出到空闲副本。参数和示例会随版本变化,部署前应核对当前 Load Aware Routing 官方教程 ↗。

当 controller 完全找不到 cache holder 时,官方实现回退到 session-hash / QPS 路由;因此“所有 hit ratio 都为 0”不应由一个固定字典序副本吞掉全部流量。

11 怎样用 trace 选择 β,而不是在线乱试?#

从一段生产 trace 提取每个请求在决策时刻的:

timestamp, request_id, prompt_tokens
candidate, matched_tokens, inflight, healthy
chosen, actual_cached_tokens, queue_ms, ttft_ms, output_tokens
text

离线对 β∈{0,0.1,0.25,0.5,1,2,4}\beta\in\{0,0.1,0.25,0.5,1,2,4\} 回放:

  1. 用当时可见特征重算 chosen endpoint;
  2. 对未真实选择的副本,不能直接把观测 TTFT 当反事实真值;先在影子流量或受控压测中采样。
  3. 比较 cached token ratio、负载离散度、TTFT P50/P95/P99、SLO goodput 与超时率。
  4. 按 prompt 长度、共享前缀热度和并发区间分桶;一个全局均值会隐藏长前缀热点。

线上从保守的小流量 canary 开始,并给 β\beta 改动设置冷却时间。目标应是更高 SLO goodput,而不是单独最大化缓存命中或平均吞吐。

12 常见错误与最短调试路径#

现象常见原因最短检查
命中率高但 P99 变差热 holder 排队按副本画 queue 与 matched tokens
请求在副本间来回摆动scrape 陈旧、无 shadow load对齐决策时间与指标时间戳
beta 改了却无差异候选负载相近或配置未生效打印逐候选分数和配置来源
短 prompt 被过度粘住用 raw matched tokens 未归一化改看 matched/prompt
空载时分布不均全部零分且 tie-break 固定使用明确的 QPS/session fallback
长请求仍拖垮副本in-flight 不能表达大小加入 queued tokens/预测剩余量实验
router 选中后 worker missKV 索引陈旧比较 predicted 与 actual cached tokens

调试顺序:候选过滤 → KV 命中 → 指标新鲜度 → 分数重算 → 实际 worker 结果 → 端到端 SLO。不要先调 β\beta 来掩盖错误的 token 或陈旧位置索引。

13 与相近方法的边界#

方法缓存状态负载状态典型优点典型缺点
Round-robin✗✗简单稳定忽略请求差异
Least connections✗✓避开明显热点破坏前缀复用
Session affinity间接✗多轮对话简单有效淘汰后仍粘住
KV-aware✓平局时可能用最大化实际命中热前缀集中
Load-aware KV routing✓✓可表达冷副本溢出依赖指标与权重
SLO/latency-aware✓/可选✓更贴近 deadline预测和校准复杂

这层是副本路由,与上一篇 SLO-aware scheduler 的单副本内部批调度不同:前者决定进哪条队列,后者决定队列里谁进入下一 GPU step。两层若各自只优化局部指标,仍可能互相打架。

14 失败场景与局限#

  • 副本硬件不同但负载未做容量归一化;
  • in-flight 相同、请求 token 成本相差两个数量级;
  • Prefill/Decode 已分离,却把两类 pool 的负载混成一个数;
  • KV 位于 CPU/远端,matched tokens 未扣除传输代价;
  • 多个 router 的本地 shadow load 不共享,仍可能同步追逐;
  • 低流量下样本不足,动态 β\beta 追着噪声变化;
  • 故障、drain、模型版本不一致未作为硬过滤;
  • 极端 SLO 请求需要 deadline-aware admission,而不是靠平均负载评分。

负载感知路由能缓和热点,却不能创造容量。当所有副本同时过载时,必须扩容、限流、降级或拒绝;把请求换一条同样拥堵的队列不会改善 SLO。

15 今天真正需要记住什么?#

  1. KV 命中减少 Prefill,排队增加 TTFT;副本选择必须同时看到两者。
  2. 官方当前 loadaware 评分用命中比例减去 β\beta 倍相对负载,使两个信号无量纲可比较。
  3. β\beta 的切换阈值可手算;应通过 trace、影子流量和 canary 围绕阈值校准。
  4. 指标新鲜度、shadow load、随机化和平局回退决定了策略会稳定分流还是集体振荡。
  5. 当全体过载时,路由不是答案;系统需要容量与 admission control。

16 思考题与小练习#

  1. 两个副本的命中比例为 0.8、0.2,相对负载为 0.5、-0.25。计算切换阈值 β∗\beta^*,并分别判断 β=0.5\beta=0.5 和 1.0 的选择。
  2. 修改最小实现:当所有 endpoint 的 matched_tokens=0 时,回退到 (inflight, stable_hash(session_id));写测试证明不会固定打到同一副本。
  3. 构造一次“指标每 500 ms 更新、每 10 ms 到达一个请求”的模拟,比较无 shadow load 与有 shadow load 的最大队列长度和切换次数。

相关工作#

  1. Liu et al., Preble: Efficient Distributed Prompt Scheduling for LLM Serving ↗,研究分布式前缀复用与负载之间的调度权衡。
  2. Sun et al., Llumnix: Dynamic Scheduling for Large Language Model Serving ↗,讨论 LLM serving 的动态负载均衡与请求迁移。
  3. Patel et al., Splitwise: Efficient Generative LLM Inference Using Phase Splitting ↗,分析 Prefill/Decode 阶段拆分及集群级资源调度。
  4. Zhong et al., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving ↗,以 goodput 和阶段干扰为中心设计分离式 serving。
  5. vLLM Production Stack, Load Aware Routing ↗,当前评分式、beta 与部署配置的官方来源。

17 下一篇预告#

当每个副本都持续接近过载,路由只能重新分配痛苦,无法增加总容量。下一篇将进入推理副本 Autoscaling(自动扩缩容):为什么 GPU 利用率会误导扩容,怎样用排队 tokens、KV 压力与 SLO goodput 选择扩缩信号和冷启动提前量。

命中缓存却排队更久怎么办?Load-aware Routing 的亲和—负载权衡
https://zwjcode.cn/blog/load-aware-routing-cache-affinity-hotspot
作者 傑
发布于 2026年9月23日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。