观文听傑

返回

准入控制网关把请求分为接受、有限等待和拒绝三条路径以保护 GPU 集群准入控制网关把请求分为接受、有限等待和拒绝三条路径以保护 GPU 集群

上一篇让 Autoscaling 根据队列和 SLO 增加副本,但 GPU 冷启动远慢于流量尖峰。若网关在这段时间继续无条件接收,请求会把内存和队列填满;等新容量就绪,早期请求可能早已超过 deadline(期限),后续请求也被无望工作拖累。

Admission Control(准入控制)并不是粗暴限 QPS。它在请求进入昂贵执行阶段前回答:以当前 backlog、请求成本和期限,这份工作还有合理机会按约完成吗? 做不到时,立即拒绝、降级或延迟,往往比先排几分钟再超时更诚实,也能保护仍可完成的请求。

01 为什么“先接进来再说”会造成延迟崩塌?#

设服务能力为 μ\mu work units/s,到达工作量为 λ\lambda。当 λ>μ\lambda>\mu,队列以 λ−μ\lambda-\mu 的速度增长;排队时间没有稳定上界。超时的客户端还可能重试,进一步抬高到达率,形成 Retry Storm(重试风暴)。

策略满载时表象用户结果系统代价
无限排队接受率 100%大量晚失败内存、KV 与连接被占满
固定 QPS 限流简单可控忽略请求大小长 prompt 仍可拖垮系统
并发上限保护执行批忽略在途 token请求成本差异巨大
工作量准入按可完成性决策快速失败或降级需要成本估计与校准

02 把请求换成同一单位#

对请求 ii,令:

  • pip_i:未命中的 Prefill tokens;
  • did_i:预测的 Decode tokens,可取校准后的 p90;
  • cp,cdc_p,c_d:两阶段每 token 的相对成本;
  • wi=cppi+cddiw_i=c_pp_i+c_dd_i:请求等价工作量。

若副本池 Ready 容量为 CC work units/s,已有 backlog BB,请求 deadline 距现在还有 DiD_i 秒,保留安全系数 0<ρ<10<\rho<1,则一个最小可完成性条件是

B+wiCρ≤Di.\frac{B+w_i}{C\rho}\le D_i.

等价地,Deadline Slack(期限余量)为

si=Di−B+wiCρ.s_i=D_i-\frac{B+w_i}{C\rho}.

si≥0s_i\ge0 才接受。这个估计忽略 batch 非线性和阶段干扰,因此它是 admission guard,不是精确延迟承诺。

03 用三个请求手算一次决策#

假设 C=1000C=1000 work units/s,ρ=0.8\rho=0.8,当前 backlog B=2400B=2400。三个请求按到达顺序评估:

请求wiw_iDiD_i加入前 BB预计完成结果
A8005 s2400(2400+800)/800=4(2400+800)/800=4 s接受
B16005 s32006 s拒绝
C4006 s32004.5 s接受

B 被拒绝后不能加入 backlog;否则 C 会被一份已知无法按期完成的工作连带拖迟。接受 C 后 B=3600B=3600。

04 数据流:决策必须发生在昂贵分配之前#

flowchart LR
  Q[请求 + tenant + deadline] --> T[模板化 / tokenize]
  T --> W[估计未命中 Prefill<br/>与 Decode 分位数]
  M[Ready 容量、backlog<br/>KV 与 SLO] --> F[可完成性计算]
  W --> F
  F -->|可行| A[预留预算并入队]
  F -->|边界| D[降级模型 / 缩短输出]
  F -->|不可行| R[429/503 + Retry-After]
  A --> G[GPU scheduler]
  G --> U[完成/取消后释放预算]
  U --> M
mermaid

先分配大块 KV、建立长生命周期流式连接,再决定拒绝,会让 admission 失去保护作用。请求取消、超时和失败后必须释放 reserved work;否则 shadow backlog 只增不减,系统会在空闲时继续误拒绝。

05 一个透明的最小 Admission Gate#

这里 decode_cost=4 只是演示单位换算;真实系数要按模型、GPU、并行度、batch 与上下文分桶测量。输出长度预测也可能漂移,因此要记录估计、实际 token 和 finish reason。

06 Batch 并行会不会让加法工作量失效?#

会。Continuous Batching 让多个请求共享一次 GPU step,吞吐不是单请求成本的简单相加;长上下文还会改变 attention 与 KV 代价。加法模型仍有三个用途:

  1. 比 request count 更能区分大小;
  2. 可用压测拟合局部有效容量;
  3. 发生偏差时容易解释和回退。

工程上可把容量写成查表函数

C=f(model,hardware,quantization,context_bucket,running_seqs),C=f(model,hardware,quantization,context\_bucket,running\_seqs),

并对预测完成时间乘校准因子。不要一开始就训练黑盒延迟模型而无法解释误拒原因。

07 Deadline 从哪里来?#

客户端 deadline、网关 timeout 和内部 SLO 不是同一个概念。可用于 admission 的预算应为

Di=min⁡(Dclient,Dproduct)−Telapsed−Tnetwork_reserve.D_i=\min(D_{client},D_{product})-T_{elapsed}-T_{network\_reserve}.

若客户端未提供 deadline,就按 endpoint 的产品契约设置默认值;不能把“无限”等同于最高优先级。网关、router 和 worker 要传递绝对截止时间,而不是每一跳重新获得完整 timeout。

arrival 12:00:00.000
absolute deadline 12:00:03.000
router receives 12:00:00.120 → remaining 2.880 s
worker receives 12:00:00.310 → remaining 2.690 s
text

08 接受、拒绝还是降级?#

决策不必只有二元:

动作适用条件必须告知客户端
接受保守估计仍可达标deadline 与取消语义
缩短 max_tokens用户允许较短答案实际上限与截断风险
切换小模型质量等级允许使用了哪一服务等级
延迟/异步队列非交互任务可查询任务 ID 与期限
快速拒绝无可行方案retryable、Retry-After、幂等建议

降级必须来自显式产品契约,不能偷偷换模型。对流式生成,已发送 token 后再换模型还会破坏一致性,因此 admission 应尽量在首 token 前完成。

09 怎样避免重试风暴?#

若所有客户端在 Retry-After: 5 后同时重试,会产生新尖峰。服务器应给基于恢复时间的窗口,客户端执行 Exponential Backoff with Jitter(带抖动指数退避):

import random


def retry_delay(attempt: int, retry_after: float, cap: float = 60.0) -> float:
    base = min(cap, max(retry_after, 2 ** attempt))
    return random.uniform(0.5 * base, 1.5 * base)
python

只有幂等请求才能自动重试;工具调用、付费动作和有外部副作用的生成必须携带 idempotency key 或要求用户确认。

10 多租户下“先到先得”为何不公平?#

一个租户可以在突发瞬间占满全部 backlog。可为租户 jj 维护 reserved work BjB_j 与权重 qjq_j,按 Dominant Share(主导份额)或 token bucket 约束:

sharej=Bjqj.share_j=\frac{B_j}{q_j}.

在都可完成的候选中优先较小 share,同时保留 emergency/interactive 等明确 service class。必须避免两种极端:高付费租户无限挤压其他人;低成本短请求永久越过长请求。可通过每类最小容量、最大 burst、aging 与审计日志组合解决。

11 KV Cache 还要做一条硬约束#

时间上可完成不代表内存上可容纳。令可用 KV blocks 为 KfreeK_{free},请求 p99 需要 kik_i blocks,保留安全余量 KreserveK_{reserve},则还需

ki≤Kfree−Kreserve.k_i\le K_{free}-K_{reserve}.

未命中 prompt、预测输出、并行采样 n 和 beam width 都会改变 kik_i。若 KV 约束失败,可以等待 block 释放、降低输出上限或拒绝;不能靠乐观平均值让 worker 进入反复 preemption/recompute。

12 指标与日志怎样证明决策正确?#

每次 admission 至少记录:

request_id, tenant, service_class, absolute_deadline
prompt_tokens, cached_tokens, decode_p50/p90/p99, estimate_version
ready_capacity, backlog_work, kv_free, safety_factor
decision, reason_code, retry_after, degraded_to
actual_queue_ms, actual_tokens, finish_reason, final_slo
text

核心看板包括 accepted/rejected/degraded rate、按 reason 的拒绝、false accept(接受后仍超时)、false reject 的影子估计、SLO goodput、重试放大系数、公平份额和因取消未释放预算的泄漏。

13 怎样用影子模式上线?#

  1. Observe:只计算不执行,比较预测完成时间与实际。
  2. Shadow reject:标记“本应拒绝”,仍让请求执行,估计误拒代价。
  3. Canary:仅对可安全重试的少量流量执行准入。
  4. Enforce:逐服务等级扩大,并保留 kill switch。
  5. Game day:模拟指标缺失、GPU 节点耗尽、预测漂移和重试风暴。

边界样本应优先降级或进入小额度探索桶,用于持续校准;若永远拒绝相同分布,就再也得不到其真实完成时间。

14 常见错误与最短调试路径#

现象常见原因最短检查
接受率高但超时更多成本低估或 deadline 重置回放绝对期限与实际 token
空闲时仍大量拒绝reserved work 未释放对账接受/完成/取消
长 prompt 拖垮系统只限 QPS/并发改看未命中 token 工作量
某租户几乎全被拒全局 FIFO 无配额按 tenant 看 share 与 burst
Retry-After 后再尖峰客户端无 jitter查重试时间直方图
降级投诉静默换模型/截断检查产品契约与响应元数据
KV 反复 preempt只做时间准入加 p99 block 硬约束

最短路径:验证 deadline → tokenization/cache hit → 成本版本 → backlog 对账 → Ready 容量 → KV 硬约束 → reason code → 最终 SLO。

15 与相近方法的边界#

方法主要控制量优点局限
Rate limiting请求/秒极简单不识别大小
Concurrency limit在途请求保护连接/批次不识别剩余工作
Circuit breaker故障/过载状态快速隔离决策粗粒度
Load shedding丢弃低价值负载立即恢复需优先级契约
Admission control可完成工作量贴近 deadline/SLO依赖估计与公平策略
Autoscaling副本容量解决持续需求有冷启动延迟

它们不是替代关系:rate limit 保护边界,admission 判断可行性,circuit breaker 处理异常,autoscaling 修复容量。

16 失败场景与局限#

  • 输出长度分布发生漂移,p90 不再覆盖 90%;
  • 工具调用引入不可预测等待,GPU 成本模型失去主导性;
  • batch 效率在流量组成变化时剧烈改变;
  • 多区域间网络延迟与容量不同,却共享同一 backlog;
  • 关键租户的 deadline 不可信或故意夸大优先级;
  • 拒绝反馈诱发客户端更激进重试;
  • 大量请求在首 token 后取消,历史容量估计被完成样本偏置。

准入控制不能增加物理容量,也不能替代容量规划。它的价值是在容量不足时把不可控的普遍晚失败,变成可解释、可恢复且对剩余请求伤害更小的明确决策。

17 今天真正需要记住什么?#

  1. 当到达工作量长期大于服务能力,无限队列只会把过载变成延迟崩塌。
  2. 用未命中 Prefill 与 Decode 分位数构造工作量,比 QPS 或并发更接近真实成本。
  3. Admission 的核心判据是 deadline slack 与 KV 可容纳性;接受后必须原子预留,结束后必须释放。
  4. 拒绝要携带 reason、Retry-After 与幂等语义;降级必须获得产品契约授权。
  5. 多租户公平、影子模式和误拒/误接监控,决定它能否从公式走向生产。

18 思考题与小练习#

  1. 容量 1600 units/s,ρ=0.75\rho=0.75,backlog 3600。一个工作量 1200、deadline 3 秒的请求是否接受?若 deadline 为 5 秒呢?
  2. 给最小实现加入 kv_blocks_p99、租户 token bucket 和取消释放;写测试证明拒绝请求不增加 backlog。
  3. 设计一次重试风暴实验:比较固定 5 秒、指数退避无 jitter、full jitter 三种客户端策略的峰值到达率。

相关工作#

  1. Welsh et al., SEDA: An Architecture for Well-Conditioned, Scalable Internet Services ↗,以显式队列和 admission 维持系统良态。
  2. Dean & Barroso, The Tail at Scale ↗,解释大规模服务为何必须治理尾延迟。
  3. Fu et al., Efficient LLM Scheduling by Learning to Rank ↗,研究未知输出长度下的请求排序。
  4. Zhang et al., JITServe: SLO-aware LLM Serving with Imprecise Request Information ↗,把不精确请求信息纳入 SLO-aware serving。
  5. Kubernetes, Horizontal Pod Autoscaling ↗,说明容量扩展控制与其延迟边界。

19 下一篇预告#

Admission 保护了单个服务入口,但生产集群还要回答“GPU 应该放在哪个模型、哪个租户和哪个时间段”。下一篇将进入多模型 GPU Capacity Planning(容量规划):用流量矩阵、显存约束、SLO 容量曲线和故障余量,把离线压测变成可执行的部署组合。

所有请求都接收为何会让所有人超时?LLM Admission Control 的期限、Token 预算与过载保护
https://zwjcode.cn/blog/llm-admission-control-deadline-token-budget
作者 傑
发布于 2026年9月24日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。