观文听傑

返回

本文主题示意图本文主题示意图

上一篇用 slack 决定谁更接近违约,但公式依赖预测剩余服务时间。Prompt 长度已知,输出长度却要等 End of Sequence(序列结束标记,EOS)被采样后才知道。若把“通常输出 200 tokens”当成确定事实,一个实际生成 2000 tokens 的请求会持续占用 Decode slot 和 KV Cache,拖垮后面的安排。

这不是要猜中一个神奇的整数,而是要回答两个更实际的问题:输出长度可能落在哪个区间?为了特定风险,应使用哪个分位数?

01 为什么 max_tokens 不是预测?#

max_tokens=4096 是截断上限,不是请求会生成 4096 tokens 的证据。三种量必须分开:

量含义谁决定
LmaxL_{max}允许生成的硬上限客户端/网关
LL实际到 EOS 或停止条件的长度模型采样过程
L^\hat L / QτQ_\tau对实际长度的点/分位数预测预测器

用上限做容量预留很安全,却会让大量 KV 和调度余量闲置;用均值做硬承诺效率较高,却会系统性低估长尾。正确做法是让风险偏好选择分位数。

02 输出长度为什么天然不确定?#

即使 prompt 相同,temperature、top-p、随机种子、停止词、工具调用和模型版本都会改变 EOS 出现时刻。可以把长度写成条件随机变量:

L∼p(L∣x,m,g),L\sim p(L\mid x,m,g),

其中 xx 是 prompt/模板特征,mm 是模型与版本,gg 是 generation config。预测器应输出条件分布的摘要,而不是假装 LL 完全由 prompt 决定。

常用的三个输出是:

Q0.5(L∣x),Q0.9(L∣x),Q0.99(L∣x).Q_{0.5}(L\mid x),\quad Q_{0.9}(L\mid x),\quad Q_{0.99}(L\mid x).

中位数适合排序,p90/p99 可用于保守 KV 预留、admission 或 slack 风险保护。

03 一个极小例子:均值怎样骗过调度器?#

某类请求历史长度为:

40, 45, 50, 55, 60, 70, 80, 100, 300, 1200
text

均值是 200,且 9/10 的请求不超过 300。若两张卡都按 200 tokens 安排,最后一个请求会比预测多生成 1000 tokens。

在这个仅 10 个样本的经验分布上,可使用保守的 nearest-rank 定义:

  • Q0.5=60Q_{0.5}=60;
  • Q0.9=300Q_{0.9}=300;
  • Q0.99=1200Q_{0.99}=1200。

不存在“唯一正确”的估计:短作业排序也许可用 p50;决定是否承诺硬 deadline 时更应看 p90/p99 及其历史覆盖率。

04 分位数回归究竟优化什么?#

对真实长度 yy 和预测分位数 qq,Pinball Loss(分位数损失)为

ℓτ(y,q)={τ(y−q),y≥q,(1−τ)(q−y),y<q.\ell_\tau(y,q)= \begin{cases} \tau(y-q), & y\ge q,\\ (1-\tau)(q-y), & y<q. \end{cases}

当 τ=0.9\tau=0.9 时,低估 100 tokens 的损失是 0.9×100=900.9\times100=90;高估 100 tokens 的损失只有 0.1×100=100.1\times100=10。这正好表达“漏掉长尾比多留一点余量更贵”。

手算两个样本:真实长度为 80 与 200,模型都预测 p90 为 100:

ℓ0.9(80,100)=0.1×20=2,\ell_{0.9}(80,100)=0.1\times20=2, ℓ0.9(200,100)=0.9×100=90.\ell_{0.9}(200,100)=0.9\times100=90.

平均损失为 46。它不会要求每条样本都预测准确,而是让长期约 90% 的真实值落在预测 p90 以下。

05 输入张量与预测头长什么样?#

一个轻量预测器可以在请求入队前使用:

  • 数值特征 numeric: [B, F],如 prompt token 数、max_tokens、temperature、历史轮数;
  • 类别 embedding:model ID、endpoint、tenant、语言/任务类型;
  • 可选文本表示 text_embedding: [B, H],来自小编码器或已有路由表示;
  • 输出 quantiles: [B, K],例如 K=3K=3 对应 p50/p90/p99。
flowchart LR
  P[Prompt / template] --> E[轻量文本表示 H]
  G[Generation config F] --> C[数值与类别特征]
  E --> J[拼接 B × H+F]
  C --> J
  J --> M[小型 MLP / GBDT]
  M --> Q[p50, p90, p99]
  Q --> S[排序 / KV 预留 / admission]
  O[生成中已完成 tokens] --> U[在线条件更新]
  U --> S
mermaid

若额外编码 prompt 的耗时接近一次 Prefill,预测收益可能被开销吃掉。优先复用已经存在的特征或采用便宜的树模型/小编码器。

06 PyTorch 怎样训练三个分位数?#

为了避免 p50 大于 p90 的 Quantile Crossing(分位数交叉),让网络输出非负增量再累加:

输入的长度目标是实际生成 token 数 [B],输出是三个有序分位数 [B,3]。训练集必须包含模型版本、解码参数与真实 finish reason;否则升级模型后“相同 prompt 特征”对应的分布可能已经变了。

07 被 max_tokens 截断的数据不能当完整标签#

若请求在 512 tokens 处因 length 停止,只知道潜在自然长度 L∗>512L^*>512,却不知道究竟是 520 还是 5000。这是 Right Censoring(右删失):

L=min⁡(L∗,Lmax),δ=1[L∗≤Lmax].L=\min(L^*,L_{max}),\qquad \delta=\mathbf 1[L^*\le L_{max}].

把所有截断样本标成 512 会在人为边界堆出尖峰,并让 p99 被低估。至少应:

  1. 保存 finish_reason 与上限;
  2. 评估时把自然 EOS 和截断样本分开;
  3. 使用 survival analysis(生存分析)/删失似然,或在损失中只惩罚对删失样本预测小于下界;
  4. 不要用同一批删失标签宣称尾部覆盖率良好。

一个简单的删失下界惩罚是

ℓcensored=max⁡(0,Lmax−Qτ),\ell_{censored}=\max(0,L_{max}-Q_\tau),

但它只告诉模型“至少这么长”,不能恢复真实尾部形状。

08 生成开始后,预测应怎样更新?#

请求已经生成 kk tokens 且尚未 EOS,本身就是新证据:总长度至少大于 kk。不能继续沿用入队时的无条件分位数。

设生存函数 S(l)=P(L>l)S(l)=P(L>l),条件剩余长度分布是

P(L−k≤r∣L>k)=P(k<L≤k+r)P(L>k).P(L-k\le r\mid L>k) =\frac{P(k<L\le k+r)}{P(L>k)}.

系统可以每隔 16/32 tokens 更新一次剩余分位数,而不必每 token 运行预测器。最小保护规则是:

def remaining_budget(total_q: int, generated: int, hard_max: int) -> int:
    # 预测过期时绝不能出现负剩余量
    return max(1, min(hard_max - generated, total_q - generated))
python

更好的模型直接学习 Qτ(remaining | prompt features, generated_so_far, no_EOS_yet)。

09 怎样校准“p90”这三个字?#

若模型输出 p90,独立评估集上应约有 90% 的真实长度满足 L≤Q0.9L\le Q_{0.9}。Coverage(覆盖率)为

C^τ=1N∑i=1N1[Li≤Qτ(xi)].\widehat C_\tau=\frac1N\sum_{i=1}^N\mathbf1[L_i\le Q_\tau(x_i)].

只看总体 90% 仍不够;要按模型版本、endpoint、语言、prompt 长度、temperature、tenant 和 finish reason 分桶。总体准确可能掩盖代码生成桶只有 65% 覆盖。

还应报告:

  • pinball loss:预测值偏差的风险加权大小;
  • interval width:区间是否宽到失去调度价值;
  • underprediction ratio:真实长度超过预测多少倍;
  • calibration drift:滚动窗口覆盖率与目标的偏差;
  • scheduling regret:使用预测的调度结果相对 oracle/FCFS 的损失。

10 如何用 conformal calibration 修正偏差?#

Conformal Prediction(保形预测)可在保留校准集上给已有上界加一个残差修正。对目标上界 uiu_i,计算

ri=yi−ui.r_i=y_i-u_i.

取残差的高分位数 cc,部署时使用 u(x)+cu(x)+c。若最近 p90 实际只有 82% 覆盖,正的 cc 会抬高上界。

这个保证依赖校准样本与线上样本近似 exchangeable(可交换/同分布)。模型升级、prompt 模板突变或新语言流量会破坏前提,因此需要版本隔离、滚动重校准与失效回退。

11 点估计、排序与分布预测怎样取舍?#

方法输出优点主要风险
历史均值/长度桶一个常数极便宜、可回退忽略条件差异与长尾
回归 MAE/MSE单点长度易训练不能表达风险;尾部低估
Learning to Rank相对次序SJF 只需排序时直接不能给 KV/deadline 绝对预算
分位数回归多个上界可按风险选择需校准;可能交叉
完整分布/生存模型p(L∣x)p(L\mid x)支持删失与在线条件化复杂、算力与漂移监控成本高

只为“谁更短”排序时,Learning to Rank(排序学习)可能比精确回归更稳;要做 admission、deadline 可行性和 KV 预留时,则需要带单位的长度或时间分布。

12 预测怎样进入调度,而不制造新故障?#

将输出 p50/p90/p99 分工:

排序候选: p50 或风险调整后的期望
计算 slack: p90 × 当前每-token service time
硬 admission / KV 安全: min(p99, hard max)
预测器失效: 回退到 model × endpoint × max_tokens 的历史保守桶
text

不要让单个预测值同时承担所有决策。还应设置 guardrail:最小 KV 余量、最大并发、预测超时旁路、未知类别回退、模型版本白名单和异常长度熔断。

13 当前 vLLM 边界在哪里?#

当前 vLLM 调度配置提供 FCFS/priority 等队列机制,并允许请求传入 priority;它不会替应用预测输出长度或保证分位数覆盖率。外部 scheduler/router 可根据预测把请求映射到 priority、Decode replica 或 admission 结果,再把执行交给 vLLM。

集成时要验证:

  1. priority 数值方向(当前为数值越小越早);
  2. 相同 priority 的到达顺序;
  3. KV 紧张时谁被 preempt;
  4. 预测更新后是否允许安全迁移/重排;
  5. 失败时是否回到 FCFS,而不是丢失请求。

预测器和 serving engine 应分别版本化。日志要能还原“预测版本 → 分位数 → 调度动作 → 实际长度 → SLO 结果”。

14 常见错误、调试与失败场景#

症状常见原因最短检查
p90 只覆盖 70%分布漂移或目标实现错误按版本/任务桶画 coverage
所有预测接近 max_tokens截断标签污染查看 finish reason 与删失率
p50 > p90多头独立训练发生交叉输出正增量后累加
离线 MAE 好,线上更慢推理开销或错误排序代价大加入 predictor latency 做 replay
长请求仍被饿死SJF 目标缺少公平性加 aging/share/slowdown 指标
模型升级后 KV 爆满predictor 未按 revision 隔离版本键与保守回退

输出本质随机、工具调用可改变路径、用户可能中途取消、流式停止词可能提前命中;任何预测都不会变成 oracle。高分位数过宽还会退化为“人人按上限预留”。目标不是消灭误差,而是让误差可量化、可监控、可安全退化。

15 今天真正需要记住什么?#

  1. max_tokens 是上限,实际输出长度是随机变量;调度需要条件分布而非一个伪确定值。
  2. 分位数损失用不对称代价表达低估风险,p50/p90/p99 应服务于不同决策。
  3. 被长度上限截断的样本是右删失,直接当真实标签会破坏尾部预测。
  4. 生成中的“尚未 EOS”是新证据;预测应在线条件化,并持续检查分桶覆盖率与调度 regret。

16 思考题与小练习#

  1. 对真实长度 300、预测值 200,分别计算 τ=0.5\tau=0.5 与 0.90.9 的 pinball loss;解释为何 p90 模型更怕低估。
  2. 扩展 LengthQuantiles:加入 model_id embedding,并写出数值特征 [B,F]、embedding [B,E]、拼接输入与输出的 shape。
  3. 构造一次模型升级后的漂移:总体 p90 coverage 仍为 90%,但代码任务只有 60%。设计告警与自动回退条件。

相关工作#

  1. Zhang et al., JITServe: SLO-aware LLM Serving with Imprecise Request Information ↗,用不精确请求信息与逐步细化支持 SLO-aware serving。
  2. Qiu et al., Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction ↗,用轻量代理预测长度并做 speculative SJF。
  3. Fu et al., Efficient LLM Scheduling by Learning to Rank ↗,绕过精确长度预测,直接学习相对长短排序。
  4. Zheng et al., Scheduling LLM Inference with Uncertainty-Aware Output Length Predictions ↗,将重尾不确定性纳入长度感知调度。
  5. vLLM, Request Queue 官方源码文档 ↗,说明当前 FCFS/priority 队列的排序语义。

17 下一篇预告#

有了长度分布,单个实例能更稳地排序;但多副本系统还要决定请求发往哪张 GPU。下一篇将讨论 KV-aware Routing:为什么“最少请求数”不是最小负载,以及 prefix cache 命中、排队 token 与跨副本热点如何共同决定路由。

EOS 还没出现,怎样估计剩余生成量?输出长度的分位数预测与不确定性保护
https://zwjcode.cn/blog/output-length-prediction-quantile-uncertainty
作者 傑
发布于 2026年9月22日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。