EOS 还没出现,怎样估计剩余生成量?输出长度的分位数预测与不确定性保护
从点预测低估导致错误调度出发,用分位数覆盖区间表达输出长度不确定性,手算 pinball loss,并实现可校准、可回退、可在线更新的长度预测器。
上一篇用 slack 决定谁更接近违约,但公式依赖预测剩余服务时间。Prompt 长度已知,输出长度却要等 End of Sequence(序列结束标记,EOS)被采样后才知道。若把“通常输出 200 tokens”当成确定事实,一个实际生成 2000 tokens 的请求会持续占用 Decode slot 和 KV Cache,拖垮后面的安排。
这不是要猜中一个神奇的整数,而是要回答两个更实际的问题:输出长度可能落在哪个区间?为了特定风险,应使用哪个分位数?
01 为什么 max_tokens 不是预测?#
max_tokens=4096 是截断上限,不是请求会生成 4096 tokens 的证据。三种量必须分开:
| 量 | 含义 | 谁决定 |
|---|---|---|
| 允许生成的硬上限 | 客户端/网关 | |
| 实际到 EOS 或停止条件的长度 | 模型采样过程 | |
| / | 对实际长度的点/分位数预测 | 预测器 |
用上限做容量预留很安全,却会让大量 KV 和调度余量闲置;用均值做硬承诺效率较高,却会系统性低估长尾。正确做法是让风险偏好选择分位数。
02 输出长度为什么天然不确定?#
即使 prompt 相同,temperature、top-p、随机种子、停止词、工具调用和模型版本都会改变 EOS 出现时刻。可以把长度写成条件随机变量:
其中 是 prompt/模板特征, 是模型与版本, 是 generation config。预测器应输出条件分布的摘要,而不是假装 完全由 prompt 决定。
常用的三个输出是:
中位数适合排序,p90/p99 可用于保守 KV 预留、admission 或 slack 风险保护。
03 一个极小例子:均值怎样骗过调度器?#
某类请求历史长度为:
40, 45, 50, 55, 60, 70, 80, 100, 300, 1200text均值是 200,且 9/10 的请求不超过 300。若两张卡都按 200 tokens 安排,最后一个请求会比预测多生成 1000 tokens。
在这个仅 10 个样本的经验分布上,可使用保守的 nearest-rank 定义:
- ;
- ;
- 。
不存在“唯一正确”的估计:短作业排序也许可用 p50;决定是否承诺硬 deadline 时更应看 p90/p99 及其历史覆盖率。
04 分位数回归究竟优化什么?#
对真实长度 和预测分位数 ,Pinball Loss(分位数损失)为
当 时,低估 100 tokens 的损失是 ;高估 100 tokens 的损失只有 。这正好表达“漏掉长尾比多留一点余量更贵”。
手算两个样本:真实长度为 80 与 200,模型都预测 p90 为 100:
平均损失为 46。它不会要求每条样本都预测准确,而是让长期约 90% 的真实值落在预测 p90 以下。
05 输入张量与预测头长什么样?#
一个轻量预测器可以在请求入队前使用:
- 数值特征
numeric:[B, F],如 prompt token 数、max_tokens、temperature、历史轮数; - 类别 embedding:model ID、endpoint、tenant、语言/任务类型;
- 可选文本表示
text_embedding:[B, H],来自小编码器或已有路由表示; - 输出
quantiles:[B, K],例如 对应 p50/p90/p99。
flowchart LR
P[Prompt / template] --> E[轻量文本表示 H]
G[Generation config F] --> C[数值与类别特征]
E --> J[拼接 B × H+F]
C --> J
J --> M[小型 MLP / GBDT]
M --> Q[p50, p90, p99]
Q --> S[排序 / KV 预留 / admission]
O[生成中已完成 tokens] --> U[在线条件更新]
U --> Smermaid若额外编码 prompt 的耗时接近一次 Prefill,预测收益可能被开销吃掉。优先复用已经存在的特征或采用便宜的树模型/小编码器。
06 PyTorch 怎样训练三个分位数?#
为了避免 p50 大于 p90 的 Quantile Crossing(分位数交叉),让网络输出非负增量再累加:
import torch
from torch import nn
from torch.nn import functional as F
TAUS = torch.tensor([0.5, 0.9, 0.99])
class LengthQuantiles(nn.Module):
def __init__(self, in_features: int, hidden: int = 64):
super().__init__()
self.backbone = nn.Sequential(
nn.Linear(in_features, hidden),
nn.GELU(),
nn.Linear(hidden, len(TAUS)),
)
def forward(self, x: torch.Tensor) -> torch.Tensor:
# x: [B, F];输出: [B, 3] 且 p50 <= p90 <= p99
increments = F.softplus(self.backbone(x))
return torch.cumsum(increments, dim=-1)
def pinball_loss(pred: torch.Tensor, target: torch.Tensor) -> torch.Tensor:
# pred: [B, K];target: [B]
error = target[:, None] - pred
taus = TAUS.to(device=pred.device, dtype=pred.dtype)[None, :]
return torch.maximum(taus * error, (taus - 1) * error).mean()python输入的长度目标是实际生成 token 数 [B],输出是三个有序分位数 [B,3]。训练集必须包含模型版本、解码参数与真实 finish reason;否则升级模型后“相同 prompt 特征”对应的分布可能已经变了。
07 被 max_tokens 截断的数据不能当完整标签#
若请求在 512 tokens 处因 length 停止,只知道潜在自然长度 ,却不知道究竟是 520 还是 5000。这是 Right Censoring(右删失):
把所有截断样本标成 512 会在人为边界堆出尖峰,并让 p99 被低估。至少应:
- 保存
finish_reason与上限; - 评估时把自然 EOS 和截断样本分开;
- 使用 survival analysis(生存分析)/删失似然,或在损失中只惩罚对删失样本预测小于下界;
- 不要用同一批删失标签宣称尾部覆盖率良好。
一个简单的删失下界惩罚是
但它只告诉模型“至少这么长”,不能恢复真实尾部形状。
08 生成开始后,预测应怎样更新?#
请求已经生成 tokens 且尚未 EOS,本身就是新证据:总长度至少大于 。不能继续沿用入队时的无条件分位数。
设生存函数 ,条件剩余长度分布是
系统可以每隔 16/32 tokens 更新一次剩余分位数,而不必每 token 运行预测器。最小保护规则是:
def remaining_budget(total_q: int, generated: int, hard_max: int) -> int:
# 预测过期时绝不能出现负剩余量
return max(1, min(hard_max - generated, total_q - generated))python更好的模型直接学习 Qτ(remaining | prompt features, generated_so_far, no_EOS_yet)。
09 怎样校准“p90”这三个字?#
若模型输出 p90,独立评估集上应约有 90% 的真实长度满足 。Coverage(覆盖率)为
只看总体 90% 仍不够;要按模型版本、endpoint、语言、prompt 长度、temperature、tenant 和 finish reason 分桶。总体准确可能掩盖代码生成桶只有 65% 覆盖。
还应报告:
- pinball loss:预测值偏差的风险加权大小;
- interval width:区间是否宽到失去调度价值;
- underprediction ratio:真实长度超过预测多少倍;
- calibration drift:滚动窗口覆盖率与目标的偏差;
- scheduling regret:使用预测的调度结果相对 oracle/FCFS 的损失。
10 如何用 conformal calibration 修正偏差?#
Conformal Prediction(保形预测)可在保留校准集上给已有上界加一个残差修正。对目标上界 ,计算
取残差的高分位数 ,部署时使用 。若最近 p90 实际只有 82% 覆盖,正的 会抬高上界。
这个保证依赖校准样本与线上样本近似 exchangeable(可交换/同分布)。模型升级、prompt 模板突变或新语言流量会破坏前提,因此需要版本隔离、滚动重校准与失效回退。
11 点估计、排序与分布预测怎样取舍?#
| 方法 | 输出 | 优点 | 主要风险 |
|---|---|---|---|
| 历史均值/长度桶 | 一个常数 | 极便宜、可回退 | 忽略条件差异与长尾 |
| 回归 MAE/MSE | 单点长度 | 易训练 | 不能表达风险;尾部低估 |
| Learning to Rank | 相对次序 | SJF 只需排序时直接 | 不能给 KV/deadline 绝对预算 |
| 分位数回归 | 多个上界 | 可按风险选择 | 需校准;可能交叉 |
| 完整分布/生存模型 | 支持删失与在线条件化 | 复杂、算力与漂移监控成本高 |
只为“谁更短”排序时,Learning to Rank(排序学习)可能比精确回归更稳;要做 admission、deadline 可行性和 KV 预留时,则需要带单位的长度或时间分布。
12 预测怎样进入调度,而不制造新故障?#
将输出 p50/p90/p99 分工:
排序候选: p50 或风险调整后的期望
计算 slack: p90 × 当前每-token service time
硬 admission / KV 安全: min(p99, hard max)
预测器失效: 回退到 model × endpoint × max_tokens 的历史保守桶text不要让单个预测值同时承担所有决策。还应设置 guardrail:最小 KV 余量、最大并发、预测超时旁路、未知类别回退、模型版本白名单和异常长度熔断。
13 当前 vLLM 边界在哪里?#
当前 vLLM 调度配置提供 FCFS/priority 等队列机制,并允许请求传入 priority;它不会替应用预测输出长度或保证分位数覆盖率。外部 scheduler/router 可根据预测把请求映射到 priority、Decode replica 或 admission 结果,再把执行交给 vLLM。
集成时要验证:
- priority 数值方向(当前为数值越小越早);
- 相同 priority 的到达顺序;
- KV 紧张时谁被 preempt;
- 预测更新后是否允许安全迁移/重排;
- 失败时是否回到 FCFS,而不是丢失请求。
预测器和 serving engine 应分别版本化。日志要能还原“预测版本 → 分位数 → 调度动作 → 实际长度 → SLO 结果”。
14 常见错误、调试与失败场景#
| 症状 | 常见原因 | 最短检查 |
|---|---|---|
| p90 只覆盖 70% | 分布漂移或目标实现错误 | 按版本/任务桶画 coverage |
所有预测接近 max_tokens | 截断标签污染 | 查看 finish reason 与删失率 |
| p50 > p90 | 多头独立训练发生交叉 | 输出正增量后累加 |
| 离线 MAE 好,线上更慢 | 推理开销或错误排序代价大 | 加入 predictor latency 做 replay |
| 长请求仍被饿死 | SJF 目标缺少公平性 | 加 aging/share/slowdown 指标 |
| 模型升级后 KV 爆满 | predictor 未按 revision 隔离 | 版本键与保守回退 |
输出本质随机、工具调用可改变路径、用户可能中途取消、流式停止词可能提前命中;任何预测都不会变成 oracle。高分位数过宽还会退化为“人人按上限预留”。目标不是消灭误差,而是让误差可量化、可监控、可安全退化。
15 今天真正需要记住什么?#
max_tokens是上限,实际输出长度是随机变量;调度需要条件分布而非一个伪确定值。- 分位数损失用不对称代价表达低估风险,p50/p90/p99 应服务于不同决策。
- 被长度上限截断的样本是右删失,直接当真实标签会破坏尾部预测。
- 生成中的“尚未 EOS”是新证据;预测应在线条件化,并持续检查分桶覆盖率与调度 regret。
16 思考题与小练习#
- 对真实长度 300、预测值 200,分别计算 与 的 pinball loss;解释为何 p90 模型更怕低估。
- 扩展
LengthQuantiles:加入model_idembedding,并写出数值特征[B,F]、embedding[B,E]、拼接输入与输出的 shape。 - 构造一次模型升级后的漂移:总体 p90 coverage 仍为 90%,但代码任务只有 60%。设计告警与自动回退条件。
相关工作#
- Zhang et al., JITServe: SLO-aware LLM Serving with Imprecise Request Information ↗,用不精确请求信息与逐步细化支持 SLO-aware serving。
- Qiu et al., Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction ↗,用轻量代理预测长度并做 speculative SJF。
- Fu et al., Efficient LLM Scheduling by Learning to Rank ↗,绕过精确长度预测,直接学习相对长短排序。
- Zheng et al., Scheduling LLM Inference with Uncertainty-Aware Output Length Predictions ↗,将重尾不确定性纳入长度感知调度。
- vLLM, Request Queue 官方源码文档 ↗,说明当前 FCFS/priority 队列的排序语义。
17 下一篇预告#
有了长度分布,单个实例能更稳地排序;但多副本系统还要决定请求发往哪张 GPU。下一篇将讨论 KV-aware Routing:为什么“最少请求数”不是最小负载,以及 prefix cache 命中、排队 token 与跨副本热点如何共同决定路由。