新 GPU 为何迟迟不 Ready?拆解权重加载、预热与冷启动
从扩容后副本长时间不可用出发,拆解权重分发、本地读取、Host-to-Device 传输、引擎初始化与预热门槛。
上一篇把多模型流量换成副本数、GPU 装箱与故障余量。但容量规划默认“新副本能及时成为容量”,而一份数十到数百 GB 的模型要经过网络、磁盘、CPU 内存、PCIe/NVLink、引擎初始化和首次 kernel 执行才能接流量。
因此 Model Loading Cold Start(模型加载冷启动)不是一个含糊的“启动慢”,而是一条可分段测量的数据流。只有找到最慢阶段,才知道该做节点缓存、分片并行、内存限流,还是提前保温。
01 Process started 为什么不等于 Ready?#
一个可服务副本至少经过以下状态:
stateDiagram-v2
[*] --> Scheduled
Scheduled --> Downloading: 节点无本地权重
Scheduled --> Reading: 节点缓存命中
Downloading --> Reading: digest 校验通过
Reading --> Materializing: 解析/重排分片
Materializing --> GPUTransfer: CPU 内存就绪
GPUTransfer --> EngineInit: 各 rank 权重就绪
EngineInit --> Warming: KV/graph/workspace 就绪
Warming --> Ready: 真实探针达标
Warming --> Failed: 超时/OOM/校验失败mermaid如果进程监听端口就进入负载均衡,首批用户会替运维流程承担 tokenizer 初始化、CUDA context、kernel 编译或 CUDA Graph capture 的延迟。活性探针只需回答“进程是否活着”,Readiness(就绪性)必须回答“是否能按服务契约接受请求”。
02 把冷启动时间拆开#
总冷启动时间可近似写为
| 阶段 | 输入 → 输出 | 常见瓶颈 | 必记指标 |
|---|---|---|---|
| Download | 对象存储 → 节点磁盘 | 出口带宽、同时扩容 | bytes/s、cache hit |
| Read | NVMe/NFS → page cache/RAM | 随机读、共享文件系统 | read throughput、major faults |
| Materialize | checkpoint → rank tensors | 反序列化、重分片、CPU RAM | per-rank bytes、RSS peak |
| H2D | pinned RAM → HBM | PCIe/NVLink、串行拷贝 | GB/s、copy overlap |
| Init | weights → runnable engine | NCCL、KV/workspace、graph | phase latency、HBM peak |
| Warmup | 测试 prompt → 可预测延迟 | 首次 kernel/形状 | warm TTFT/TPOT |
这些阶段不一定串行。分片可以边下载边校验,读取与 H2D 可以流水化,但并行不会让最慢带宽凭空消失。
03 手算:140 GB 权重最快多久就绪?#
假设一个 140 GB checkpoint:
- 对象存储到节点有效带宽 5 GB/s;
- 本地 NVMe 读取 10 GB/s;
- 4 个 GPU rank 并行载入,每张卡通道 12 GB/s;
- 引擎初始化与预热共 18 s。
冷节点且阶段串行时:
每个 rank 读取 35 GB,若互联与实现真能并行:
理想下界约为 s。节点缓存命中可去掉 28 s,但若四个 rank 共享一条 12 GB/s 总线,H2D 应按 s 计算。“每卡 12 GB/s”和“节点聚合 12 GB/s”是两个完全不同的契约。
04 为什么更多并发 worker 可能更慢?#
同时读取分片数 增大时,时间不会按 无限下降:
是权重总字节数,三个 分别是共享存储、内存和 Host-to-Device 聚合带宽。 包括文件句柄、页缓存竞争、线程调度和同时内存峰值。
vLLM 当前的 --max-parallel-loading-workers 就是一个内存安全阀:对张量并行大模型,它可限制多批顺序加载时的并发 worker,避免 CPU RAM OOM。它不是越大越快的速度开关。
05 权重格式和存储位置怎样改变数据流?#
vLLM 当前 --load-format auto 会优先 Safetensors,无法使用时再回退 PyTorch bin。--download-dir 可指向管理的本地或挂载缓存。Safetensors 的读取策略也必须匹配介质:
| 策略 | 数据路径 | 适合 | 风险 |
|---|---|---|---|
lazy | mmap 按需读 | 本地快速存储 | 网络文件系统上可变成大量零散读 |
eager | 先读入 CPU RAM | NFS/Lustre 等高延迟存储 | CPU RAM 峰值更高 |
prefetch | 先进 OS page cache | 要预取但不想常驻一份用户态拷贝 | 会挤压其他 page cache |
| pre-sharded | rank 直读自己的 shard | 固定 TP 拓扑 | checkpoint 与运行并行度绑定 |
vllm serve "$MODEL_ID" \
--tensor-parallel-size 4 \
--download-dir /models/cache \
--load-format safetensors \
--safetensors-load-strategy prefetch \
--max-parallel-loading-workers 2bash06 节点缓存要用不可变编号#
缓存键不应是可移动的 latest,而应是模型仓库修订号与文件 digest。一个安全流程是:
- 把权重下载到同文件系统的临时目录;
- 校验 manifest、文件数、字节数与 digest;
- 以原子 rename 发布为可读缓存;
- 重启时只接受完成标记存在且校验通过的目录;
- 用引用计数或 lease 防止回收正在加载的版本。
多个 Pod 同时发现 miss 时,需要 Single Flight(单飞)锁或节点级下载器;否则一次扩容会把相同的 140 GB 拉取十次,既拖慢自己也拖慢其他节点。
07 一个可计算的冷启动预算器#
下面的 Python 不假装精确模拟 I/O,而是把每个阶段的预算和是否在关键路径上显式输出:
from dataclasses import dataclass
@dataclass(frozen=True)
class LoadPlan:
weight_gb: float
download_gbps: float
disk_gbps: float
aggregate_h2d_gbps: float
init_s: float
warmup_s: float
cache_hit: bool
def estimate_ready_seconds(plan: LoadPlan) -> dict[str, float]:
rates = (plan.download_gbps, plan.disk_gbps, plan.aggregate_h2d_gbps)
if plan.weight_gb <= 0 or any(rate <= 0 for rate in rates):
raise ValueError("sizes and bandwidths must be positive")
stages = {
"download": 0.0 if plan.cache_hit else plan.weight_gb / plan.download_gbps,
"disk_read": plan.weight_gb / plan.disk_gbps,
"host_to_device": plan.weight_gb / plan.aggregate_h2d_gbps,
"engine_init": plan.init_s,
"warmup": plan.warmup_s,
}
stages["total"] = sum(stages.values())
return stages
plan = LoadPlan(140, 5, 10, 48, 10, 8, cache_hit=False)
print(estimate_ready_seconds(plan))
# {'download': 28.0, 'disk_read': 14.0, 'host_to_device': 2.916...,
# 'engine_init': 10, 'warmup': 8, 'total': 62.916...}python输入带宽要来自同时扩容时的有效测量,而不是 NVMe 包装标称或 PCIe 理论值。若实现能让阶段重叠,把加和改成有向无环图的 critical path(关键路径),但要保留每段独立时钟。
08 预热究竟要验证什么?#
一个空的 /health 200 不能验证模型。有教学价值的 warmup 至少要覆盖:
- 真实 tokenizer 与 chat template;
- 一个短 Prefill + 多个 Decode step;
- 预期会使用的 dtype、量化与并行通信;
- 常见形状的 kernel/graph,但不要为所有极端形状提前占满显存;
- 输出非空、非 NaN,且模型/Tokenizer digest 与声明一致。
Readiness 可用明确条件表示:
探针超时要大于正常预热尾延迟,否则会在接近成功时重启容器,形成 CrashLoop 和反复下载。
09 如何避免扩容风暴?#
当 20 个新副本同时拉取 140 GB,集群要瞬间搬运 2.8 TB。如果对象存储和共享文件系统的总带宽固定,单副本反而会越启越慢。
常用保护是:
- 在节点预取权重,再允许 GPU Pod 调度;
- 对每节点和全集群限制同时下载/加载数;
- 使用 jitter 错开重试,失败后保留已验证分片;
- 为发布与 Autoscaling 分配独立的 surge budget;
- 当下载层过载时拒绝新启动,而不是让所有副本一起超时。
这与请求准入控制是同一种系统思想:限制在途工作,保护真正可完成的任务。
10 预热副本、快照与按需加载的区别#
| 方法 | 节省的阶段 | 持续成本 | 主要风险 |
|---|---|---|---|
| 常驻预热副本 | 几乎全部 | GPU 一直占用 | 低流量模型利用率低 |
| 节点权重缓存 | Download | NVMe 空间与回收 | 版本污染、空间碎片 |
| CPU/page cache 保温 | Download + 部分 Read | 大量 RAM | 挤压其他服务 |
| GPU 快照/休眠恢复 | 部分 Init/Warmup | HBM/RAM/本地状态 | 驱动与运行时兼容性 |
| 按需完整加载 | 无 | 闲时成本最低 | 冷启动最长 |
选择依赖流量间隔分布、冷启动 SLO 和 GPU 价格,不是一律保温。对稀有模型,可用更长队列或异步契约;对互动核心模型,最少预热副本往往比临时抢救便宜。
11 怎样设计可观测的加载日志?#
每个副本应共享一个 load_attempt_id,每个阶段记录开始、结束、字节、带宽、峰值内存和结果:
load_attempt_id, model_digest, node, gpu_ids, tp_size
stage, started_at, duration_ms, bytes, effective_gbps
cache_hit, storage_backend, load_format, worker_count
host_rss_peak, gpu_memory_peak, page_faults
warmup_prompt_tokens, warmup_output_tokens, ttft_ms
ready, failure_stage, error_codetext看板要同时显示 p50/p95/p99 T_ready、各阶段占比、节点缓存命中率、下载重试、校验失败、RAM/HBM OOM 和“启动了但从未 Ready”的副本数。
12 常见错误与最短调试路径#
| 现象 | 常见原因 | 最短检查 |
|---|---|---|
| 下载完成后仍很慢 | 读取、重分片或预热是瓶颈 | 分段打点,不看总时间 |
| 并发 worker 增大后 OOM | 同时存在多份 CPU tensor | 记录 RSS 峰值和每批 shard |
| 本地有文件却重新下载 | digest/manifest 或完成标记不匹配 | 检查不可变缓存键 |
| 新副本首请求超时 | 未预热 kernel/graph | 比较首次与第二次 TTFT |
| 批量扩容全部超时 | 存储/网络惊群 | 画总下载带宽与在途数 |
| 部分 rank Ready、请求挂起 | 分布式状态未做 all-ranks 门槛 | 检查 rank 集合与 NCCL |
最短路径:确认 model digest → 区分缓存命中/未命中 → 分段时钟 → 查存储与聚合带宽 → 查 CPU RSS/HBM 峰值 → 查 all-ranks 状态 → 回放 warmup → 校验 Ready 门槛。
13 失败场景与局限#
- 对象存储凭证过期,但简化错误被当成“下载慢”;
- 分片下载成功但 digest 不一致,组成混合版本;
- 对象存储、NFS、节点 NVMe 或 page cache 在扩容期间被其他租户抢占;
- 预热形状太小,真实长 prompt 仍触发新 graph/workspace 峰值;
- 预热形状太大,反而延长冷启动并挤压 KV 空间;
- 快照绑定驱动、GPU 型号或运行时,升级后无法恢复;
- 节点缓存回收与正在加载的副本竞争,产生间歇性文件缺失。
优化冷启动不能改变“权重必须到达计算设备”这个事实。它能做的是让数据移动可缓存、可并行、可限流、可校验,并把冷启动时间写进 Autoscaling 和容量规划的领先时间。
14 今天真正需要记住什么?#
- 把冷启动拆成调度、下载、读取、物化、H2D、引擎初始化、预热和探针,再优化关键路径。
- 加载时间的下界由最慢的共享带宽决定;盲目增加 worker 会带来 RAM OOM 和 I/O 竞争。
- 节点缓存必须使用不可变修订号和 digest,并且先校验、后原子发布。
Ready必须要求全部 rank、模型版本、真实预热和显存余量同时通过。- 冷启动 p99 是容量扩展的领先时间;比突发到来更慢时,必须依靠预热容量或更早的预测。
15 思考题与小练习#
- 240 GB 权重从对象存储以 8 GB/s 下载,本地读取 12 GB/s,8 张 GPU 的 H2D 聚合带宽为 64 GB/s,初始化+预热 25 s。串行冷启动下界多少?节点缓存命中后呢?
- 把预算器改成支持
download -> verify与read -> H2D流水重叠的 DAG,输出关键路径和每段 slack。 - 设计一次扩容风暴实验:并发启动 1、4、8、16 个副本,记录总下载带宽、单副本 p99
T_ready、RAM 峰值与失败率,选出安全并发上限。
相关工作#
- Sheng et al., ServerlessLLM: Low-Latency Serverless Inference for Large Language Models ↗,研究多层存储与快速 checkpoint 加载。
- Patel et al., Splitwise: Efficient Generative LLM Inference Using Phase Splitting ↗,说明推理阶段与资源配置对服务能力的影响。
- Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention ↗,解释引擎就绪后 KV 空间如何决定并发。
- vLLM, Serve CLI: LoadConfig ↗,列出当前权重格式、下载目录、Safetensors 读取策略与并行加载参数。
- Hugging Face, Safetensors ↗,介绍可安全、可快速读取的张量存储格式。
16 下一篇预告#
权重已经 Ready 之后,发布仍可能在数秒内把尾延迟拉高:新副本缓存为空、旧副本正在排水,长连接又不能粗暴中断。下一篇将进入 LLM 服务的 Rolling Update(滚动更新):预热流量、连接排水、容量 surge 与可回滚门槛。