观文听傑

返回

模型权重分片从存储经主机内存流入 GPU 机架,预热完成后亮起就绪指示模型权重分片从存储经主机内存流入 GPU 机架,预热完成后亮起就绪指示

上一篇把多模型流量换成副本数、GPU 装箱与故障余量。但容量规划默认“新副本能及时成为容量”,而一份数十到数百 GB 的模型要经过网络、磁盘、CPU 内存、PCIe/NVLink、引擎初始化和首次 kernel 执行才能接流量。

因此 Model Loading Cold Start(模型加载冷启动)不是一个含糊的“启动慢”,而是一条可分段测量的数据流。只有找到最慢阶段,才知道该做节点缓存、分片并行、内存限流,还是提前保温。

01 Process started 为什么不等于 Ready?#

一个可服务副本至少经过以下状态:

stateDiagram-v2
  [*] --> Scheduled
  Scheduled --> Downloading: 节点无本地权重
  Scheduled --> Reading: 节点缓存命中
  Downloading --> Reading: digest 校验通过
  Reading --> Materializing: 解析/重排分片
  Materializing --> GPUTransfer: CPU 内存就绪
  GPUTransfer --> EngineInit: 各 rank 权重就绪
  EngineInit --> Warming: KV/graph/workspace 就绪
  Warming --> Ready: 真实探针达标
  Warming --> Failed: 超时/OOM/校验失败
mermaid

如果进程监听端口就进入负载均衡,首批用户会替运维流程承担 tokenizer 初始化、CUDA context、kernel 编译或 CUDA Graph capture 的延迟。活性探针只需回答“进程是否活着”,Readiness(就绪性)必须回答“是否能按服务契约接受请求”。

02 把冷启动时间拆开#

总冷启动时间可近似写为

Tready=Tschedule+Tdownload+Tread+Tdecode+TH2D+Tinit+Twarm+Tprobe.T_{ready}=T_{schedule}+T_{download}+T_{read}+T_{decode}+T_{H2D}+T_{init}+T_{warm}+T_{probe}.
阶段输入 → 输出常见瓶颈必记指标
Download对象存储 → 节点磁盘出口带宽、同时扩容bytes/s、cache hit
ReadNVMe/NFS → page cache/RAM随机读、共享文件系统read throughput、major faults
Materializecheckpoint → rank tensors反序列化、重分片、CPU RAMper-rank bytes、RSS peak
H2Dpinned RAM → HBMPCIe/NVLink、串行拷贝GB/s、copy overlap
Initweights → runnable engineNCCL、KV/workspace、graphphase latency、HBM peak
Warmup测试 prompt → 可预测延迟首次 kernel/形状warm TTFT/TPOT

这些阶段不一定串行。分片可以边下载边校验,读取与 H2D 可以流水化,但并行不会让最慢带宽凭空消失。

03 手算:140 GB 权重最快多久就绪?#

假设一个 140 GB checkpoint:

  • 对象存储到节点有效带宽 5 GB/s;
  • 本地 NVMe 读取 10 GB/s;
  • 4 个 GPU rank 并行载入,每张卡通道 12 GB/s;
  • 引擎初始化与预热共 18 s。

冷节点且阶段串行时:

Tdownload=140/5=28s,Tread=140/10=14s.T_{download}=140/5=28\text{s},\quad T_{read}=140/10=14\text{s}.

每个 rank 读取 35 GB,若互联与实现真能并行:

TH2D=35/12≈2.9s.T_{H2D}=35/12\approx2.9\text{s}.

理想下界约为 28+14+2.9+18=62.928+14+2.9+18=62.9 s。节点缓存命中可去掉 28 s,但若四个 rank 共享一条 12 GB/s 总线,H2D 应按 140/12=11.7140/12=11.7 s 计算。“每卡 12 GB/s”和“节点聚合 12 GB/s”是两个完全不同的契约。

04 为什么更多并发 worker 可能更慢?#

同时读取分片数 pp 增大时,时间不会按 1/p1/p 无限下降:

Tload(p)≳max⁡(SBstorage,SBmemory,SBH2D)+Toverhead(p).T_{load}(p)\gtrsim\max\left(\frac{S}{B_{storage}},\frac{S}{B_{memory}},\frac{S}{B_{H2D}}\right)+T_{overhead}(p).

SS 是权重总字节数,三个 BB 分别是共享存储、内存和 Host-to-Device 聚合带宽。ToverheadT_{overhead} 包括文件句柄、页缓存竞争、线程调度和同时内存峰值。

vLLM 当前的 --max-parallel-loading-workers 就是一个内存安全阀:对张量并行大模型,它可限制多批顺序加载时的并发 worker,避免 CPU RAM OOM。它不是越大越快的速度开关。

05 权重格式和存储位置怎样改变数据流?#

vLLM 当前 --load-format auto 会优先 Safetensors,无法使用时再回退 PyTorch bin。--download-dir 可指向管理的本地或挂载缓存。Safetensors 的读取策略也必须匹配介质:

策略数据路径适合风险
lazymmap 按需读本地快速存储网络文件系统上可变成大量零散读
eager先读入 CPU RAMNFS/Lustre 等高延迟存储CPU RAM 峰值更高
prefetch先进 OS page cache要预取但不想常驻一份用户态拷贝会挤压其他 page cache
pre-shardedrank 直读自己的 shard固定 TP 拓扑checkpoint 与运行并行度绑定
vllm serve "$MODEL_ID" \
  --tensor-parallel-size 4 \
  --download-dir /models/cache \
  --load-format safetensors \
  --safetensors-load-strategy prefetch \
  --max-parallel-loading-workers 2
bash

06 节点缓存要用不可变编号#

缓存键不应是可移动的 latest,而应是模型仓库修订号与文件 digest。一个安全流程是:

  1. 把权重下载到同文件系统的临时目录;
  2. 校验 manifest、文件数、字节数与 digest;
  3. 以原子 rename 发布为可读缓存;
  4. 重启时只接受完成标记存在且校验通过的目录;
  5. 用引用计数或 lease 防止回收正在加载的版本。

多个 Pod 同时发现 miss 时,需要 Single Flight(单飞)锁或节点级下载器;否则一次扩容会把相同的 140 GB 拉取十次,既拖慢自己也拖慢其他节点。

07 一个可计算的冷启动预算器#

下面的 Python 不假装精确模拟 I/O,而是把每个阶段的预算和是否在关键路径上显式输出:

输入带宽要来自同时扩容时的有效测量,而不是 NVMe 包装标称或 PCIe 理论值。若实现能让阶段重叠,把加和改成有向无环图的 critical path(关键路径),但要保留每段独立时钟。

08 预热究竟要验证什么?#

一个空的 /health 200 不能验证模型。有教学价值的 warmup 至少要覆盖:

  • 真实 tokenizer 与 chat template;
  • 一个短 Prefill + 多个 Decode step;
  • 预期会使用的 dtype、量化与并行通信;
  • 常见形状的 kernel/graph,但不要为所有极端形状提前占满显存;
  • 输出非空、非 NaN,且模型/Tokenizer digest 与声明一致。

Readiness 可用明确条件表示:

ready=(digest_ok)∧(all_ranks_healthy)∧(warmup_ok)∧(HBM_headroom≥h).ready=(digest\_ok)\land(all\_ranks\_healthy)\land(warmup\_ok)\land(HBM\_headroom\ge h).

探针超时要大于正常预热尾延迟,否则会在接近成功时重启容器,形成 CrashLoop 和反复下载。

09 如何避免扩容风暴?#

当 20 个新副本同时拉取 140 GB,集群要瞬间搬运 2.8 TB。如果对象存储和共享文件系统的总带宽固定,单副本反而会越启越慢。

常用保护是:

  1. 在节点预取权重,再允许 GPU Pod 调度;
  2. 对每节点和全集群限制同时下载/加载数;
  3. 使用 jitter 错开重试,失败后保留已验证分片;
  4. 为发布与 Autoscaling 分配独立的 surge budget;
  5. 当下载层过载时拒绝新启动,而不是让所有副本一起超时。

这与请求准入控制是同一种系统思想:限制在途工作,保护真正可完成的任务。

10 预热副本、快照与按需加载的区别#

方法节省的阶段持续成本主要风险
常驻预热副本几乎全部GPU 一直占用低流量模型利用率低
节点权重缓存DownloadNVMe 空间与回收版本污染、空间碎片
CPU/page cache 保温Download + 部分 Read大量 RAM挤压其他服务
GPU 快照/休眠恢复部分 Init/WarmupHBM/RAM/本地状态驱动与运行时兼容性
按需完整加载无闲时成本最低冷启动最长

选择依赖流量间隔分布、冷启动 SLO 和 GPU 价格,不是一律保温。对稀有模型,可用更长队列或异步契约;对互动核心模型,最少预热副本往往比临时抢救便宜。

11 怎样设计可观测的加载日志?#

每个副本应共享一个 load_attempt_id,每个阶段记录开始、结束、字节、带宽、峰值内存和结果:

load_attempt_id, model_digest, node, gpu_ids, tp_size
stage, started_at, duration_ms, bytes, effective_gbps
cache_hit, storage_backend, load_format, worker_count
host_rss_peak, gpu_memory_peak, page_faults
warmup_prompt_tokens, warmup_output_tokens, ttft_ms
ready, failure_stage, error_code
text

看板要同时显示 p50/p95/p99 T_ready、各阶段占比、节点缓存命中率、下载重试、校验失败、RAM/HBM OOM 和“启动了但从未 Ready”的副本数。

12 常见错误与最短调试路径#

现象常见原因最短检查
下载完成后仍很慢读取、重分片或预热是瓶颈分段打点,不看总时间
并发 worker 增大后 OOM同时存在多份 CPU tensor记录 RSS 峰值和每批 shard
本地有文件却重新下载digest/manifest 或完成标记不匹配检查不可变缓存键
新副本首请求超时未预热 kernel/graph比较首次与第二次 TTFT
批量扩容全部超时存储/网络惊群画总下载带宽与在途数
部分 rank Ready、请求挂起分布式状态未做 all-ranks 门槛检查 rank 集合与 NCCL

最短路径:确认 model digest → 区分缓存命中/未命中 → 分段时钟 → 查存储与聚合带宽 → 查 CPU RSS/HBM 峰值 → 查 all-ranks 状态 → 回放 warmup → 校验 Ready 门槛。

13 失败场景与局限#

  • 对象存储凭证过期,但简化错误被当成“下载慢”;
  • 分片下载成功但 digest 不一致,组成混合版本;
  • 对象存储、NFS、节点 NVMe 或 page cache 在扩容期间被其他租户抢占;
  • 预热形状太小,真实长 prompt 仍触发新 graph/workspace 峰值;
  • 预热形状太大,反而延长冷启动并挤压 KV 空间;
  • 快照绑定驱动、GPU 型号或运行时,升级后无法恢复;
  • 节点缓存回收与正在加载的副本竞争,产生间歇性文件缺失。

优化冷启动不能改变“权重必须到达计算设备”这个事实。它能做的是让数据移动可缓存、可并行、可限流、可校验,并把冷启动时间写进 Autoscaling 和容量规划的领先时间。

14 今天真正需要记住什么?#

  1. 把冷启动拆成调度、下载、读取、物化、H2D、引擎初始化、预热和探针,再优化关键路径。
  2. 加载时间的下界由最慢的共享带宽决定;盲目增加 worker 会带来 RAM OOM 和 I/O 竞争。
  3. 节点缓存必须使用不可变修订号和 digest,并且先校验、后原子发布。
  4. Ready 必须要求全部 rank、模型版本、真实预热和显存余量同时通过。
  5. 冷启动 p99 是容量扩展的领先时间;比突发到来更慢时,必须依靠预热容量或更早的预测。

15 思考题与小练习#

  1. 240 GB 权重从对象存储以 8 GB/s 下载,本地读取 12 GB/s,8 张 GPU 的 H2D 聚合带宽为 64 GB/s,初始化+预热 25 s。串行冷启动下界多少?节点缓存命中后呢?
  2. 把预算器改成支持 download -> verify 与 read -> H2D 流水重叠的 DAG,输出关键路径和每段 slack。
  3. 设计一次扩容风暴实验:并发启动 1、4、8、16 个副本,记录总下载带宽、单副本 p99 T_ready、RAM 峰值与失败率,选出安全并发上限。

相关工作#

  1. Sheng et al., ServerlessLLM: Low-Latency Serverless Inference for Large Language Models ↗,研究多层存储与快速 checkpoint 加载。
  2. Patel et al., Splitwise: Efficient Generative LLM Inference Using Phase Splitting ↗,说明推理阶段与资源配置对服务能力的影响。
  3. Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention ↗,解释引擎就绪后 KV 空间如何决定并发。
  4. vLLM, Serve CLI: LoadConfig ↗,列出当前权重格式、下载目录、Safetensors 读取策略与并行加载参数。
  5. Hugging Face, Safetensors ↗,介绍可安全、可快速读取的张量存储格式。

16 下一篇预告#

权重已经 Ready 之后,发布仍可能在数秒内把尾延迟拉高:新副本缓存为空、旧副本正在排水,长连接又不能粗暴中断。下一篇将进入 LLM 服务的 Rolling Update(滚动更新):预热流量、连接排水、容量 surge 与可回滚门槛。

新 GPU 为何迟迟不 Ready?拆解权重加载、预热与冷启动
https://zwjcode.cn/blog/llm-model-loading-cold-start-weight-distribution-warmup
作者 傑
发布于 2026年9月25日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。