vLLM 模型加载提速实战：3 个配置搞定秒级启动与零停机换权重

vLLM 模型加载提速实战：3 个配置搞定秒级启动与零停机换权重

【免费下载链接】vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址: https://gitcode.com/GitHub_Trending/vl/vllm

部署 vLLM 要过三关：冷启动慢、升级要停服、大模型加载随卡数恶化。这篇带你按部署流程把三关逐一把掉，每关只讲四件事：遇到什么问题、关键参数怎么配、最短怎么验证、坑在哪。

第一关：冷启动，用 dummy 模式把启动压到秒级

这一关解决的是"服务能不能立刻拉起来"。

问题。常规启动要把完整权重从磁盘读进显存，典型场景下一个大模型从进程启动到可服务要花好几分钟。而发布验证、压测、调参这些场景，你要的往往只是"引擎能跑"，并不在乎输出内容对不对。

参数。核心就一个：load_format="dummy"。它不加载真实参数，而是创建形状与真实模型完全一致的随机张量（即虚拟权重），计算图、显存、KV cache 照常构建。另外两个按需配：

• tensor_parallel_size：张量并行，即把模型切到多张卡上，典型设为 GPU 数；
• enforce_eager=True：跳过 torch.compile 编译，启动更快，代价是推理性能下降，只适合调试。

最短验证：

from vllm import LLM, SamplingParams llm = LLM(model="Qwen/Qwen3-0.6B", load_format="dummy", enforce_eager=True, tensor_parallel_size=4) outputs = llm.generate(["Hello, my name is"], SamplingParams())

跑通即说明引擎链路 OK。注意此时输出是乱码，这是预期行为。

踩坑提醒：dummy 实例绝不能挂生产流量。正确姿势是先 dummy 拉起做健康检查，确认后再走第二关换上真实权重。

第二关：升级，不重启进程直接换权重

这一关解决"发版能不能不停机"。

问题。凌晨发版，服务不能停。重启意味着连接断开、KV cache 清空、流量打空窗，对在线业务都是硬伤。

做法。vLLM 支持在运行中的引擎上原地替换权重，分两步 RPC（RPC 即远程调用，这里指把指令下发到所有 GPU worker 执行）：

llm.collective_rpc( "update_config", args=({"load_config": {"load_format": "auto"}},) ) llm.collective_rpc("reload_weights")

第一步把加载格式从 dummy 改回 auto，第二步执行真正的权重替换。官方示例 skip_loading_weights_in_engine_init.py 就是"dummy 启动 → 热加载 → 输出恢复正常"的完整闭环。

最短验证：换完权重后跑同一批 prompt，输出从乱码变回正常文本，即说明原地替换成功。

踩坑提醒：update_config和reload_weights必须成对出现——只改配置不触发 reload，权重还是旧的；另外 collective_rpc 保证所有 TP rank 同步换完，别自己只往单个 worker 发指令。

第三关：大模型，sharded_state 预分片加载

这一关解决"模型大、卡数多时加载越来越慢"。

问题。auto 格式下每个 TP rank 都要把完整 checkpoint 读进来再切分，典型场景里卡越多、加载越慢。sharded_state 的做法是：先离线把权重按 TP 切好、存成各 rank 专属的分片文件，加载时每个 rank 只读自己的那份。

参数。--load-format sharded_state配合--tensor-parallel-size使用。加载流程一条命令讲清：

python examples/features/sharded_state/load_sharded_state_offline.py \ --model /path/to/saved/sharded/model \ --load-format sharded_state \ --tensor-parallel-size 8 \ --prompt "Hello, my name is" \ --max-tokens 50

前提是先用同目录下的save_sharded_state_offline.py把模型预切分片，参考 docs/configuration/conserving_memory.md。

最短验证：跑通上面这条 CLI，输出正常即说明分片文件完整可读。

踩坑提醒：save 和 load 的 TP 数必须一致，换了 TP 规模要重新分片——这步离线做一次即可，之后每次加载都受益。

load_format 速查与落地建议

三条落地建议：

1. 先拿小模型把 "dummy 启动 → 热加载换权重" 全链路走通一遍，再上生产规模；
2. enforce_eager只留作调试开关，生产实例用默认值，别为省几十秒编译牺牲吞吐；
3. 大模型提前离线切好 sharded_state 分片，把加载慢的问题消灭在部署之前。

想今天就试的话：从 examples/features/sharded_state/ 目录下的两个脚本开始，一个切分片、一个验证加载，十分钟就能跑完。

【免费下载链接】vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址: https://gitcode.com/GitHub_Trending/vl/vllm