vLLM/SGLang推理引擎部署大模型必加参数

根据在工作中部署模型踩的坑而总结的经验，整理部署模型时应该加的docker参数及vLLM/SGLang 推理引擎参数

环境变量

容器启动参数

vLLM 和 SGLang 的容器启动参数基本一致，统一整理如下：

示例

以下仅展示容器参数，不包含引擎参数

docker run -itd --name vllm \
    -v /data/model:/data/model \
    -e TZ=Asia/Shanghai \
    --ipc=host \
    --network host \
    --shm-size 500G \
    --gpus all \
    --privileged \
    --cap-add=IPC_LOCK \
    --cap-add=SYS_ADMIN \
    --cap-add=SYS_NICE \
    --ulimit memlock=-1 \
    --ulimit stack=67108864 \
    --restart unless-stopped \
    vllm/vllm-openai:latest \
    /data/model/DeepSeek-V3.2

vLLM

引擎必加参数

注意：

1. vLLM 默认在主端口的 /metrics 路径暴露 Prometheus 指标，无需额外参数

引擎常用参数

推测解码（Speculative Decoding / MTP）

vLLM 的推测解码参数统一通过 --speculative-config / -sc 以 JSON 对象传递，不再使用单独的 --speculative-* 顶层参数。

JSON CLI 参数传递方式：vLLM 支持两种等价的 JSON 参数传递方式——JSON 字符串或逐键点分写法，以下两种写法完全等价：

# 方式一：JSON 字符串
--speculative-config '{"method":"mtp","num_speculative_tokens":1}'

# 方式二：逐键点分写法
--speculative-config.method mtp --speculative-config.num_speculative_tokens 1

嵌套键用 . 连接，例如 --speculative-config.draft_tensor_parallel_size 1。

--speculative-config JSON 通用键：

https://docs.vllm.ai/en/latest/api/vllm/config/speculative/#vllm.config.speculative

Docker 启动示例

docker run -itd --name vllm \
    -v /data/model:/data/model \
    -v /model:/model \
    -e TZ=Asia/Shanghai \
    --ipc=host \
    --network host \
    --shm-size 500G \
    --gpus all \
    --privileged \
    --cap-add=IPC_LOCK \
    --cap-add=SYS_ADMIN \
    --cap-add=SYS_NICE \
    --ulimit memlock=-1 \
    --ulimit stack=67108864 \
    --restart unless-stopped \
    vllm/vllm-openai:latest \
    /model/DeepSeek-V3.2 \
    --served-model-name deepseek-v3 \
    --enable-prefix-caching \
    --enable-auto-tool-choice \
    --gpu-memory-utilization 0.95 \
    --enable-prompt-tokens-details

进入容器调试：

vLLM 镜像中设置的 entrypoint 是 vllm serve，如果需要启动一个容器方便测试部署命令，可以在运行容器时通过 --entrypoint 指定 entrypoint：

docker run -itd --name vllm \
    -v /data/model:/data/model \
    -v /model:/model \
    -e TZ=Asia/Shanghai \
    --ipc=host \
    --network host \
    --shm-size 50G \
    --gpus all \
    --privileged \
    --cap-add=IPC_LOCK \
    --cap-add=SYS_ADMIN \
    --cap-add=SYS_NICE \
    --ulimit memlock=-1 \
    --ulimit stack=67108864 \
    --entrypoint /bin/bash \
    --restart unless-stopped \
    vllm/vllm-openai:latest

SGLang

引擎必加参数

引擎常用参数

内存与调度/并行策略等

内核后端

推测解码

Docker 启动示例

docker run -itd --name sgl \
    -v /data/model:/data/model \
    -e TZ=Asia/Shanghai \
    --restart unless-stopped \
    --ipc=host \
    --network host \
    --shm-size 500G \
    --gpus all \
    --privileged \
    --cap-add=IPC_LOCK \
    --cap-add=SYS_ADMIN \
    --cap-add=SYS_NICE \
    --ulimit memlock=-1 \
    --ulimit stack=67108864 \
    lmsysorg/sglang:latest \
    sglang serve \
      --model-path /data/model/MiniMax--MiniMax-M2.7 \
      --enable-cache-report \
      --enable-metrics \
      --mem-fraction-static 0.9

两个引擎参数对照表