RunPod模板怎么选：大模型工具链与自动化脚本

按镜像、磁盘挂载、暴露端口、环境变量和启动命令筛选 RunPod 模板，并串起 GPU 容器检查、vLLM 安装、服务验证与 Pod 自动化创建流程。

选 RunPod 模板时，先按 RunPod 模板说明核对镜像、磁盘与挂载路径、暴露端口、环境变量和启动命令，再确认 GPU 显存与工具链；自动化脚本应固定这些配置和 Pod 创建入口。做“大模型部署”时，顺序是模板筛选、GPU/Docker 检查、vLLM 启动，再请求模型列表验证。

先把模板变成验收清单

把模型标识、端口、持久化目录和完整启动命令写进验收表；任一项无法确认，就先不要把自动化脚本用于生产。密钥不要直接写进启动行，按官方示例引用：

API_KEY={{ RUNPOD_SECRET_my_api_key }}

密钥创建后无法再从控制台查看值，见 RunPod 的密钥文档。一个 Pod 最多可配置 50 个环境变量；修改变量会重启 Pod，并清除 volume mount path 之外的数据，默认目录为 /workspace，见 RunPod 的环境变量文档。需要保留的内容不要只存放在该目录之外。

先算 GPU 和费用边界

RunPod 给 LLM 的初筛经验值是每十亿参数约 2 GB VRAM，见 RunPod 的 Pod 选择说明：

显存初筛（GB）= 参数量（十亿）× 2

这只是初筛，不是容量承诺；量化方式、上下文长度和并发需求都可能改变实际显存占用。

在 RunPod 的 Pods 计费说明中，compute 和 container/volume disk 按秒计费，network volume 按小时计费，data ingress/egress 不收费；部署 on-demand Pod 前，余额须覆盖所选配置至少一小时的 credits，Pod 停止后 storage 仍继续计费。从当前页面、报价或账单填入金额与计费量：

预计费用 = YOUR_VALUE + YOUR_VALUE + YOUR_VALUE + YOUR_VALUE

各项依次对应 compute、container disk、volume disk 和 network volume，不要沿用旧价格。

大模型部署的工具链与脚本

RunPod 的 Pods 概览说明，平台会运行 Docker，但不支持自行启动另一个 Docker daemon，也不支持 Docker Compose；Pods 只支持 TCP 和 HTTP，不支持 UDP。因此，依赖 Compose 或 UDP 的启动脚本应视为不匹配。

在自有 GPU 主机上，Docker GPU 文档要求通过 docker run 的 --gpus 暴露 GPU；NVIDIA 安装指南要求先安装 NVIDIA driver，再安装 Container Toolkit，并配置 /etc/docker/daemon.json。按 NVIDIA 的验证示例执行：

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

这套运行时配置用于自有主机，不是修改 RunPod 托管的 Docker。

把 vLLM 固定为启动命令

选择 GPU 前，先按 vLLM GPU 安装说明检查 compute capability 至少为 7.5，并注意预编译包包含 C++ 和 CUDA 12.9 二进制文件；vLLM 的 CUDA 安装说明建议使用全新环境，CUDA 版本不同或已有 PyTorch 时需要从源码构建。

按 vLLM Quickstart，环境须为 Linux、Python 3.10 至 3.13；--torch-backend=auto 会根据已安装的 CUDA driver version 选择 PyTorch index：

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm serve Qwen/Qwen2.5-1.5B-Instruct

在线服务时，engine arguments 是 vllm serve 参数的一部分，见 vLLM Engine Arguments。模板启动命令可按自己的配置填写：

vllm serve Qwen/Qwen2.5-1.5B-Instruct --host YOUR_VALUE --port YOUR_VALUE --gpu-memory-utilization YOUR_VALUE --max-model-len YOUR_VALUE --max-num-seqs YOUR_VALUE

按 vLLM serve CLI，--gpu-memory-utilization 是单实例限制，未指定时为 0.92；--max-model-len 覆盖 prompt 与 output，未指定时读取模型配置，-1 或 auto 会选择显存可容纳的最大长度；设置 --kv-cache-memory-bytes 会忽略前述内存比例，--max-num-seqs 则限制单次迭代处理的 sequences 数量。

自动化创建 Pod

RunPod 的 Pod CLI 文档给出了按名称、GPU id 和 image 创建 Pod 的命令：

runpodctl pod create --name YOUR_VALUE --gpu-id "YOUR_VALUE" --image "YOUR_VALUE"

脚本应参数化这些值，同时继续用前面的验收表核对环境变量、挂载目录、暴露端口和启动命令。

验证服务并排查故障

vLLM Quickstart说明，服务默认监听 http://localhost:8000，可用 /v1/models 列出模型；一个 server process 当前只承载一个模型。启动后执行：

curl http://localhost:8000/v1/models

如果修改了 --host 或 --port，应请求实际地址，并核对返回的模型标识与启动命令一致。

部署时报 OCI runtime create failed，按 RunPod 的 Pod 管理文档通过 Additional filters → CUDA Versions 选择兼容机器。
停止后重启可能找不到 GPU。Pod 仍绑定原物理主机，而原 GPU 已被释放并可能租给其他用户，具体原因见 RunPod 的零 GPU 排查文档。

这些步骤依据正文所链接的官方文档整理，本文未运行或测量任何环境；使用前请对照当前版本复核。