RunPod 控制台创建 GPU 实例

说明如何在 RunPod 控制台选择 GPU、命名并配置 Pod 后创建按需实例,同时核对创建前余额、连接验证与停止后的数据保存边界。

如果你要做 GPU服务器租用,在 RunPod 控制台创建 GPU 实例时,依次选择 GPU 类型、填写 Pod 名称、按需选择模板、设置 GPU 数量,最后点击 Deploy On-Demand;RunPod 的 Pod 管理文档 给出的流程与此一致。按需 Pod 采用 pay-as-you-go,资源不会被其他用户挤占;提交前,余额必须至少覆盖所选配置一小时的费用。RunPod 的 Pods 计费说明

GPU服务器租用前,先在 RunPod 准备余额与 GPU

先做显存粗估。RunPod 的 Pod 选择指南 给出的经验值是每十亿参数约需 2 GB VRAM,可以先记录为:

估算显存(GB)≈ 参数量(十亿)× 2

这只适合初筛。量化方式、上下文长度和运行组件都会影响实际需求,最终仍要核对模型当前说明。选择 GPU 时,应同时记录型号、显存和数量,不要只比较卡的数量。

在控制台创建 GPU 实例

把下面的控制台流程作为执行清单:

GPU: Select GPU type → Name your Pod → (Optional) Choose a template → Set GPU count → Click Deploy On-Demand
  • 在 GPU 步骤选择前述显存估算能够覆盖的型号。
  • 在 Name your Pod 步骤填写后续容易识别的名称。
  • 模板是可选项;需要模板时再选择,不必把它当成必填项。
  • 在 Set GPU count 步骤按模型需求和实际工作负载确定数量。
  • 提交前重新核对 GPU 型号、数量和余额,然后点击 Deploy On-Demand。

怎样确认实例已经连接

Pod 启动后,浏览器终端适合快速检查,但 RunPod 的连接方式说明 不建议通过它运行长时间任务。

需要使用 JupyterLab 验证时,按 RunPod 提供的连接格式 使用 HTTP proxy 地址,并将 JUPYTER_PASSWORD 设为认证密码:

https://[POD_ID]-8888.proxy.runpod.net
JUPYTER_PASSWORD

把地址中的 [POD_ID] 替换为实际 Pod ID。页面能够打开并通过认证,可以确认连接路径可用,但这不等于模型服务已经正确加载。

停止或终止前,先决定数据放在哪里

RunPod 的存储类型说明区分了容器磁盘、卷磁盘和网络卷:

数据位置 停止 Pod 终止或删除 Pod
容器磁盘 数据清空 不保留
卷磁盘 /workspace 数据保留 数据删除
网络卷 独立于 Pod 存在 数据仍然保留

卷磁盘中的 /workspace 数据还能跨停止和重启保留,但终止 Pod 时会删除。网络卷必须在创建 Pod 时挂载,创建后不能分离;挂载后,它会替代 /workspace 处的卷磁盘。RunPod 的网络卷规则因此,模型权重或检查点是否只需要跨停止保留,还是还要跨 Pod 删除保留,会直接影响存储选择。

停止 Pod 也不等于停止全部存储计费。存储费用仍会累计;余额耗尽时,没有网络卷的 Pod 会被终止,数据无法恢复。RunPod 的计费与余额规则不要只观察 GPU 是否释放,还要确认数据究竟位于容器磁盘、/workspace 还是网络卷。

创建或重启失败时先看什么

停止后的 Pod 仍与原来的物理机器关联,但 GPU 已被释放,重启时可能找不到可用 GPU。RunPod 的零 GPU 排查说明因此,停止状态不等于继续独占原来的 GPU。

如果部署出现 OCI runtime create failed,按 RunPod 的 Pod 管理说明使用 Additional filters → CUDA Versions 选择兼容机器。编辑运行中的 Pod 也会重置实例,并清除 /workspace 或网络卷之外的数据,修改配置前应先处理需要保留的内容。

本文步骤依据正文所链接的官方文档整理,使用前请按当前版本复核。

资料来源