海外 GPU 服务器租用检查清单
从模型显存、GPU规格、实例类型、地区容量、完整费用和数据生命周期整理核对项,帮助你在创建海外 GPU 服务器前识别停机计费、带宽费用与数据删除风险。
做海外 GPU服务器租用时,按“模型显存—GPU 规格—实例类型—地区与容量—完整费用—数据生命周期”逐项核对;不要只比较显卡型号或单价。先把部署所需显存、实例是否可中断、停机后的存储费用、地区与数据去向写在同一张表里,再看报价。对当前产品页或订单没有写明的 SLA、退款、流量和终止条件,先向供应商确认,不把口头说明当承诺。
GPU服务器租用前的准备
先算显存,再选镜像
先从模型官方文档记录参数量、量化方式、上下文长度、并发和运行框架。RunPod 的 Pod 选择指南给出 LLM 的粗略经验:每十亿参数约分配 2 GB VRAM。这个数值只能用于初筛,不能替代对模型部署说明的核对。
VRAM_ESTIMATE_GB ≈ MODEL_PARAMS_BILLION × 2
把估算结果与候选服务器的显存和 GPU 数量对照,同时记录磁盘、挂载路径、端口、启动命令和环境变量。使用现有模板时,以模板实际配置为准。
地区、容量与合规
AWS 的 区域与可用区说明明确,Region 相互隔离,资源不会自动跨 Region 复制;选择 Region 时,应考虑客户位置以及法律要求。每个 Region 包含多个相互隔离的 Availability Zone,跨多个 Availability Zone 部署可以应对单一位置故障。
你还应记录用户所在地区、供应商的 Region 或数据中心位置、数据跨境要求和备份位置。“海外”并不自动等于低延迟,运行延迟和可用性需要按当前产品资料及实际业务条件确认。以上合规内容只是通用信息,不构成法律意见。
把实例、存储和承诺费用拆开
RunPod 的 Pods 计费说明写明,计算和存储按秒计费,数据入站与出站不收费。On-Demand Pod 采用按需付费,资源不会被其他用户挤占,但部署时账户余额须覆盖所选配置至少一小时的费用。容器盘和 volume disk 按秒计费,network volume 按小时计费;主机不可用时不收费,Pod 停止后存储仍继续计费。Savings plans 需要预先承诺 3 个月或 6 个月,不退款,并有固定到期日。
Vast.ai 的 实例计费说明说明,平台采用 marketplace 模式,host 自定价格。实例总费用由 GPU 计算、存储和带宽组成,按实际使用秒数计费;实例停止后仍收存储费,完全删除实例才停止该项收费。上传和下载都按字节计费,具体费率由 host 决定。实例类型包括 on-demand、预付的 reserved,以及成本最低但可能被暂停的 interruptible。
把报价或账单中的项目代入公式,不要凭印象补费率:
RUNPOD_TOTAL = YOUR_RUNPOD_COMPUTE_CHARGE + YOUR_RUNPOD_STORAGE_CHARGE
VAST_TOTAL = YOUR_VAST_GPU_CHARGE + YOUR_VAST_STORAGE_CHARGE + YOUR_VAST_TRANSFER_CHARGE
UPFRONT_CHARGE = YOUR_QUOTED_UPFRONT_CHARGE
如果报价另列税费或其他收费项目,也应单独加入总费用。Savings plans 或 reserved 涉及预付承诺时,另核对到期、退款和转换条件,并保存下单时的产品页与订单。
按官方流程创建并验证 RunPod Pod
以下部署项、生命周期和故障处理均按 RunPod 的 Pod 管理文档整理。控制台中的顺序是:选择 GPU 类型、填写 Pod 名称、按需选择 template、设置 GPU count,最后点击 Deploy On-Demand。每一项都应与报价单对应。
CLI 创建命令使用以下参数:
runpodctl pod create --name YOUR_NAME --gpu-id "YOUR_GPU_ID" --image "YOUR_IMAGE"
REST API 使用 POST 创建 Pod,入口和认证头如下:
curl --request POST \
--url https://rest.runpod.io/v1/pods \
--header 'Authorization: Bearer RUNPOD_API_KEY'
请求体应按该页当前 API 文档填写,不要自行猜测字段。创建完成后,在 Pod 页面重新核对 GPU 型号、GPU 数量、template、磁盘和挂载路径。
RunPod 的 连接方式说明把 web terminal 定位于快速访问,不建议承载长时间运行的任务。如果 template 提供 JupyterLab,可在 Pod 启动后访问以下地址,并通过 JUPYTER_PASSWORD 设置认证密码:
https://[POD_ID]-8888.proxy.runpod.net
该页面能够打开,只能说明 Pod、代理和认证路径可用;模型服务是否正常,仍需使用对应项目官方文档中的健康检查或请求方法。
常见出错点与数据边界
部署前要特别核对以下行为:
- 停止 Pod 会释放 GPU,但保留
/workspace中的 volume disk 数据,同时清除 container disk 数据。 - 终止 Pod 会永久删除未放在 network volume 中的数据,因此必须先导出重要内容。
- 编辑正在运行的 Pod 会重置实例,并清除
/workspace或 network volume 之外的数据。 - 如果出现
OCI runtime create failed,部署时通过Additional filters → CUDA Versions选择兼容机器。
以上步骤按正文所链接的官方文档整理,未实际运行或测量任何实例;使用前应按当前版本复核。