GPU服务器租用：训练与推理选型要点
按显存、功耗、任务指标和计费方式选择GPU服务器，并用官方命令检查实例与模型性能。
GPU服务器租用的选型，应先把训练与推理目标拆开：训练重点核对模型能否装入显存、训练框架和驱动是否兼容；推理重点核对响应方式、吞吐、首个令牌延迟及后续生成速度。硬件规格只能说明容量边界，最终配置还要结合具体模型、精度、上下文长度、并发量和运行时文档确认。
先区分训练与推理需求
训练时，先记录模型参数、训练精度、优化器状态和预计批量。若单卡显存不够，再判断框架是否支持你计划采用的并行方式；现有官方资料没有给出不同模型或框架的通用显存计算公式，不能仅凭 GPU 显存数字推断“一定能训练”。
推理时，应先确定请求是逐个返回、连续交互还是批量处理，再选测试指标和并发条件。MLPerf Inference 将待测系统定义为接受性能测量的软硬件资源集合，因此比较机器时，应固定模型、精度、请求方式、软件版本和指标口径，而不是只比较显卡型号（参见 MLPerf Inference 规则）。
显存和功耗先核对这两项
下列均为 NVIDIA 当前规格页列出的配置：
| GPU | 显存 | 功耗或系统电源要求 | 形态 |
|---|---|---|---|
| GeForce RTX 4090 | 24 GB GDDR6X | 显卡总功耗 450 W；系统电源要求 850 W | Founders Edition 为三槽，长 304 mm |
| GeForce RTX 5090 | 32 GB GDDR7 | 显卡总功耗 575 W；系统电源要求 1000 W | Founders Edition 为两槽，长 304 mm |
| L4 | 24 GB | 最大 TDP 72 W | 单槽低功耗 PCIe |
| L40S | 48 GB GDDR6，支持 ECC | 最大功耗 350 W | 双槽、自然散热、16-pin 电源接口 |
| A100 | 80 GB HBM2e | PCIe 300 W；SXM 400 W | 支持最多 7 个 10 GB MIG 实例 |
| H100 | SXM 80 GB；NVL 94 GB | SXM 最高 700 W，可配置；PCIe NVL 350–400 W，可配置 | SXM 或双槽风冷 PCIe |
| H200 | SXM、NVL 均为 141 GB | SXM 最高 700 W；NVL 最高 600 W，均可配置 | 官方分别列出 SXM 与 NVL |
这些数据可分别核对 GeForce RTX 4090 规格、GeForce RTX 5090 规格、L4 规格、L40S 规格、A100 规格、H100 规格和 H200 规格。
租用前还要向供应商确认卡型、每台实例的 GPU 数量、主机电源与散热配置。GeForce 或 Titan 软件许可不允许数据中心部署，并限制使用该软件提供商业托管服务；商业 GPU 服务器不能默认按消费级显卡许可使用，应先查阅 GeForce 软件许可条款。
用兼容性和性能指标验证配置
CUDA 应用需要 CUDA-enabled GPU，以及与构建该应用所用 CUDA Toolkit 兼容的 NVIDIA driver。CUDA 13.x、12.x、11.x 的最低 driver 版本分别为 >= 580、>= 525、>= 450，具体应用仍应按 CUDA 次版本兼容性说明核对。
拿到实例后，先查看驱动识别到的全部 GPU 信息：
nvidia-smi -q
只查询需要的属性时，使用逗号分隔字段，并先查看该版本支持的字段：
nvidia-smi --query-gpu=pci.bus_id,persistence_mode --format=csv
nvidia-smi --help-query-gpu
nvidia-smi 可显示板卡序列号、ECC 退役页计数、Row Remapper 失败记录、核心温度和板卡功耗等项目；不支持的字段显示为 N/A。具体字段和支持范围以 NVIDIA System Management Interface 文档为准。
推理基准不要混用口径。MLPerf Inference 收集首令牌时间 TTFT 和每个输出令牌时间 TPOT；Server、Offline 和 Single stream 的负载方式与指标并不相同。若要新建大模型基准项目，NVIDIA 已将 GenAI-Perf 指向 AIPerf；现有 GenAI-Perf 说明也将其定义为测量生成式 AI 模型吞吐和延迟的命令行工具，参见 GenAI-Perf README。
计费模式要按实际用量计算
阿里云的 GPU 云服务器会对计算资源、镜像、块存储、公网带宽和快照等资源计费，并支持包年包月、按量付费、抢占式实例及预留实例券。核对 阿里云 GPU 云服务器说明时，应让报价与账单至少拆成：
总费用 = GPU 计算资源费 + vCPU 与内存费
+ 镜像费 + 块存储费 + 公网带宽费 + 快照费
再填入供应商当前报价和实际账单，不沿用旧价。包年包月适合计划已稳定的需求；按量付费适合用量会变化的项目；抢占式实例必须考虑任务被回收后的检查点与重跑安排。
AWS 的 On-Demand Instances 按秒付费，但运行状态计费有 60 秒最低时长；G 和 VT 实例族的默认 On-Demand 配额为 0 vCPU，启动前需要确认或申请提高配额。Capacity Blocks、Reserved Instances 和 Savings Plans 又是不同的承诺方式，应按 Amazon EC2 购买选项逐项确认，不要把实例折扣、容量预留和软件授权混为一笔费用。
若使用 AWS Spot Instances，EC2 会在停止或终止前发出中断通知，AWS 建议每 5 秒检查一次，但通知采用尽力送达方式。训练程序应保存检查点并准备重新调度，详见 Spot Instance 中断通知。
常见故障先查驱动和日志
CUDA 报兼容性错误时，先核对应用构建所用 Toolkit 与 driver，而不是直接更新全部组件。Linux 出现 Xid 消息时，可先按官方方法查找：
grep "NVRM: Xid" /var/log/kern.log
Xid 是 NVIDIA driver 写入操作系统内核日志或事件日志的错误报告，可能涉及硬件、NVIDIA 软件或用户应用；具体处理应按 Xid 错误说明继续定位。
ECC 错误和退役页计数也不应忽略。nvidia-smi -q 可提供基础信息；驱动会自动退役包含故障存储单元的 framebuffer page，但实际可退役容量及处理方式取决于 GPU 架构。遇到相关 Xid 或 RMA 判断，应查阅 NVIDIA 对应的 动态页退役说明，不要仅凭一次应用报错断定硬件失效。
资料来源
- NVIDIA GPU 产品规格
- NVIDIA System Management Interface 文档
- MLPerf Inference 规则
- Amazon EC2 购买选项
- 阿里云 GPU 云服务器说明
本文步骤依据正文所链接的官方文档整理，未进行运行或性能测量；使用前应按当前版本重新核对。