GPU服务器租用选型：需求与方案评估
依据 NVIDIA 的 GPU 规格与软件许可，以及 EC2 On-Demand 按秒计费等规则，建立可复核的租用需求表，再按容量风险、配额与附加费用评估方案。
GPU服务器租用选型应先把模型、上下文、并发、时延和可接受中断写成可验收需求，再比较 GPU 显存与功耗、驱动兼容、区域、配额、购买方式和附加费用。对 EC2，还要把“能否取得容量”和“中断后如何恢复”纳入评估；供应商当前文档或合同没有写明的服务承诺，应保留为待确认。下面给出需求表、规格对照、费用公式和验收步骤。
GPU服务器租用：先写清验收条件
询价前，让业务、IT/运维和开发填写同一张表。模型与量化方式影响加载条件，上下文和并发影响运行压力，时延与中断窗口影响容量及购买方式；地区还要同时满足客户位置与内部合规边界。
MODEL = YOUR_VALUE
QUANTIZATION = YOUR_VALUE
MAX_CONTEXT = YOUR_VALUE
TARGET_CONCURRENCY = YOUR_VALUE
MAX_LATENCY = YOUR_VALUE
MAX_INTERRUPTION_WINDOW = YOUR_VALUE
PREFERRED_REGION = YOUR_VALUE
RELIABILITY_REQUIREMENT = YOUR_VALUE
上下文、时延和中断窗口要同时写明单位。每个字段都应附验证方法、文档来源和负责人；没有明确值时标为待确认，不用“尽量接近”“高可用”等模糊表述代替验收条件。
GPU 规格：显存和功耗只做第一轮筛选
以下规格只用于对照，不代表优先顺序。
| 型号 | 官方显存 | 官方功耗指标 | 部署形态或可用性 |
|---|---|---|---|
| NVIDIA L4 | 24GB | 最大 TDP 72W | 1-slot low-profile PCIe |
| NVIDIA L40S | 48GB GDDR6 with ECC | 最大功耗 350W | 双槽、被动散热、16-pin |
| NVIDIA A100 | 80GB HBM2e | PCIe 300W；SXM 400W | 最多 7 个 MIG 实例，每个 10GB |
| NVIDIA H100 | SXM 80GB；NVL 94GB | SXM 最高 700W；PCIe NVL 350-400W，均可配置 | SXM 或 PCIe 双槽风冷 |
| NVIDIA H200 | 141GB | SXM 最高 700W；NVL 最高 600W，均可配置 | SXM 或 NVL |
这些参数只能完成初筛。显存是否够用仍取决于你指定的模型、量化和并发，应通过自己的验收运行判断；GPU 规格表也不能证明某个驱动与框架组合必然可用。
若业务涉及对外商业托管，还要先核对软件许可。NVIDIA GeForce 软件许可第 2.8 条写明，GeForce/Titan 驱动软件不获准用于数据中心部署；第 2.7 条禁止在未获明确授权时使用该软件提供商业托管服务。这里仅作一般信息说明，不构成法律意见。
购买方式与费用：按中断容忍度筛选
按 Amazon EC2 的计费与购买选项，On-Demand Instances 按秒计费；Savings Plans 以每小时美元金额承诺一致用量，期限为 1 年或 3 年；Reserved Instances 承诺特定实例配置和 Region，期限同样为 1 年或 3 年；Capacity Blocks 可用于预留 GPU 实例集群。
在报价单和合同中逐项记录实例类型、Region、期限、使用量或承诺、容量保证、中断规则和附加资源费。没有明确文字的项目标为待确认，再按同一口径计算：
USAGE_CHECK_USD = YOUR_INSTANCE_CHARGE_USD + YOUR_EBS_CHARGE_USD + YOUR_ELASTIC_IP_CHARGE_USD + YOUR_OTHER_CHARGES_USD
TERM_CHECK_USD = YOUR_COMMITMENT_CHARGE_USD + YOUR_EBS_CHARGE_USD + YOUR_ELASTIC_IP_CHARGE_USD + YOUR_OTHER_CHARGES_USD
所有变量都从自己的当前报价、账单或合同填写，不预设单价。依据 AWS 的实例状态说明，EBS 卷和 Elastic IP 不因实例停止而免收费用；实例停止后不再收取实例使用费，但每次从 stopped 回到 running 都会开启新的计费周期，并至少计费一分钟，实例在 stopping 状态下进入休眠时仍会计费。
区域、配额与容量：把“能启动”单独验收
按 AWS 的 Region 与 Availability Zone 说明，Region 应靠近客户或满足法律要求；各 Region 相互隔离，资源不会自动跨 Region 复制。在多个 Availability Zone 启动实例可以防范单一位置故障，Local Zone 则把 Region 扩展到更靠近用户的位置。
配额必须另行核对。AWS EC2 服务配额文档说明配额按 Region 设置，并建议提前申请增加额度。On-Demand 配额按运行实例使用的 vCPU 计算，而不是按实例数量计算；未使用的 Capacity Reservations 也会占用 On-Demand vCPU 配额，P 系列的默认额度为 0 vCPU，但可以调整。这些规则见 EC2 On-Demand 文档。
启动失败时，先区分错误类型。EC2 启动问题排查文档说明，InsufficientInstanceCapacity 表示当前 On-Demand 容量不足，InstanceLimitExceeded 属于配额问题；前者可先等待几分钟重试、取消指定 Availability Zone，或把请求拆成更小的批次。若必须在特定可用区持续取得容量，再按 Capacity Reservations 文档评估预留方案。
Spot Instances 需要单独设计恢复流程。Spot 中断通知文档说明，EC2 会在停止或终止实例前两分钟发出尽力而为的通知，并建议每 5 秒检查一次；通知可从以下 IMDSv2 路径读取：
http://169.254.169.254/latest/meta-data/spot/instance-action
EC2 Spot Instances 文档还说明，Spot 不受 Savings Plans 覆盖；容量不足时会继续重试请求，并会在两分钟通知前提供 rebalance recommendation。需要 SLA 数值时，应从供应商当前文档和合同中核对明确的服务承诺、排除项与救济方式；没有明确条款就保留为待确认，不把容量建议当成服务承诺。
验收与常见出错点：核对实际卡和状态
按 NVIDIA System Management Interface 文档，可用下列命令查看 GPU 属性、指定查询字段并列出可查询项目：
nvidia-smi -q
nvidia-smi --query-gpu=pci.bus_id,persistence_mode
nvidia-smi --help-query-gpu
对照采购单检查板卡序列号、显存、温度、功耗、退役页面和 Row Remapper 状态。板卡序列号应与卡面印刷编号一致；风扇读数表示预期转速而非实测转速，风扇被遮挡时，该数值不能反映实际转速。
Linux 环境下，在内核日志中检索 NVRM: Xid。根据 Xid 排查文档，nvidia-smi 可显示 ECC 错误计数、电源线未连接状态及适用的恢复操作；Xid 错误说明则指出，Xid 可能来自硬件、NVIDIA 软件或用户应用问题，不能只凭单一报错直接归因。
运行 CUDA 应用还需要兼容的 NVIDIA 驱动，具体要求见 CUDA 兼容性说明。记录应用的 CUDA Toolkit 构建版本，并把驱动版本与对应兼容表逐项核对。
这些步骤依据正文所链接的官方文档整理，未进行运行或测量；使用前应按当前版本复核。