GPU服务器长期租用:容量规划教程

用任务基线、vCPU配额、可用区、承诺期限和闲置费用复核长期GPU容量方案,并确认未使用的Capacity Reservation仍计入On-Demand配额且照常收费。

GPU服务器租用的长期容量规划,应先用峰值并发、vCPU配额和目标可用区算出必须保留的容量,再核对承诺期限、闲置费用和退出条件。下面给出面向 AWS 的计算与签约前复核方法;价格、可用容量和条款以你下单时的官方页面与报价为准。

长期决策:GPU服务器租用要算哪些容量

从任务记录提取常态、峰值和故障恢复后的积压,统一时间单位后计算并发,再与恢复需求比较。YOUR_VALUE 表示单 GPU 可承接并发数,只取自你的任务记录或项目文档;资料不足就留空。

峰值并发任务数 = 峰值到达率 × 平均任务运行时间
规划 GPU 数 = 向上取整(峰值并发任务数 ÷ YOUR_VALUE)

先对齐 Region、可用区和配额

AWS 的 Region 彼此隔离,资源不会自动跨 Region 复制;官方建议选择靠近客户或满足法律及其他要求的 Region。跨多个可用区运行可防护单一地点故障。AWS 的 Region 与可用区说明

On-Demand 配额按运行中实例使用的 vCPU 计算,不按实例个数;未使用的 Capacity Reservation 仍计入配额。P、G 和 VT(GPU)系列列出的默认配额为 0 vCPU 且可调整;实例只按 running 状态的秒数计费,并有 60 秒最低计费。AWS 的 On-Demand Instances 说明 配额按 Region 设置,应在需要发生前申请增加。EC2 服务配额说明

把容量保障和长期承诺分开

在 Amazon EC2 购买方式中,Savings Plans 是对每小时 USD 用量的承诺,Reserved Instance 承诺特定实例配置和 Region,Capacity Blocks 用于预留 GPU 集群;前两项的期限均为 1 年或 3 年。

若严格需要特定可用区的容量保障,AWS 建议使用 Capacity Reservation;它可按任意期限预留,也能随时取消并停止相关费用。Capacity Reservation 说明

预留无论是否运行实例,都按 On-Demand 费率计费,按秒粒度并设 60 秒最低;Savings Plans 和 Regional Reserved Instance 折扣适用。Capacity Reservation 定价与计费说明

Capacity Blocks 不能取消,并在 11:30 AM UTC结束。Capacity Blocks for ML 说明 费用在预订时预付,Savings Plans 和 Reserved Instance 折扣不适用。Capacity Blocks 定价与计费说明

用账单公式复核长期支出

从官方报价和账单抄录金额,不先填单价:

按需实例费 = YOUR_VALUE
长期承诺费 = YOUR_VALUE
Capacity Reservation 费 = YOUR_VALUE
Capacity Block 预付款 = YOUR_VALUE
EBS 与公网地址费 = YOUR_VALUE
NAT Gateway 费 = YOUR_VALUE
数据传输费 = YOUR_VALUE
复核总额 = 上述各项之和

停止的 EC2 实例不计实例使用费,但 EBS 卷和 Elastic IP 会继续计费。EC2 实例状态说明 公网 IPv4 均收费,包括运行实例和 Elastic IP 使用的地址。VPC IP 寻址说明

NAT Gateway 按可用小时和处理数据量计费。NAT Gateway 定价说明 同 Region 跨可用区传输归入 DataTransfer-Regional-Bytes;互联网出站归入 DataTransfer-Out-Bytes,互联网入站和进入目标 Region 不收费。AWS 数据传输费用说明

Spot 只列为可中断层

AWS 在停止或终止 Spot Instance 前 2 分钟发出中断通知,但通知为尽力而为;文档建议每 5 秒检查一次,可通过 IMDSv2 路径读取:Spot 中断通知说明

http://169.254.169.254/latest/meta-data/spot/instance-action

Spot Instances 不受 Savings Plans 覆盖。Spot Instances 说明 中断后实例停止时,保留的 EBS 卷仍收费。中断 Spot Instances 的计费说明 因此应把 Spot 单列为可中断层,不要在容量表中等同于固定容量。

完成复核并验证可追溯性

InsufficientInstanceCapacity 表示当前 On-Demand 容量不足;官方建议等待片刻重试、不指定可用区或减少请求规模。InstanceLimitExceeded 则是配额问题。EC2 启动故障排查

签约前确认:

  • 峰值公式有任务记录支撑,目标 Region 的配额已经核对。
  • 可用区与故障策略已写入容量表。
  • 承诺期限、取消或到期规则已抄录。
  • 报价项目已代入公式,闲置容量的复核责任人和触发条件已经指定。

本文步骤依据正文所链接的官方文档整理,未运行任何实例或进行性能测量;使用前请按当前版本复核。

资料来源