大模型本地部署成本核算:硬件、带宽与运维
给出一套按硬件购置、租用实例、带宽附加项和运维人时建立统一成本表的方法,并用 NVIDIA 功耗规格与 AWS 计费状态、承诺边界核对容易漏算的项目,同时保留字段来源和待确认标记。
核算本地部署大模型,不能只比显卡或实例标价:应把一次性硬件、租用计算、带宽与存储等附加费用,以及运维人时放进同一张表。按相同周期分别计算自购与租用总拥有成本,再用量化、功耗、计费状态和承诺期限逐项复核;金额只从当前报价、供应商页面或自己的账单填写。
先统一核算边界
做本地部署大模型的成本表时,先选定统一核算周期,再把一次性投入、持续账单、运维人时和机会成本分列。供应商报价、实际账单与内部估算应使用不同字段,避免把同一笔工时同时计入现金成本和机会成本。
方案总成本
= 一次性投入
+ 持续现金支出
+ 运维人时成本
+ 未重复计算的机会成本
每个字段还应标记为“官方规格”“供应商报价”“实际账单”或“内部估算”。没有可靠依据的项目标为待确认,不按零处理。
硬件:先核规格,再算完整投入
设备表应记录型号、显存、功耗、系统电源要求、安装空间、采购报价、配套部件和质保支出。NVIDIA 的 GeForce RTX 4090 规格页列出 24 GB GDDR6X、450 W 总图形功耗和 850 W 要求系统电源;NVIDIA 的 L4 Tensor Core GPU 规格页则列出 24 GB GPU 显存、72 W 最大 TDP,以及单槽低轮廓 PCIe 形态。
这些规格只能界定硬件条件,不能直接推出模型适配程度或总成本。报价之外,还要把电源、散热、机箱或机柜改造、安装、备件、维修和更换准备列入清单。
自购硬件月均投入
= YOUR_EQUIPMENT_COST / YOUR_SERVICE_MONTHS
+ YOUR_INSTALLATION_COST / YOUR_SERVICE_MONTHS
这只是现金投入的期间分摊,不等于税务折旧年限或设备经济寿命。
税务与现金支出应分开
《中华人民共和国企业所得税法实施条例》第五十九条、第六十条和第九十八条规定,按直线法计算的固定资产折旧准予扣除,自投入使用月份的次月起计算;电子设备的最低折旧年限为 3 年。缩短折旧年限时,最低年限不得低于规定年限的 60%;加速折旧可采用双倍余额递减法或年数总和法。
这些规则不能替代具体资产的税务判断,最低折旧年限也不代表实际技术寿命。以上税务内容仅为一般信息,不构成法律意见,使用前应核对现行文本并咨询专业人员。
自购与租用:先看承诺边界
在 AWS 侧,应从Amazon EC2 购买与计费选项确认承诺范围:On-Demand Instances 按秒计费;Savings Plans 是以 USD/小时表示的一致使用量承诺,期限为 1 年或 3 年;Reserved Instance 承诺特定实例类型与 Region,期限也是 1 年或 3 年;Capacity Blocks 用于预留 GPU 实例集群。
初筛时只回答几个问题:用量是否稳定、是否能接受承诺期限、是否必须固定实例类型与 Region、是否需要预留集群。没有回答清楚前,不应把长期承诺费用与短期租用费用直接比较。
租用月成本
= YOUR_COMPUTE_FEE
+ YOUR_STORAGE_FEE
+ YOUR_NETWORK_FEE
+ YOUR_IP_FEE
+ YOUR_OPERATIONS_COST
仅填写实际发生项;报价没有覆盖的项目继续标记待确认。
带宽:同时核算流量和闲置资源
先记录模型权重下载量、请求上传与下载量、跨可用区流量、NAT 可用小时和处理量。流量数字来自自己的监控或账单,费率必须读取供应商当前页面,不能沿用历史报价。
AWS NAT gateway 定价说明列明 NAT gateway 按可用小时及处理数据量计费;如果资源产生大量跨 Availability Zone 流量,该页面建议将其放在 NAT gateway 所在 Availability Zone,以减少数据传输费用。
还要检查实例停机是否真的免除全部费用。AWS EC2 实例状态说明指出,停止的实例不计实例使用费,但 EBS volumes 与 Elastic IP addresses 仍会产生费用;每次从 stopped 转为 running 都会开始新的计费周期,并设有一分钟最低计费。
网络与附加资源月成本
= YOUR_TRANSFER_FEE
+ YOUR_NAT_HOUR_FEE * YOUR_NAT_HOURS
+ YOUR_NAT_DATA_FEE * YOUR_NAT_GB
+ YOUR_STORAGE_FEE
+ YOUR_IP_FEE
运维:把隐性投入变成工时
把环境安装、模型与运行环境升级、监控告警、日志留存、备份恢复、CI/CD、访问控制、故障处置和供应商询价分别记录。内部运维与负责人决策使用不同工时类别,避免重复计入机会成本。
运维月成本
= YOUR_INTERNAL_HOURS * YOUR_FULLY_LOADED_HOURLY_COST
+ YOUR_MONITORING_FEE
+ YOUR_BACKUP_FEE
+ YOUR_INCIDENT_COST
当运行时段、待机时间、模型大小、请求流量或团队投入发生变化时,应重新核算,而不是沿用上一周期总额。
交付前完成一次对账
- 核对两种方案是否使用相同核算周期和计价口径。
- 核对硬件字段是否来自官方规格,金额是否来自有效报价。
- 核对云端购买方式、实例状态、存储、IP 和网络附加项。
- 用监控记录复核流量与工时,用账单复核实际金额。
- 对页面没有说明、报价未覆盖或内部无法确认的字段保留待确认标记。
方案差额
= 租用方案总成本
- 自购方案总成本
不要只凭显存、GPU 型号或单一计费费率作决定。本文核算步骤依据正文所链接的官方文档整理,未进行运行或测量;使用前请对照当前版本复核。