大模型本地部署成本核算方法
按硬件购置、云端 GPU、存储、能耗与运维建立大模型本地部署预算，并用 vLLM 显存预留规则及范围二口径核对资源假设，形成可复核的月度成本与变更费用表。
大模型本地部署成本不能只算 GPU 租金或显卡售价；应把一次性硬件、算力租赁、存储、网络、能耗、运维和方案变更列入同一张表，再按实际账单或报价逐项核算。用 vLLM 时，还要把模型并行、上下文长度、并发序列和 KV cache 作为显存预算变量，而不是先定配置再付款；对应约束见 vLLM 的显存说明。
先分开一次性支出与月度支出
建立三张明细表，避免把采购、账单和会计处理混在一起：
- 自购表：记录 GPU、主机其他部件、存储、网络设备、安装交付及停机期间的损失。
- 租赁表：逐项抄录供应商当前页面或报价中实际列出的 GPU、存储、流量、公网地址、快照、软件、支持、税费和其他费用。
- 运营表：记录本地电力与散热、监控、备份、维护，以及人员处理故障和版本变更的费用。
成本稳定时可使用下面的核算式；YOUR_VALUE 填评估期月数，用量变化明显时，应按各周期分别计算。
评估期总成本 = 一次性支出 + 月度运营成本 × YOUR_VALUE
报价中没有出现的项目应标为“待确认”，不能直接视为免费。
用官方规格建立硬件筛选表
显存决定容量基线，功耗和板卡形态则约束整机预算。先记录官方参数，再补齐 CPU、RAM、存储、网络、散热和安装费用：
| 选项 | 官方显存 | 官方功耗信息 | 板卡形态 |
|---|---|---|---|
| GeForce RTX 4090 Founders Edition | 24 GB GDDR6X | Total Graphics Power 450 W；Required System Power 850 W | 3-Slot；304 mm × 137 mm |
| NVIDIA L40S | 48 GB GDDR6 with ECC | Max Power Consumption 350 W | dual slot；passive；16-pin |
这些参数不是整机能耗、服务吞吐能力或最终报价。采购询价和租赁询价应使用相同的 GPU 型号、数量、显存配置及服务区域口径，否则两张表不能直接比较。
把 vLLM 设置转换成显存约束
vLLM 的显存说明指出，tensor_parallel_size 可以把模型拆到多张 GPU，但每个进程仍会读取完整检查点，加载时间会随并行规模增加。设备选择应使用文档指定的环境变量：
export CUDA_VISIBLE_DEVICES=YOUR_VALUE
降低 max_model_len 和 max_num_seqs 可以减少显存使用；CUDA graphs 默认启用并占用额外显存，enforce_eager 可完全关闭 graph capture。多模态模型还应把 mm_processor_cache_gb 纳入主机 RAM 预算，该文档列出的默认值为 4 GiB。
在线服务参数应交给 vllm serve。下面只展示已核对的参数结构，所有 YOUR_VALUE 都替换为实际模型标识或配置值：
vllm serve YOUR_VALUE \
--gpu-memory-utilization YOUR_VALUE \
--max-model-len YOUR_VALUE \
--max-num-seqs YOUR_VALUE \
--max-num-batched-tokens YOUR_VALUE
截至 2026-10-01 核对的 vllm serve CLI Reference列明，--gpu-memory-utilization 默认值为 0.92，并且按实例生效。--max-model-len 覆盖提示词与输出；未设置时读取模型配置，设为 -1 或 auto 时选择适配 GPU 内存的最大长度。--max-num-seqs 和 --max-num-batched-tokens 分别限制单次迭代处理的序列数和 token 数。若设置 --kv-cache-memory-bytes，它会覆盖 gpu_memory_utilization 的作用，不能把两组参数混在同一套预算假设中。
算力租赁：把报价拆成月度成本
向供应商询价时，优先复制其当前页面和报价中的实际计费单位，再确认以下内容：
- GPU 型号、数量、区域、运行时段和对应单价；
- 存储容量、快照、备份、流量、公网地址及软件费用；
- 启停、弹性调度或空闲状态是否计费，以及页面采用什么计费单位；
- 报价有效期、起止条件、最低使用期限、退出与退款规则、SLA 和税费。
只有供应商按 GPU 小时报价时，才使用下面的公式；否则应保留其原始计费单位，不自行换算。
月度总费用 = GPU用量费 + 存储费 + 流量费 + 其他实际列出的月度费用
评估期总成本 = 一次性支出 + 月度总费用 × YOUR_VALUE
有效GPU小时成本 = 评估期总成本 ÷ 账单计费GPU小时数
怎样检查预算已经闭环
先为持续运行、间歇运行和峰值并发分别建立场景，避免用同一使用强度推算所有月份。每行成本都应标明数量、单位、单价、计费周期、来源页面或报价日期；未知项保留为待确认。
配置表还应记录模型标识、可见 GPU、并行设置、上下文限制、并发参数、存储和网络需求。服务启动后，按当前版本 vLLM API 文档列出的健康检查路径与请求示例验收；不同版本的 endpoint 可能变化，不应把未经核对的 URL 写进运维脚本。
能源、碳与折旧怎样入表
GHG Protocol 的 Scope 2 指南将外购电力、蒸汽、热量或制冷产生的间接排放纳入范围二。location-based 方法采用消费地点电网的平均排放强度，market-based 方法采用合同工具的排放因子；存在合同工具的市场需要分别报告并标注两种方法。记录时应把能源用量与排放结果分开，不能在没有内部碳价依据时直接把排放数字计入现金成本。
《中华人民共和国企业所得税法实施条例》写明，按直线法计算的固定资产折旧准予扣除，从投入使用月份的次月起计算；预计净残值由企业合理确定，一经确定不得变更。电子设备的最低折旧年限为 3 年；缩短折旧年限时，最低年限不得低于规定年限的 60%，加速折旧可采用双倍余额递减法或年数总和法。具体适用条件及现行文本需要另行核对，本段仅是一般信息，不构成法律意见。
常见出错点
- 只登记 GPU 数量和总显存，没有记录上下文、并发、缓存和模型加载约束。
- 把
auto当作固定成本基线，却没有确认它可能选择适配当前显存的最大长度。 - 把租赁报价中未列出的存储、流量或停止运行费用当作零。
- 一次性采购支出、月度账单和折旧金额混在同一列，导致无法比较不同方案。
- 服务配置已经变化，却仍沿用旧报价或旧容量表。
这些步骤依据正文所链接的官方文档整理，未运行或测量；使用前应按当前版本复核。