Replicate 公共模型与私有部署选择指南

Replicate 的公共模型按活跃处理时间计费,私有模型通常按全部在线时间计费;本文还比较 Deployment 端点、调用验证与 Cog 自建容器路径。

如果你的目标是在 Replicate 上完成私有化部署,先核对是否需要专用 API 端点、能否接受共享队列,以及预算是否只覆盖活跃处理时间。公共模型、私有模型和 Deployment 的差别集中在资源边界与计费区间;需要自有基础设施时,还要把容器运行纳入方案。沿着这些边界核对后,再决定调用、部署或自建路线。

公共模型:共享队列与计费边界

Replicate 的计费说明写明以下边界:公共模型只收处理请求的活跃时间,设置和空闲时间免费;默认硬件池与其他客户共享,请求进入共享队列,可能出现冷启动或扩缩容限制;多数私有模型使用专用硬件且不共享队列,但按启动、空闲、活跃的全部在线时间收费,Deployment 同样如此,快速启动微调无论公开或私有都只收活跃时间;模型所用硬件列在模型页的 Run time and cost 下。

还要区分 Official model:Official models 文档说明它们保持常驻,无需担心冷启动,并按输出图像数、输出视频秒数、输入或输出 token 等指标计价,不能把这组规则套给所有公共模型。

做预算时,从当前模型页、自己的账单或报价中填入实际费率,只累计该模型适用的项目:

按时间计费项 = 活跃处理时长 × YOUR_RATE

Official model = Σ(实际计费指标数量 × 对应 YOUR_METRIC_RATE)

什么时候选择私有化部署

当你要专用私有 API 端点并控制基础设施时,Replicate 的Deployment 文档说明,Deployment 会随需求自动扩缩容;min_instances 可保留预热实例,max_instances 可限制最大实例数并为最大支出设置上限。

沿用前述全部在线时间边界,私有模型或 Deployment 可按实例分别估算:

单实例估算
=(启动时长 + 空闲时长 + 活跃时长)× YOUR_RATE

总估算
= 各实例估算之和

创建时固定哪些字段

按创建 Deployment 的说明,向 /v1/deployments 发送 POST 请求,包含 name、model、version、hardware、min_instances 和 max_instances;版本在创建后可以随时更改。

POST /v1/deployments
{
  "name": "YOUR_VALUE",
  "model": "YOUR_VALUE",
  "version": "YOUR_VALUE",
  "hardware": "YOUR_VALUE",
  "min_instances": YOUR_VALUE,
  "max_instances": YOUR_VALUE
}

提交前把硬件标识和实例上下限与预算表放在一起检查,避免只填写启动成本而漏掉持续在线时间。

把模型放回自有基础设施

Cog 的官方 README说明,它能把机器学习模型打包为标准容器,部署到自有基础设施或 Replicate;运行前需要 Docker,使用 Docker Engine 时还要安装 Buildx,Cog 不原生支持 Windows,Windows 11 应通过 WSL 2 运行;macOS 的文档安装命令是:

brew install replicate/tap/cog

如果容器需要 GPU,先确认 Docker 的 GPU 运行条件;直接运行 Cog 构建的镜像时,还要把 GPU 参数纳入启动配置。

调用后如何确认成功

Replicate 的创建 prediction 说明说明,异步是默认模式,会立即返回 prediction ID 和未完成对象;Prefer: wait=5 可等待 5 秒,超时则返回状态为 starting 或 processing 的对象。此时对初始响应 urls.get 或 Location 给出的 URL 发送 GET,文档示例等待 1–2 秒再查,直到状态为 succeeded 或 failed。

Prefer: wait=5

常见出错点与提交清单

如果你能接受共享队列,并只按活跃处理时间安排预算,可以先核对公共模型;需要专用资源时,要把私有模型的全部在线时间加入计算;还需要专用端点和基础设施控制时,再核对 Deployment。若运行环境要放在自己控制的机器或服务器上,则把 Docker、Buildx、WSL 2 等前置条件写进方案。

最终清单应同时记录模型类别、计费指标、队列模式、冷启动容忍度、API 端点要求、实例上下限和容器运维责任。当前模型页、账单或报价没有说明的费用应列为待确认项,不要按旧记录自行推算。

这些步骤依据正文所链接的官方文档整理,未做运行或测量;使用前应按当前版本复核。

资料来源