AI Deploy大模型本地部署帮你部署

RunPod 网络架构与连接方式

区分 RunPod 的公网 HTTP 代理、TCP 公网 IP 与同账号 Pod 私有互联，给出网络卷和 S3 文件访问步骤，并列出端口映射、超时与重启后的连接验证清单。

规划GPU服务器租用方案时，先把公网服务入口、Pod 间私有调用和数据存储分开设计。HTTP 与 TCP 不能混成同一条连接路径；固定带宽、私网地址、认证和故障转移也要分别核对。下面直接给出入口配置、数据路径和验收方法。

先把入口、节点和数据路径分开

先梳理实际调用关系：公网客户端到 Pod、Pod 到 Pod，以及 Pod 或本地工具到网络卷。为每条路径记录入口、端口、认证方式、数据位置和重启后的替代路径。

  • 公网入口：确认应用使用 HTTP 还是 TCP，并确定内部端口。
  • 节点入口：确认调用方是否需要 Pod 私有网络。
  • 数据入口：区分临时文件、停止后仍需保留的数据和应独立备份的数据。

不要把模型下载、在线推理和长期归档压在同一种存储上，也不要把“服务能启动”当成网络已经验收。

让 GPU服务器租用的 HTTP 与 TCP 服务可用

RunPod 的端口暴露说明定义了两条公网路径。HTTP 服务应绑定 0.0.0.0，把逗号分隔的端口写入 Expose HTTP Ports (Max 10)；代理经 Cloudflare 转发，服务未在 100 秒内响应会得到 524，且代理入口公开可达，认证必须由应用实现。TCP 服务使用公网 IP，外部端口可以不同于内部端口，Pod 重置后映射会变化；Community Cloud 的公网 IP 在迁移或重启时可能变化，Secure Cloud 则应保持稳定，写入高于 70000 的 TCP 端口可申请对称映射。

HTTP 代理地址模板为：

https://YOUR_VALUE-YOUR_VALUE.proxy.runpod.net

两个 YOUR_VALUE 依次替换为实际 Pod ID 和内部端口。验证时，从目标客户端请求一个已知路由：无法连接先检查监听地址和暴露端口；出现超时状态时，检查应用是否在前述时限内返回；返回内容后，还要确认未登录请求会被拒绝。

TCP 连接应记录当前公网 IP 和外部端口，不要把某次启动的映射永久写死。Pod 重置后重新核对外部端口，再让客户端更新连接目标。

Pod 私有互联适合什么场景

RunPod 的 Global networking 文档为每个 Pod 提供私有 IP，同账号 Pod 可通过内部主机名访问：

YOUR_VALUE.runpod.internal

这里的 YOUR_VALUE 是目标 Pod ID。该网络在 Pod 间为 100 Mbps，目前仅支持 NVIDIA GPU Pod 和文档列出的数据中心。验收时，应从另一 Pod 发起真实连接，并核对双方是否同账号、GPU 类型是否符合要求、数据中心是否在支持范围内。

Global networking 解决的是 Pod 之间的私有访问，不应直接当作公网服务入口，也不应把 Pod 间链路指标扩大解释为客户侧专线能力。

网络卷和文件连接的三条路径

RunPod 的存储类型说明区分了不同磁盘的持久性。container disk 在 Pod 启动时创建，停止时清除；volume disk 的 /workspace 数据可跨停止和重启，但删除 Pod 时也会删除；network volume 独立于 Pod，删除 Pod 后仍可保留数据。只有 volume disk 可以加密，container disk 与 network volume 不可以。RunPod 还建议把关键数据备份到本地或专用云存储。

RunPod 的 Network volumes 文档说明，Pod 使用 network volume 时仅限 Secure Cloud。创建时需要选择数据中心、填写名称并指定 GB 容量；network volume 必须在 Pod 创建时挂载，不能在之后卸载，连接后会替代 /workspace 的 volume disk。Serverless worker 中的挂载路径则是 /runpod-volume。

把一个 network volume 关联到 Serverless endpoint，会把 worker 限定在该卷所在的数据中心，可能缩小 GPU 可用范围并减少故障转移选择。多个 worker 同时写入同一个卷还可能造成数据损坏，因此并发控制应放在应用逻辑中。

RunPod 的S3-compatible API 说明支持在不启动 Pod 的情况下管理 network volume，但需要单独的 S3 API key，不能使用普通 Runpod API key 代替。同一文件在 Pod、Serverless worker 和 S3 API 中分别使用以下路径：

/workspace/YOUR_VALUE
/runpod-volume/YOUR_VALUE
s3://YOUR_VALUE/YOUR_VALUE

列目录时，按官方参数传入数据中心和卷标识：

aws s3 ls --region YOUR_VALUE --endpoint-url https://s3api-YOUR_VALUE.runpod.io/ s3://YOUR_VALUE/YOUR_VALUE

endpoint 相关的数据中心值必须一致，最后两个值分别是 network volume ID 和远程目录。

固定带宽、专线和费用不要混为一谈

上述 RunPod 页面没有给出固定带宽专线、客户侧到 Pod 的专线带宽、带宽 SLA 或退款口径。这不等于可以自行认定平台当前一定不提供，而应以最新产品文档和书面报价为准。采购前应逐项确认：

  • 带宽口径：持续值、峰值、流向、计量方式及端口映射变化。
  • 私网范围：对端地址、认证、路由范围和故障域。
  • 服务与账单：停止后的计费项、API 或存储费用、SLA、退款和支持响应。
  • 数据边界：删除条件、备份位置和恢复验证。

上线前的连接验收

  • HTTP：检查外部请求、应用认证、监听地址和暴露端口。
  • TCP：保存当前公网 IP 与外部端口，并在 Pod 重置后重新核对。
  • Pod 间访问：从另一 Pod 使用内部主机名，检查身份、GPU 类型和数据中心。
  • 数据访问：分别从 Pod、Serverless worker 和 S3 API 检查同一文件，同时验证外部备份可读。

本文步骤仅依据正文所链接的官方文档整理，使用前请对照当前版本复核。

资料来源