开源模型部署安全检查指南

做本地部署大模型的上线检查时，应先锁定模型来源与许可证，再核对运行环境、容器权限、端点暴露、日志内容和监控入口；任何一项没有明确结论，都先不要对外开放服务。本文以 vLLM 为例，给出安装、启动、验证与加固步骤；其他推理框架和基础设施应按各自当前官方文档复核。

本地部署大模型的上线基线

先为每个模型登记准确标识、获取地址、版本或提交标识、许可证原文、负责人和回滚版本。启动脚本应写入准确模型标识，并记录镜像名称与标签、启动参数、环境变量、可写缓存目录及允许写入这些目录的身份。

许可证因模型而异，部署框架安装成功不代表已获许可。许可证核对只是安全检查提示，不构成法律意见。

按官方方式安装并启动

按 vLLM 快速开始，文档列出的前置环境是 Linux 和 Python 3.10 至 3.13。可以使用以下命令创建虚拟环境并安装：

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto

--torch-backend=auto 会检查已安装的 CUDA driver 版本，并据此选择 PyTorch index。上线前仍应把最终依赖版本及其来源记入清单。

使用文档给出的模型启动命令：

vllm serve Qwen/Qwen2.5-1.5B-Instruct

同一快速开始文档说明，服务默认监听 http://localhost:8000，地址由 --host 和 --port 控制。在反向代理和防火墙规则准备好前，不要贸然扩大监听范围。

把缓存、端点和分布式节点纳入访问控制

按 vLLM 安全指南，缓存目录按私有可信区域处理，内容加载时不做密码学完整性验证，部分受支持格式还能执行任意代码，因此只应允许受控身份写入。--api-key 只保护 /v1、/v2、/inference 和 /cohere 路径前缀；/invocations 未受该密钥保护，并会路由到与 /v1 相同的推理函数；/health、/ping、/version 和 /load 也不受该密钥保护。该指南明确禁止在生产环境设置 VLLM_SERVER_DEV_MODE=1，并要求把 torch.distributed 默认视为不安全边界。它还建议在反向代理上配置端点允许列表，并通过防火墙阻止除 API 服务器监听端口以外的所有入站连接。

不要把“配置了 API key”视为全部端点都已受保护。应根据业务角色分别列出推理端点、管理端点和监控端点，再决定放行来源。

日志和遥测只保留必要内容

按 vLLM 日志配置，可使用以下参数输出结构化 JSON 日志：

--logging-config.formatter json

如果启用 --enable-log-requests，INFO 级别会记录 Request ID、请求参数和 LoRA 请求信息，DEBUG 级别还会记录 Prompt 输入。因此，生产环境不应把可能输出提示词的调试日志当作常规配置。

vLLM 使用统计说明指出，使用统计默认处于启用状态并收集匿名数据。组织政策不允许收集时，可设置 VLLM_NO_USAGE_STATS 或 DO_NOT_TRACK，也可创建 ~/.config/vllm/do_not_track 文件。需要核查本地收集内容时，文档给出的查看命令是：

tail ~/.config/vllm/usage_stats.json

根据 vLLM 生产指标文档，指标通过 OpenAI-compatible API server 的 /metrics 端点暴露。应把该路径纳入反向代理允许列表和监控网络访问检查，而不是让普通业务调用方直接访问。

容器配置需要同步检查用户和缓存路径

vLLM 的 Docker 部署文档给出的容器启动方式如下：

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env "HF_TOKEN=$HF_TOKEN" \
  -p 8000:8000 \
  --ipc=host \
  vllm/vllm-openai:latest \
  --model Qwen/Qwen3-0.6B

该 CUDA 镜像默认以 root 运行，文档也说明它可以使用内置的 vllm 用户。采用非 root 用户时，可写路径应挂载到 /home/vllm，而不是 /root。因此，运行用户、缓存挂载和共享内存设置必须一起审核。

--ipc=host 或 --shm-size 用于让容器访问共享内存；使用前者时，应确认主机共享内存的暴露范围符合你的安全边界。镜像没有包含可选依赖，原因是许可问题；需要这些依赖时，应在自定义 Dockerfile 中补齐，并重新检查其来源与许可证。

上线验证与常见误判

先用快速开始提供的模型列表请求核对服务是否启动：

curl http://localhost:8000/v1/models

这个无凭据请求只适用于初始本机检查，不能代替生产验收。启用 --api-key 后，应依据当前安全文档处理认证配置。

上线前逐项确认：

• 从实际客户端和不可信网络分别检查反向代理允许列表，不能假定 /invocations、管理端点或 /metrics 已受 API key 保护。
• 启动环境中不存在 VLLM_SERVER_DEV_MODE=1，API key 未写入镜像、启动脚本或版本库。
• 生产日志不会以 DEBUG 级别输出 Prompt，使用统计开关符合组织政策。
• 容器使用预期身份，缓存目录只允许受控写入，模型与镜像均有明确回滚版本。

这些步骤仅按正文所链接的官方文档整理，未进行运行或性能测量；使用前应按当前版本复核。

资料来源

• vLLM 快速开始
• vLLM 安全指南
• vLLM 日志配置
• vLLM 使用统计说明
• vLLM 生产指标
• vLLM Docker 部署文档