AI一体机模型服务安装与验收

本文说明如何在预装 Linux 的 AI一体机上用官方脚本安装并手动启动 Ollama,再完成命令行调用与日志验收。

完成本文后,你会在预装 Linux 的机器上得到可手动启动的 Ollama 服务,并能核对版本、运行模型和查看日志。开始前准备 Linux shell、可执行安装命令的权限和下载模型所需的网络访问;本文的 AI一体机验收口径只覆盖手动服务、命令行调用与日志可读性,不等同于开机自启、外部 API 网关或性能结论。

准备条件:AI一体机的系统与安装路径

本文采用 Linux 官方脚本安装路线,不把手工下载的架构包与脚本安装混用。若机器使用 NVIDIA GPU,先检查驱动:按 Ollama 的 Linux 文档,nvidia-smi 应打印 GPU 详情;同一文档把 Linux 安装定义为将官方 install.sh 管道给 sh,手动启动服务后可在另一终端用 ollama -v 验证。

执行期间分别保留服务终端和客户端终端:前者运行 ollama serve,后者执行检查与模型操作。这样可以区分服务启动信息和客户端返回;本文不要求创建 systemd unit,也不把手动启动视为开机自启验收。

操作步骤

服务启动和模型命令采用 Ollama 的 CLI 文档 中的写法,按以下顺序执行。

  1. 使用 NVIDIA GPU 时,先检查驱动。

bash nvidia-smi

若命令没有打印 GPU 详情,应先处理驱动问题,不要继续进行 GPU 场景的模型验收。

  1. 驱动检查没有阻碍安装后,运行官方安装脚本。

bash curl -fsSL https://ollama.com/install.sh | sh

该命令把官方 Linux 安装脚本传递给 sh。

  1. 安装结束后,在独立终端启动服务。

bash ollama serve

该命令启动 Ollama server,执行期间应保留这个终端。

  1. 在客户端终端下载文档使用的模型。

bash ollama pull gemma4

该命令下载 gemma4,供后续本地运行。

  1. 下载完成后启动模型。

bash ollama run gemma4

该命令运行 gemma4,作为命令行模型调用的验收入口。

怎么确认成功

命令行接口验收要区分服务进程、模型状态和日志位置,不能只看到安装命令结束就判定服务可用。

服务进程

在客户端终端运行:

ollama -v

该命令是 Linux 文档给出的运行检查,正常返回后再继续检查模型状态;官方文档没有规定一个应固定的版本字符串,本文也不编造预期输出。

模型状态

先查看本地模型:

ollama ls

该命令列出本地模型,列表中应能找到刚才下载的 gemma4。

再查看正在运行的模型:

ollama ps

该命令只列出正在运行的模型,因此它与 ollama ls 的本地模型清单用途不同。

日志

手动执行 ollama serve 时,日志会出现在运行该命令的终端;这是 Ollama 的故障排查文档 给出的日志位置。

如果机器实际通过 systemd 托管 Ollama,而不是采用本文的手动启动模式,可运行:

journalctl -u ollama --no-pager --follow --pager-end

该命令用于持续读取 ollama unit 的日志;手动模式下应直接检查运行 ollama serve 的终端。

常见出错点

ollama -v 无法通过

先回到运行 ollama serve 的终端,确认服务命令仍在运行,并查看该终端中的启动信息。手动模式的日志就在这里;服务检查恢复前,不要把后续模型命令的错误混在一起判断。

NVIDIA GPU 没有被发现

先重新运行 nvidia-smi,确认它能打印 GPU 详情。如果驱动检查正常但 Ollama 启动日志仍提示发现问题,应继续检查启动日志。故障排查文档说明,Ollama 启动时会盘点 GPU,以判断兼容性和可用 VRAM,发现过程可能失败;官方文档同时指出,通常运行最新 driver 可获得更好的结果。

/tmp 使用 noexec 挂载

前述故障排查文档给出的处理方式,是通过 OLLAMA_TMPDIR 指向其他可写目录,并确保 ollama 运行用户能够写入;文档给出的示例值如下。

OLLAMA_TMPDIR=/usr/share/ollama/

这个配置用于避开不可执行的 /tmp,不要把临时目录问题误判为模型本身的问题。

ollama ps 没有运行中的模型

Ollama 的 FAQ 说明,模型默认会在内存中保留 5 分钟,之后卸载。因此,距离上次运行超过该间隔后,ollama ps 没有输出并不代表模型已被删除,可用 ollama ls 检查本地模型;需要继续验收时,重新运行 ollama run gemma4。

本文步骤按正文链接的官方文档整理,未在本站机器上运行或测量;执行前请按当前版本核对命令、模型标签和服务行为。

资料来源