AI一体机模型服务安装与验收
本文说明如何在预装 Linux 的 AI一体机上用官方脚本安装并手动启动 Ollama,再完成命令行调用与日志验收。
完成本文后,你会在预装 Linux 的机器上得到可手动启动的 Ollama 服务,并能核对版本、运行模型和查看日志。开始前准备 Linux shell、可执行安装命令的权限和下载模型所需的网络访问;本文的 AI一体机验收口径只覆盖手动服务、命令行调用与日志可读性,不等同于开机自启、外部 API 网关或性能结论。
准备条件:AI一体机的系统与安装路径
本文采用 Linux 官方脚本安装路线,不把手工下载的架构包与脚本安装混用。若机器使用 NVIDIA GPU,先检查驱动:按 Ollama 的 Linux 文档,nvidia-smi 应打印 GPU 详情;同一文档把 Linux 安装定义为将官方 install.sh 管道给 sh,手动启动服务后可在另一终端用 ollama -v 验证。
执行期间分别保留服务终端和客户端终端:前者运行 ollama serve,后者执行检查与模型操作。这样可以区分服务启动信息和客户端返回;本文不要求创建 systemd unit,也不把手动启动视为开机自启验收。
操作步骤
服务启动和模型命令采用 Ollama 的 CLI 文档 中的写法,按以下顺序执行。
- 使用 NVIDIA GPU 时,先检查驱动。
bash
nvidia-smi
若命令没有打印 GPU 详情,应先处理驱动问题,不要继续进行 GPU 场景的模型验收。
- 驱动检查没有阻碍安装后,运行官方安装脚本。
bash
curl -fsSL https://ollama.com/install.sh | sh
该命令把官方 Linux 安装脚本传递给 sh。
- 安装结束后,在独立终端启动服务。
bash
ollama serve
该命令启动 Ollama server,执行期间应保留这个终端。
- 在客户端终端下载文档使用的模型。
bash
ollama pull gemma4
该命令下载 gemma4,供后续本地运行。
- 下载完成后启动模型。
bash
ollama run gemma4
该命令运行 gemma4,作为命令行模型调用的验收入口。
怎么确认成功
命令行接口验收要区分服务进程、模型状态和日志位置,不能只看到安装命令结束就判定服务可用。
服务进程
在客户端终端运行:
ollama -v
该命令是 Linux 文档给出的运行检查,正常返回后再继续检查模型状态;官方文档没有规定一个应固定的版本字符串,本文也不编造预期输出。
模型状态
先查看本地模型:
ollama ls
该命令列出本地模型,列表中应能找到刚才下载的 gemma4。
再查看正在运行的模型:
ollama ps
该命令只列出正在运行的模型,因此它与 ollama ls 的本地模型清单用途不同。
日志
手动执行 ollama serve 时,日志会出现在运行该命令的终端;这是 Ollama 的故障排查文档 给出的日志位置。
如果机器实际通过 systemd 托管 Ollama,而不是采用本文的手动启动模式,可运行:
journalctl -u ollama --no-pager --follow --pager-end
该命令用于持续读取 ollama unit 的日志;手动模式下应直接检查运行 ollama serve 的终端。
常见出错点
ollama -v 无法通过
先回到运行 ollama serve 的终端,确认服务命令仍在运行,并查看该终端中的启动信息。手动模式的日志就在这里;服务检查恢复前,不要把后续模型命令的错误混在一起判断。
NVIDIA GPU 没有被发现
先重新运行 nvidia-smi,确认它能打印 GPU 详情。如果驱动检查正常但 Ollama 启动日志仍提示发现问题,应继续检查启动日志。故障排查文档说明,Ollama 启动时会盘点 GPU,以判断兼容性和可用 VRAM,发现过程可能失败;官方文档同时指出,通常运行最新 driver 可获得更好的结果。
/tmp 使用 noexec 挂载
前述故障排查文档给出的处理方式,是通过 OLLAMA_TMPDIR 指向其他可写目录,并确保 ollama 运行用户能够写入;文档给出的示例值如下。
OLLAMA_TMPDIR=/usr/share/ollama/
这个配置用于避开不可执行的 /tmp,不要把临时目录问题误判为模型本身的问题。
ollama ps 没有运行中的模型
Ollama 的 FAQ 说明,模型默认会在内存中保留 5 分钟,之后卸载。因此,距离上次运行超过该间隔后,ollama ps 没有输出并不代表模型已被删除,可用 ollama ls 检查本地模型;需要继续验收时,重新运行 ollama run gemma4。
本文步骤按正文链接的官方文档整理,未在本站机器上运行或测量;执行前请按当前版本核对命令、模型标签和服务行为。