1、下载安装包

前往github上下载最新的ollama Linux安装包

2、解压安装包

sudo tar -xzf ollama-linux-amd64.tgz

3、创建ollama服务文件

vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
#对应系统自己的用户
User=ollama
#对应系统自己的用户
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#代表让ollama能识别到第几张显卡
Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
#这几张卡均衡使用
Environment="OLLAMA_SCHED_SPREAD=1" 
#模型一直加载, 不自动卸载
Environment="OLLAMA_KEEP_ALIVE=-1" 
#配置远程访问
Environment="OLLAMA_HOST=0.0.0.0:11380"
#配置跨域请求
Environment="OLLAMA_ORIGINS=*"
#配置OLLAMA的模型存放路径，默认路径是/usr/share/ollama/.ollama/models/
Environment="OLLAMA_MODELS=/data/soft/ollama/.ollama/models"
[Install]
WantedBy=default.target

4、赋予文件夹权限

sudo chown -R ollama:ollama /data/soft/ollama/

5、执行命令启动

sudo systemctl daemon-reload
sudo systemctl start ollama

6、创建全局环境变量

vi /etc/profile.d/ollama.sh

#ollama.sh内容如下
PATH=$PATH:/data/ollama/bin
export PATH

#刷新
source /etc/profile

#验证是否成功
ollama ls

7、事项注意

执行ollama 命令，如果修改过端口，必须带入端口，如下

OLLAMA_HOST=127.0.0.1:11434 ollama list