一、下载镜像包

由于服务器在docker pull ollama/ollama时会卡住,首先通过wsl下载并导出ollama的docker镜像包

二、安装ollama的服务器部署镜像包

1.上传tar包到指定服务器
2.进入tar包所在文件夹
3.在终端运行以下命令加载镜像

docker load -i ollama053.tar

在这里插入图片描述
4.加载镜像成功后,输入如下命令进行查看

docker images

在这里插入图片描述

三、基于镜像包构建ollama镜像

1.由于服务器本身有非docker版的ollama,因此先用命令停止

sudo systemctl stop ollama

注:如果原服务器已配置低版本的docker版本ollama,请先删除
2.使用docker镜像构建容器

docker run -d --gpus '"device=1"' -v /usr/share/ollama/.ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.5.3

此处-v后面紧跟的路径需要根据实际路径地址来进行映射

无报错信息表示构建成功
在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐