由于我的目标主机为离线主机,无法进行模型下载,因此需要首先通过一个有网络的主机下载模型,然后进行模型迁移。

一、模型下载

在有网络的主机下载模型

ollama run glm4:9b

下载模型后在模型存储路径对模型进行打包,我的模型存储路径为默认路径,也就是/usr/share/ollama/.ollama/models

二、模型打包

在终端输入如下命令,对文件进行打包,打包后获得blobs.tar和glm4.tar

cd /usr/share/ollama/.ollama/models
tar -cvf blobs.tar ./blobs
cd /usr/share/ollama/.ollama/models/manifests/registry.ollama.ai/library
tar -cvf glm4.tar ./glm4

三、模型迁移

将tar上传至目标主机目录,并进行解压

tar -xvf blobs.tar 
tar -xvf glm4.tar 

将模型文件以及配置文件移动到指定目录下

sudo cp -r ./blobs/* /usr/share/ollama/.ollama/models/blobs/
sudo cp -r ./glm4 /usr/share/ollama/.ollama/models/manifests/registry.ollama.ai/library/

完成上述操作后,进行查看模型是否迁移成功

ollama list

在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐