[AI]windows部署Ollama
·
1、下载&&安装Ollama
下载地址:Download Ollama on Windows

1)下载完成后直接点击exe文件进行安装即可,安装程序不能选择安装目录
2)完成后执行cmd命令,输入ollama命令,如下即表示成功

2、配置模型安装目录
ollama模型默认安装地址在C:\Users\<用户名>\.ollama
因为模型较大,所以我们需要在环境变量内设置模型的安装位置,如下进行设置

变量名:OLLAMA_MODELS
变量值:模型安装位置,如D:\Ollama
注意:重启电脑
注意:重启电脑
注意:重启电脑
3、下载模型测试
上面完成了ollama安装及模型的地址配置,可在ollama官网搜索支持的模型

如我本地GPU是1060 6G,我选择qwen:4b进行测试,在官网搜索qwen进入详情页如下

copy右侧命令在命令行执行,得到如下界面
会自动检测本地是否存在并下载没有的模型,下载完成后为自动运行

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)