使用Ollama部署本地大模型
帮助读者快速部署自己的本地大模型,并在开发过程中进行模型调用,以及在开发工具中实现AI对话
相信很多人都想将大模型部署在自己的本地,但目前的教程要么细节不足,要么内容繁多。
今天这篇文章将一步一步地教大家快速部署本地大模型,纯干货!
1、下载ollama
这里是ollama的官网 https://ollama.com/
进去之后点击中间的download
随后进入如下页面,本人因为是Windows系统,因此选择Download for Windows,大家可以根据自己的情况来下载

2、下载大模型
进入ollama页面后点击左上角的Models页面

进入Models页面后可以选择自己想要下载的大模型

因为本人下载的qwen3,因此就以这个为例。
这里有很多不同大小的模型,大家根据自己的需求和电脑性能来选择。

以qwen3:latest为例,点击选择的模型后,复制右上角框内的内容

使用win+R 输入cmd 打开一个cmd命令窗口,输入复制的内容,即可下载大模型
(小提示:当你下着下着发现下载速度下降到200k,甚至20k的时候,可以关掉cmd ,重新运行一次命令,会回到正常的下载速度,并且会接着之前下载的继续下载)

下载完后出现如下界面(因为本人忘记截图了,于是使用了其他博主的图片)即为部署成功
你可以在这里输入你想问的问题,



如果想要退出则可以输入 /bye 即退出大模型对话窗口

要检查下载的模型信息,可以输入 ollama list

3、在开发工具里使用大模型(以pycharm为例)
import ollama 即可
安装ollama的命令是 在终端输入 pip install ollama 如果不成功可以使用阿里云的镜像源
在终端输入 pip install ollama -i https://mirrors.aliyun.com/pypi/simple/

4、在开发工具里使用大模型会话(pycharm为例)
找到文件下的设置

找到插件 输入proxyAI 进行安装

安装成功后 找到设置里面的工具部分,找到ProxyAI->Providers->Ollama(Local),点击Refresh Models 即可出现我们下载好的模型 随后点击确定

回到主界面,在右边的侧边栏上可以看到ProxyAI的样式 ,点击后即可进行会话。

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)