本地部署Ollama+LobeChat,搭建个性化的离线ChatGPT
1.环境准备
- 1.Windows操作系统。
- 2.在Windows操作系统中安装了Docker软件。
在Windows操作系统安装Docker软件可以直接搜到很多教程。 - 注意:这是在Windows操作系统下,在LobeChat中使用本地Ollama模型的教程,如果要在Windows或者Linux下,用LobeChat使用OpenAI、DeepSeek、Qwen下的模型,可以参考这篇博客:本地部署LobeChat,搭建个性化的ChatGPT
2.本地安装Ollama
Ollama 是一个用于本地运行和管理大语言模型的工具,支持快速部署、推理和微调模型,方便开发者进行离线AI应用开发。
首先去Ollama官网下载这个软件(这个下载可能需要魔法上网),选择Windows操作系统版本:https://ollama.com/
下载后进行安装,安装完毕后启动软件(电脑右下角有Ollama那个图标就是已经启动了),然后可以在cmd中使用Ollama,如图所示:
我们首先在Ollama中运行一个模型,具体步骤为:从Ollama官网搜索指定模型,复制相关命令到cmd中运行,如下所示:
第一步:从Ollama官网中搜索模型(可以根据自己喜好搜索想要的模型)
第二步:复制命令到cmd中(这个版本也是根据自己喜好选择,不过一般越大的模型性能越好)
第三步:在cmd中运行复制的命令,如果本地Ollama下载过这个模型,那么这个命令直接启动这个模型;如果本地Ollama没有下载过这个模型,那么这个命令会先下载这个模型,然后下载完毕直接启动。
我是已经下载过这个模型了,所以直接启动了,如下:
由于 Ollama 默认参数在启动时设置了仅本地访问,所以跨域访问以及端口监听需要进行额外的环境变量设置OLLAMA_HOST,我们只需要在环境变量中加入即可:
3.在Docker中部署LobeChat
上面已经在Ollama中运行了相应的模型,下面我们在Docker中部署LobeChat,并且让LobeChat和Ollama服务连接上,从而来使用Ollama中的模型进行对话。
在Docker中部署LobeChat:
Windows系统直接双击打开Docker Desktop应用即可,然后点击Terminal进行使用:
目前已经在终端窗口了,输入下面的命令下载lobechat镜像并基于这个镜像创建一个docker容器,这个下载可能需要魔法上网(电脑上之前没有下载过 lobehub/lobe-chat这个镜像,需要先下载,下载完成后基于这个镜像创建一个容器,容器名称为lobe-chat1,这个容器名称可以自定义):
docker run -d -p 3210:3210 \
-e OLLAMA_PROXY_URL=http://host.docker.internal:11434 \
-e ACCESS_CODE=lobe888 \
--name lobe-chat1 \
lobehub/lobe-chat
参数解释(使用下面的解释修改上面对应位置的值):
OLLAMA_PROXY_URL:这个一般不用修改,http://host.docker.internal:11434就是说明使用本机的Ollama服务,如果要使用远程主机的Ollama服务,需要把host.docker.internal替换为远程服务器IP。
ACCESS_CODE:指定在使用这个服务的时候需要输入的密码。
等待1分钟左右,容器创建成功并且启动了,输入docker ps查看正在运行的容器,如下所示:
接下来在浏览器中输入:localhost:3210,即可进行使用,如下所示(选择模型使用的时候只能选择Ollama下的进行使用,并且必须选择自己在ollama上启动的模型):
如果上面这个图的Ollama下没有自己在Ollama中启动的模型(有就直接点击使用就可以),需要手动添加:
点击右上角设置:
在Ollama下输入自己启动的模型名称,点击回车,回到聊天界面就可以选择我们部署的模型了。
注意:这个模型名称要和自己部署的一样,可以先从cmd中复制过来,如下图选中的部分:
接下来就可以和模型对话了!
4.注意事项
- 1.上面的容器启动后可以在localhost:3210中使用该服务,使用命令
docker stop lobe-chat1停止服务后,再次启动使用docker start lobe-chat1命令即可,不用再对那些变量进行赋值了,这个容器已经记下来了。 - 2.上面的命令在创建容器并启动容器的时候使用的名称为lobe-chat1,但是由于在自己的docker上应该不能有重名的容器,如果要运行多次命令进行测试,注意换个名称。
- 3.上面的命令在创建容器并启动容器的时候都使用的3210端口,如果要运行多次命令进行测试,要先关掉使用3210端口的服务,或者换一个端口号使用。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)