部署属于自己的AI大模型

AI大模型,大家都不陌生吧,那么如何拥有一个属于自己的AI大模型呢,现在跟着我来,开始部署属于我们自己的AI大模型吧

下载

下载ollama模型:

https://ollama.com/download

安装

找到下载文件所在位置,双击安装
然后开始部署
第一步:win + R 输入:cmd 打开命令页面:
第二步:输入;Ollama run llama3
运行介绍,就可以开始对话了!
退出页面:ctrl + d 或者 在命令页面输入bye
在这里插入图片描述如果你想要有跟网页上的那种AI模型,请继续跟我往下走:

其他模型

如果你想要部署其他模型,可以回到ollama官网,点击models.
其他模型跟上面的模型,部署方式一样.
下载完成后,命令行输入ollama run XXX

部署open wed ui

首先要下载去官网下载docker

https://www.docker.com/
安装完成之后,输入这一行命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

输入之后等待的时间可能会有点长,因为要远程下载1G的资源,耐心等待一下

完成

完成之后,会自动弹出页面,如果没有,请操作如下:
在这里插入图片描述

进入docker

进入dockers里面,打开跳转连接3000:8080
在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐