【DeepSeek保姆级教程】本地部署DeepSeek-R1大模型,Linux本地部署DeepSeek+Ollama+RAGFlow,畅玩DeepSeek
Linux配置:
CPU >= 4 核
RAM >= 16 GB
Disk >= 50 GB
Docker >= 24.0.0 & Docker Compose >= v2.26.1
下载Ollama:Ollama 是一个可以在本地部署和管理开源大语言模型的框架
下载地址:https://ollama.com/download

按需下载,这里我们以linux版本进行操作,复制安装语句到linux服务器上安装

安装完成,可以输入ollama查看是否安装成功

安装完ollama,进行修改配置文件,目的是让外部能够访问ollama,配置文件的路径/etc/systemd/system/ollama.service,输入vim /etc/systemd/system/ollama.service

在Environment参数中,添加OLLAMA_HOST=0.0.0.0:11434,保存关闭
然后更新配置:systemctl daemon-reload

重启:systemctl restart ollama
安装DeepSeek-r1模型:ollama run deepseek-r1:7b,安装完之后,即可进行问答操作,也可以在ollama中查看模型,语句ollama list


下载RAGFlow:RAGFlow 基于大语言AI模型的企业级智能问答知识库
RAGFlow的github地址:https://github.com/infiniflow/ragflow/blob/main/README_zh.md
先克隆RAGFlow项目到本地

下完完项目,目录下会有个ragflow文件,进入ragflow/docker,修改.env中ragflow版本为全量版本,默认是RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim版本,我们注释掉,选择全量版本进行安装

再使用docker进行安装ragflow
cd ragflow
docker compose -f docker/docker-compose.yml up -d

如果你遇到 Docker 镜像拉不下来的问题,可以在 docker/.env 文件内根据变量 RAGFLOW_IMAGE 的注释提示选择华为云或者阿里云的相应镜像。
华为云镜像名:swr.cn-north-4.myhuaweicloud.com/infiniflow/ragflow
阿里云镜像名:registry.cn-hangzhou.aliyuncs.com/infiniflow/ragflow
服务器启动成功后再次确认服务器状态:
docker logs -f ragflow-server
出现以下界面提示说明服务器启动成功:

在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow(http://你的IP地址)


添加模型后,就可以进行问答了,也可以添加个人知识库进行训练问答

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)