Linux配置:

CPU >= 4 核
RAM >= 16 GB
Disk >= 50 GB
Docker >= 24.0.0 & Docker Compose >= v2.26.1

下载Ollama:Ollama 是一个可以在本地部署和管理开源大语言模型的框架

下载地址:https://ollama.com/download
按需下载,这里我们以linux版本进行操作
按需下载,这里我们以linux版本进行操作,复制安装语句到linux服务器上安装
在这里插入图片描述
安装完成,可以输入ollama查看是否安装成功
在这里插入图片描述
安装完ollama,进行修改配置文件,目的是让外部能够访问ollama,配置文件的路径/etc/systemd/system/ollama.service,输入vim /etc/systemd/system/ollama.service
在这里插入图片描述
在Environment参数中,添加OLLAMA_HOST=0.0.0.0:11434,保存关闭
然后更新配置:systemctl daemon-reload
在这里插入图片描述
重启:systemctl restart ollama在这里插入图片描述
安装DeepSeek-r1模型:ollama run deepseek-r1:7b,安装完之后,即可进行问答操作,也可以在ollama中查看模型,语句ollama list
在这里插入图片描述

在这里插入图片描述

下载RAGFlow:RAGFlow 基于大语言AI模型的企业级智能问答知识库

RAGFlow的github地址:https://github.com/infiniflow/ragflow/blob/main/README_zh.md

先克隆RAGFlow项目到本地
在这里插入图片描述
下完完项目,目录下会有个ragflow文件,进入ragflow/docker,修改.env中ragflow版本为全量版本,默认是RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim版本,我们注释掉,选择全量版本进行安装
在这里插入图片描述
再使用docker进行安装ragflow
cd ragflow
docker compose -f docker/docker-compose.yml up -d
在这里插入图片描述
如果你遇到 Docker 镜像拉不下来的问题,可以在 docker/.env 文件内根据变量 RAGFLOW_IMAGE 的注释提示选择华为云或者阿里云的相应镜像。

华为云镜像名:swr.cn-north-4.myhuaweicloud.com/infiniflow/ragflow
阿里云镜像名:registry.cn-hangzhou.aliyuncs.com/infiniflow/ragflow

服务器启动成功后再次确认服务器状态:

docker logs -f ragflow-server

出现以下界面提示说明服务器启动成功:
在这里插入图片描述
在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow(http://你的IP地址)
在这里插入图片描述
在这里插入图片描述
添加模型后,就可以进行问答了,也可以添加个人知识库进行训练问答
在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐