搭建大语言模型知识库问答系统

部署OneAPI

拉取镜像

bash
docker pull justsong/one-api

创建挂载目录

bash
mkdir -p /usr/local/docker/oneapi

启动容器

bash
docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /usr/local/docker/oneapi:/data justsong/one-api

访问IP:3001 在这里插入图片描述 注意：

用户默认root 密码默认123456，首次登录后务必修改密码

在这里插入图片描述 创建接口令牌API Key备用

根据需要配置，这里点击“永不过期”+“设为无限额度”

在这里插入图片描述

项目地址: One API

部署一个LLM模型

下载ChatGLM3项目

bash
git clone https://github.com/THUDM/ChatGLM3

创建conda环境

bash
cd /work/ChatGLM3

conda create -n ChatGLM3 python=3.10

conda activate ChatGLM3

编辑ChatGLM3/openai_api_demo/api_server.py文件，指定LLM模型、嵌入模型位置

相关模型可以从huggingface下载

bash
# set LLM path
MODEL_PATH = os.environ.get('MODEL_PATH', '/root/work/models/chatglm3-6b')
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)

# set Embedding Model path
EMBEDDING_PATH = os.environ.get('EMBEDDING_PATH', '/root/work/models/bge-large-zh')

启动项目

bash
(ChatGLM3) root@master:~/work/ChatGLM3/openai_api_demo# python api_server.py 
Setting eos_token is not supported, use the default one.
Setting pad_token is not supported, use the default one.
Setting unk_token is not supported, use the default one.
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:04<00:00,  1.07it/s]
INFO:     Started server process [517231]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

在OneAPI中创建一个渠道，并使用事先创建的API Key 在这里插入图片描述 注意：

当完成下面部署FastGPT操作后，可以测试对接是否成功。前提：这里配置的模型名称ChatGLM3-6B需要与在部署FastGPT中的fastgpt/config.json文件中配置模型名称一致。具体参考下面新建FastGPT对话应用操作。

在这里插入图片描述

部署嵌入模型

这里使用m3e嵌入模型

bash
docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

在运行容器的时候调用GPU，直接使用--gpus all参数指定即可

bash
 docker run -d -p 6008:6008 --name m3e --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

接入One API，添加一个渠道，根据官方参数说明如下：

vbnet
设置安全凭证

默认值：sk-aaabbbcccdddeeefffggghhhiiijjjkkk

也可以通过环境变量引入：sk-key

注意：渠道对应鉴权密匙一定是sk-aaabbbcccdddeeefffggghhhiiijjjkkk

在这里插入图片描述

测试服务

这里将出现404异常，原因：由于不是对话生成模型（/v1/chat/completions）所以会404

在这里插入图片描述 进一步验证，查看容器内部运行日志信息

bash
root@master:~/work/# docker logs -f friendly_feistel
No sentence-transformers model found with name ./moka-ai_m3e-large. Creating a new one with MEAN pooling.
INFO:     Started server process [1]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:6008 (Press CTRL+C to quit)
本次加载模型的设备为GPU:  Tesla V100S-PCIE-32GB
INFO:     172.17.0.1:59468 - "POST /v1/chat/completions HTTP/1.1" 404 Not Found

到这里，嵌入模型准备完毕，在接下来接入FastGPT即可。

部署FastGPT

具体部署可参考官方文档：FastGPT

创建挂载目录

bash
mkdir -p /usr/local/docker/fastgpt

下载文件

bash
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

在项目fastgpt目录中，创建mongo密钥

bash
openssl rand -base64 756 > ./mongodb.key
chmod 600 ./mongodb.key
chown 999:root ./mongodb.key

bash
root@master:/usr/local/docker/fastgpt# ls
config.json  docker-compose.yml mongodb.key

执行命令拉取容器镜像

bash
docker-compose pull

启动容器

bash
 docker-compose up -d

初始化 Mongo 副本集(4.6.8以前可忽略)

bash
# 查看 mongo 容器是否正常运行
docker ps

# 进入容器
docker exec -it mongo bash

# 连接数据库
mongo -u myname -p mypassword --authenticationDatabase admin

# 初始化副本集。如果需要外网访问，mongo:27017 可以改成 ip:27017。但是需要同时修改 FastGPT 连接的参数（MONGODB_URI=mongodb://myname:mypassword@mongo:27017/fastgpt?authSource=admin => MONGODB_URI=mongodb://myname:mypassword@ip:27017/fastgpt?authSource=admin）
rs.initiate({
  _id: "rs0",
  members: [
    { _id: 0, host: "mongo:27017" }
  ]
})


# 检查状态。如果提示 rs0 状态，则代表运行成功
rs.status()

访问IP:3000 在这里插入图片描述 注意：

yaml
用户默认 root

密码默认 1234

密码设置修改：docker-compose.yml 文件中的 DEFAULT_ROOT_PSW

bash
    environment:
      # root 密码，用户名为: root
      - DEFAULT_ROOT_PSW=1234

在这里插入图片描述 配置docker-compose.yml文件，使用 OneAPI接口、令牌

注意：这里地址指向OneAPI地址，令牌使用上面创建的令牌。

bash
    environment:
      # root 密码，用户名为: root
      - DEFAULT_ROOT_PSW=1234
      # 中转地址，如果是用官方号，不需要管。务必加 /v1
      - OPENAI_BASE_URL=http://192.168.5.210:3001/v1
      - CHAT_API_KEY=sk-CwH3lQk0CCiUdalf3d41A405C9Ca4359991e213d0bC5B13b

重启FastGPT容器

bash
docker-compose up -d

新建FastGPT对话应用

接下来配置FastGPT，修改fastgpt/config.json文件，复制一份gpt-3.5-turbo配置，修改为ChatGLM 在这里插入图片描述

注意：这里配置的model值ChatGLM3-6B需要与渠道中配置的模型名称一致

重启FastGP 容器

bash
docker restart fastgpt

访问IP:3000/,新建FastGPT应用

取一个名称，从模板选择，这里选择“简单的对话”，点击“确认创建”按钮。

在这里插入图片描述 选择上面配置的ChatGLM模型，然后点击“保存并预览” 在这里插入图片描述 对话测试，输入问题，点击图标发送 在这里插入图片描述

新建 FastGPT 知识库应用

知识库需要使用嵌入模型，所以需要提前进行配置。

修改fastgpt/config.json配置文件，在vectorModels 中加入M3E模型： 在这里插入图片描述

注意：这里配置的model值m3e-large需要与渠道中配置的模型名称一致

重启FastGPT容器

bash
docker restart fastgpt

在知识库菜单栏，创建一个知识库，同时取一个名称，选择索引模型 在这里插入图片描述 向demo知识库导入数据 在这里插入图片描述 根据具体需求，进行配置数据处理参数 在这里插入图片描述 当上传数据训练完毕就绪后即可使用 在这里插入图片描述

新建知识库，取个名字，从模板选择知识库+对话引导 在这里插入图片描述 配置AI模型与关联知识库后，保存并预览，然后即可开始进行知识库的对话测试 在这里插入图片描述 进行知识库问答对话时，出现一个异常 在这里插入图片描述 是因为知识库配置中，默认且只有一个文件处理模型，固定为gpt-3.5-turbo-1106，且目前没有配置该模型渠道 在这里插入图片描述

解决方案：

1.更新渠道，添加模型名称gpt-3.5-turbo-1106，意味着使用该模型的就会使用Base URL定义的模型

2.新建一个渠道，指定使用模型名称gpt-3.5-turbo-1106 在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

# oneapi # RAG # 人工智能
Logo
魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模

avatar 魔乐社区
cover

量化挑战赛冠军专访：4小时啃下W4A8量化，我靠的是这些经验

avatar 魔乐社区
cover

替你试过了，消费级显卡可以跑的开源文生图SOTA模型，顶级渲染、高密度文本绘图

avatar 魔乐社区