通过python进行文档内容的解析、分片、并调用向量模型将分片内容进行向量化,存入向量数据库中,其中向量转化可以使用开源的模型进行处理。

拉取模型

1.安装Ollama

访问Ollama官网下载并安装适用于本地操作系统的版本。

在这里插入图片描述

下载安装包后,执行安装程序,一直确认默认选项下一步就好。

在这里插入图片描述

安装完成后,在命令提示符或终端中执行:

ollama

显示如下即安装成功。

在这里插入图片描述

2.拉取BGE-M3模型

访问ollama官网,搜索BGE-M3模型,复制下载命令在命令提示符或终端中执行,等待下载,时间较长。

ollama pull bge-m3

在这里插入图片描述

等待模型下载完成,可通过 ollama list 验证是否安装成功‌

ollama list

在这里插入图片描述

本地通过python 调用BGE-M3模型,将内容进行向量化

在Pycharm的终端中安装 langchain-community 库

pip install langchain-community

在这里插入图片描述

此外,OllamaEmbeddings 可能依赖于其他库,具体取决于 langchain-community的实现细节。如果安装后遇到缺少其他库的错误,可以根据错误提示继续安装相应的库。

# 导入 OllamaEmbeddings 类,用于生成文本嵌入向量。
from langchain_community.embeddings import OllamaEmbeddings

# 初始化嵌入模型,指定模型名称为 bge-m3
embeddings = OllamaEmbeddings(model="bge-m3")

# 定义待处理文本
text = "Hello World!"

# 调用 embed_query 方法生成嵌入向量
embedding = embeddings.embed_query(text)

# 打印生成的嵌入向量的前5维特征值。
print(embedding[:5])  

输出向量:

在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐