langchain UnstructuredPDFLoader读取pdf仅生成单篇Document解决办法
langchain 的UnstructuredPDFLoader默认采用的是fast解析，如果是比较长的pdf，会发现没有分割文档，把整篇文章都放到一个document里了，这样在向量索引以后进行大模型问答的时候很容易就超过了max_tokens。解决办法是采用PyPDFLoader，会按照页面分割文档。
·
from langchain.document_loaders import UnstructuredPDFLoader
loader = UnstructuredPDFLoader("test.pdf")
pages = loader.load_and_split()
langchain 的UnstructuredPDFLoader默认采用的是fast解析，如果是比较长的pdf，会发现没有分割文档，把整篇文章都放到一个document里了，这样在向量索引以后进行大模型问答的时候很容易就超过了max_tokens。
解决办法是采用PyPDFLoader，会按照页面分割文档。
from langchain.document_loaders import PyPDFLoader
loader = PyPDFLoader("test.pdf")
pages = loader.load_and_split()
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献3条内容
所有评论(0)