项目介绍

PDF Document Layout Analysis是一个基于 Docker 的 PDF 文档布局分析服务，用于 PDF 文档布局分析和 PDF OCR。此服务提供强大且灵活的 PDF 分析服务。该服务允许对 PDF 页面不同部分进行分割和分类，识别文本、标题、图片、表格等元素。

应用场景

• 学术文献分析：对学术论文、研究报告等 PDF 文档进行结构化分析，提取关键信息如文本、表格、公式等。

• 文档归档与管理：将大量的 PDF 文档转化为可搜索的文本格式，便于归档、检索和管理。

• 数据抽取与挖掘：从 PDF 文档中抽取特定类型的信息，如财务报表中的数据、合同中的条款等。

• 自动化报告生成：对 PDF 报告进行自动化分析，生成摘要或提取关键指标。

功能模块

• OCR 识别：使用 Tesseract OCR 对 PDF 文档进行文字识别，支持多种语言。

• 文档分割：将 PDF 页面分割成不同的段落、图片、表格等元素。

• 分类与标注：对分割出的元素进行分类，如文本、标题、图片、表格等，并为每个元素添加标注信息。

• 顺序确定：根据元素的类型和位置信息，确定它们在文档中的正确顺序。

• 表格与公式提取：以不同的格式（如 Markdown、LaTeX、HTML）提取表格和公式。

功能特点

• 高效灵活：支持多种模型（包括视觉模型和非视觉模型），可根据资源情况和需求选择使用。

• 多语言支持：Tesseract OCR 支持 150 多种语言，可根据需要安装额外的语言包。

• 结构化输出：输出结果以结构化的格式（如 JSON）呈现，便于后续处理和分析。

• 可扩展性：基于 Docker 的服务架构，便于部署和扩展。

项目技术栈

• Python：作为开发语言。

• Docker：用于构建、运行和部署服务。

• Tesseract OCR：用于文字识别，支持多种语言和字符集。

• ocrmypdf：用于将 PDF 转换为可搜索的文本格式。

• **Vision Grid Transformer (VGT)**：阿里巴巴研究团队训练的视觉模型，用于文档分割和分类。

• LightGBM：非视觉模型，使用 Poppler 提取的 XML 信息进行预测和分割。

• Poppler：用于将 PDF 转换为 XML 格式，并提取文本和元数据。

• StructEqTable：用于表格提取。

• RapidLaTeXOCR：用于公式提取和识别。

功能演示

开源地址

https://github.com/huridocs/pdf-document-layout-analysis