项目介绍：

ColPali，利用 VLM 在视觉空间中构建高效的多向量嵌入以进行文档检索。通过将 PaliGemma-3B 的 ViT 输出补丁馈送到线性投影，创建了文档的多向量表示。我们遵循 ColBERT 方法训练模型，以最大限度地提高这些文档嵌入和查询嵌入之间的相似性。

使用 ColPali 消除了对可能复杂和脆弱的布局识别和 OCR 管道的需求，只需一个模型即可同时考虑文档的文本和视觉内容（布局、图表等）。

项目代码：GitHub - illuin-tech/colpali：用于使用 ColPali 架构训练和运行推理的代码。

权重链接：https://huggingface.co/vidore/colqwen2-v0.1-merged/tree/main

Milvus与ColPail结合官网：Use ColPali for Multi-Modal Retrieval with Milvus | Milvus Documentation

官网推理测试代码：

import torch
from PIL import Image

from colpali_engine.models import ColQwen2, ColQwen2Processor

model_name = "vidore/colqwen2-v0.1"

model = ColQwen2.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
).eval()

processor = ColQwen2Processor.from_pretrained(model_name)

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "Are Benjamin, Antoine, Merve, and Jo best friends?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

我们使用 Python 3.11.6 和 PyTorch 2.4 来训练和测试我们的模型，但代码库与 Python >=3.9 和最新的 PyTorch 版本兼容。要安装该软件包，请运行：

pip install colpali-engine

注意：推理代码运行会报错OSError: We couldn't connect to 'https://huggingface.co' to load this file

根据官网里的社区提示：vidore/colqwen2-v0.1 ·缺少config.json？https://huggingface.co/vidore/colqwen2-v0.1/discussions/5

两个解决办法：

        1. 代码最上面加入环境变量（中国地区加速器）

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

        2.去官网下载模型文件，全部下载后保存到一个文件夹

 权重链接：https://huggingface.co/vidore/colqwen2-v0.1-merged/tree/mainhttps://huggingface.co/vidore/colqwen2-v0.1-merged/tree/main

中国加速权重链接：vidore/colqwen2-v0.1-merged at mainhttps://hf-mirror.com/vidore/colqwen2-v0.1-merged/tree/main