代码片段

import torch
import clip
from PIL import Image

# device = "cpu" 运行正常
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

image = preprocess(Image.open("CLIP.png")).unsqueeze(0).to(device)
text = clip.tokenize(["a diagram", "a dog", "a cat"]).to(device)

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    
    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("Label probs:", probs)  # prints: [[0.9927937  0.00421068 0.00299572]]

DEBUG过程

在运行CLIP实例代码时，发现image_feature为全0.

调试后发现：输入数据没问题，模型参数加载也没问题，但是一旦使用cnv2D卷积操作feature map就变为全0。但我随便初始化了一个卷积核发现是可以运行的。

将数据改到cpu设备上运行，结果正常，推测可能是cuda的问题。

解决方法

重新安装pytorch以及对应的cudatoolkit，注意用nvidia-smi查看的是CUDA最大支持版本，而pytorch安装应该与nvcc -V中的版本对应。


注意，可以使用conda给不同的虚拟环境安装对应的cudatoolkit（cudatoolkit是cuda的一个子集，足够pytorch使用），pytorch运行时优先使用对应环境下的cudatoolkit，这样方便修改cuda版本。

最后我是用的命令为：

conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch