1,最终结果

import torch

print(torch.cuda.is_available()) #显示True，则安装成功
print(torch.__version__)#打印当前PyTorch版本号。
print(torch.version.cuda)#打印当前CUDA版本号。
print(torch.backends.cudnn.version())# 打印当前cuDNN版本号。
print(torch.cuda.get_device_name(0))# 打印第一个GPU设备的名称。

True
2.2.2
11.8
8700
NVIDIA GeForce RTX 2080 Ti

2,要实现这个结果非常复杂,很多环境不兼容等问题,今天这里一一解答
检查本地硬件驱动

nvidia-smi

运行 nvcc -V 可知，当前cuda版本为 11.8

3,下载 cuda11.8：CUDA Toolkit Archive | NVIDIA Developer

4,下载后根据截图自定义安装,

5,配置环境变量

6,下载cudnn：cuDNN Archive | NVIDIA Developer

下载前要先注册信息，不算特别麻烦，勾几个√就行。

在for CUDA 11.x 里面随便选一个版本，我选的是最新版本

下载完成后，将压缩包解压，将 bin、include、lib 3个文件夹复制到cuda的安装目录v11.8下。

7,安装pytorch2.0
进入pytorch官网：PyTorch

选择对应的版本安装
这里先要建立虚拟环境

conda create -n gubanjie python==3.9
//激活环境
conda activate gubanjie
//卸载
//conda uninstall torch torchvision
//pip uninstall torch torchvision
//清除缓存
pip cache purge
//然后安装
conda install pytorch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 pytorch-cuda=11.8 -c pytorch -c nvidia
//或者
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu118
//或者
conda install pytorch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 pytorch-cuda=11.8 -c pytorch -c nvidia
//或者
pip install 
//安装torch
pip install torch torchvision torchaudio

搞定
清华智普ai配置

conda create -n chatglm3-demo python=3.10
pip install -r requirements.txt
// 注意vpn开全局下载，不然会很慢
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu118

启动web_deo 切记必须在Local下启动

python .\basic_demo\web_demo_gradio.py

启动成功

E:\anacondainsatall\envs\chatglm3-demo\python.exe E:\pythonWork\ChatGLM3-main\ChatGLM3-main\123123.py 
True
2.3.0+cu118
11.8
8700
NVIDIA GeForce RTX 2080 Ti