我一般遇到这种是本地网络意外中断了，程序不见了，但是GPU仍在占用。

1.确认GPU显存：
终端输入 nvidia-smi 查看显存使用情况：

2.查看所有进程：
输入fuser -v /dev/nvidia* 查看进程。如果出现bash: fuser: command not found，说明没有安装这个库，则安装：apt-get install psmisc

3.杀掉僵尸进程：
把所有PID杀掉即可。如果还有其他进程再跑，还要确定一下有用进程的PID。
kill -9 PID

参考：https://zhuanlan.zhihu.com/p/696749559 经常遇到，记录一下