大模型部署之GPU查询及切换
1、查询当前机器GPU使用情况。
·
1、查询当前机器GPU使用情况
# 总览
nvidia-smi
# 每1s下的占用情况
watch -n 1 nvidia-smi
2、绑定gpu执行
# 方法1:设置CUDA_VISIBLE_DEVICES并直接执行
CUDA_VISIBLE_DEVICES=1,2 python train_demo.py
# 方法2: 编辑 train_demo.py 设置
import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" #(设置程序cuda序号与实际cuda序号对应)
os.environ['CUDA_VISIBLE_DEVICES'] = "0,1" #
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐

所有评论(0)