限制或增加pytorch的线程个数!指定核数或者满核运行Pytorch!!!
一、限制pytorch 运行的线程数假如我有4个cpu ,但是只想让Pytorch在1个cpu上运行import oscpu_num = 1 # 这里设置成你想运行的CPU个数os.environ ['OMP_NUM_THREADS'] = str(cpu_num)os.environ ['OPENBLAS_NUM_THREADS'] = str(cpu_num)os.environ ['MKL_
·
一、限制pytorch 运行的线程数
假如我有4个cpu ,但是只想让Pytorch在1个cpu上运行
import os
cpu_num = 1 # 这里设置成你想运行的CPU个数
os.environ ['OMP_NUM_THREADS'] = str(cpu_num)
os.environ ['OPENBLAS_NUM_THREADS'] = str(cpu_num)
os.environ ['MKL_NUM_THREADS'] = str(cpu_num)
os.environ ['VECLIB_MAXIMUM_THREADS'] = str(cpu_num)
os.environ ['NUMEXPR_NUM_THREADS'] = str(cpu_num)
torch.set_num_threads(cpu_num)
假如我有80个cpu ,一般pytorch 默认是使用一半的CPU运行的(40个核),那想让pytorch在所有CPU上运行!!!(小声bb, 没有GPU,我还不能满核吗!),该怎么办呢?
直接使用下边代码
import os
from multiprocessing import cpu_count
cpu_num = cpu_count() # 自动获取最大核心数目
os.environ ['OMP_NUM_THREADS'] = str(cpu_num)
os.environ ['OPENBLAS_NUM_THREADS'] = str(cpu_num)
os.environ ['MKL_NUM_THREADS'] = str(cpu_num)
os.environ ['VECLIB_MAXIMUM_THREADS'] = str(cpu_num)
os.environ ['NUMEXPR_NUM_THREADS'] = str(cpu_num)
torch.set_num_threads(cpu_num)
看!!! 80个核了!

----来自没有GPU的穷孩子。。。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)