Apex混合精度加速介绍:为了帮助提高Pytorch的训练效率,英伟达提供了混合精度训练工具Apex。号称能够在不降低性能的情况下,将模型训练的速度提升2-4倍,训练显存消耗减少为之前的一半。该项目开源于:https://github.com/NVIDIA/apex ,文档地址是:https://nvidia.github.io/apex/index.html该工具提供了三个功能,amp、parallel和normalization。
安装步骤:
1、在github上下载apex文件到本地
下载地址 https://github.com/NVIDIA/apex,下载解压后如下:
在这里插入图片描述
2、将下载解压好的apex文件放到anaconda创建的环境下的site-packages文件夹中。
anaconda3/envs/环境名/Lib/site-packages
3、在cmd命令窗口,进入到apex文件夹中,激活环境,安装requirements.txt里面依赖的包;
4、开始安装apex,运行:python setup.py install

安装结果:
在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐