（Note）深度学习模型的部署方式
因此，除了软件外，在硬件也上会下功夫，比如使用推理专用的NVIDIA T4、寒武纪MLU100等。相较于桌面级显卡，这些推理卡功耗低，单位能耗下计算效率更高，且硬件结构更适合高吞吐量的情况。软件上，一般部署时都不会直接上深度学习框架。OpenCV、OpenVINO都是intel的开源框架库，OpenCV的DNN模块其实调用的也就是OpenVINO，另外OpenvVINO在硬件加速方面使用了Inte
一般来说，当我们在Python框架中训练好深度学习模型，通常需要部署到C/C++环境，目前主要有有以下几种方案：
- CPU方案：Libtorch、OpenCV-DNN、OpenVINO、ONNX
- GPU方案：TensorRT、OpenCV-DNN
其中：
OpenCV、OpenVINO都是intel的开源框架库，OpenCV的DNN模块其实调用的也就是OpenVINO，另外OpenvVINO在硬件加速方面使用了Intel自家CPU的集成显卡。
模型部署的时候，我们仅需要实现数据处理、前向传播就行，不需要去管反向传播。
如果需要部署到服务器上，例如人脸验证、语音服务、应用了深度学习的智能推荐等。由于一般是大规模部署，这种情况除了要考虑吞吐和延时，也要考虑功耗和成本问题。
因此，除了软件外，在硬件也上会下功夫，比如使用推理专用的NVIDIA T4、寒武纪MLU100等。相较于桌面级显卡，这些推理卡功耗低，单位能耗下计算效率更高，且硬件结构更适合高吞吐量的情况。软件上，一般部署时都不会直接上深度学习框架。
Reference：
训练好的深度学习模型，多种部署方式_落难Coder的博客-CSDN博客_深度学习训练好的模型
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献6条内容
所有评论(0)