神经网络模型部署

1. 常见的模型部署方式:

(1)服务器:① HTTP 网页协议、 ② socket
(2)PC: ① pt(pytorch内置打包API)、② onnx:支持跨平台和tensorRT部署方式、③ tvm…
(3)手机:①安卓、 ② IOS……同样可以通过调用onnx进行部署。
(4)IOT部署: ① 英伟达Jetson:支持cuda、② 华为海思、 ③ 瑞芯微、 ④ 树莓派(cpu)……

2. Flask

Flask使用说明:官方文档
通过网页端的接收和发送与神经网络进行交互。

3. PC端

(1) pt TORCHSCRIPT使用说明:官方文档
(2)onnx使用说明:官方文档:将模型打包成onnx包,利用TensorRT在不同环境下对onnx进行调用。TensorRT使用说明:开发者指导

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐