pytorch模型部署
模型部署
·
大规模部署PyTorch模型需要额外的功能，如打包模型、配置运行时环境，公开API端点、记录和监控以及管理多个模型版本。
| Python API | 执行快速原型设计、培训和实验； 程序 Python 运行时。 |
| TorchScript | 提高性能和可移植性（例如，加载和运行 C ++中的模型）；编程非 Python 运行时或严格的延迟 和性能要求。 |
| TorchServe |
一个快速的生产环境工具，具有模型存储、A/B 测试、监控 |
| tensorRT | nvidia ,GPU上做inference |
| libtorch | pytorch的C++版本，支持CPU端和GPU端的部署和训练 |
| ONNX |
部署到具有 ONNX 运行时或 FPGA 设备的系统 |
| tengine | 阿里基于 nginx修改 |
| Mobile libraries |
部署到 iOS 和 Android 设备 |
（1）app：
reference：
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)