深度学习端上部署工具
深度学习端上部署工具tvmcaffe2pytorch-mobiletf-litepaddle-litetensorRTncnn（腾讯）mace（小米）mnn（阿里）tf-litetensorflow，开源tesnorflow checkpoint/bp/fronzen graphAndroid/ios/arm64通用性最强，与 tensorflow 适配完美，不过性能一般roadmap 中预计年底
·
深度学习端上部署工具
| 模型 | 公司 | 通用性别 | 说明 |
| tf-lite | tensorflow，开源 |
通用性最强，与 tensorflow 适配完美，不过性能一般 支持CPU和GPU |
roadmap 中预计年底将实现对全系列rnn以及control flow的支持，值得期待！ |
| TensorRT | nvidia，闭源 | 支持CPU和GPU | 仅支持nvidia gpu系列产品推理，平台的限定使得无法推广到一般的移动端设备使用 |
| OpenCV | |||
| mnn | 阿里巴巴，开源 | 踩在巨人的肩膀上进行研发，起点高，端上性能强悍，据说性能强于ncnn |
吸取了最近两年开源的移动端推理框架的各种优秀成果
硬件支持：
|
| TNN | 腾讯，开源 | 支持CPU和GPU | |
| ncnn | 腾讯，开源 |
大量手写汇编级别优化，移动端性能强悍 支持CPU和GPU |
|
| bolt | 华为，开源 | 支持CPU和GPU | 官方数据中给出了端设备上bert的推理性能数据 |
| mace | 小米，开源 | ||
| paddle-lite | 百度，开源 | ||
| pytorch-mobile | facebook，开源 | ||
| caffe2 | facebook，开源 | ||
| tvm | 陈天奇团队，开源 |
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献2条内容
所有评论(0)