在这里插入图片描述

一、背景

推荐一个不错的博客的项目,钢筋点数。基于faster-rcnn模型的pytorch的接口部署。

说到接口部署,我们得了解它是一种什么方式,怎么应用起来就是一个问题。

我们使用过百度、腾讯、阿里的智能云服务时,大多数都是以API接口形式提供,通过接口,用户发送一张图片给API,api再返回去相应的内容,并告诉你如何解析。

二、接口实现要靠web框架

其实这并不难,我们的python web框架有很多,大家可以尝试tornado 、flask、以及Django。

三、模型部署时需要注意几点

1)多线程的实现,意思是能够一个接口实现多个线程同时接受图片并进行分析。
2)模型加载需要先实例化加载完后,在接口中等待图片到来进行处理,因为模型加载时比较耗时的。
3)负载均衡的考虑,当我们的接口调用频率比较高时要考虑高并发的可能。关于高并发,需要更多的显卡资源以及服务器去做。
nginx很好玩的,可以试试。对外只有一个网址接口,对应一个端口号,我们在背后可以用多个服务器多个接口去支撑这个服务。

以上为我自己的分享和介绍,如有需要交流部署方面可以加我微信ai_hellohello

最后推荐这篇博客:https://blog.csdn.net/Xinyu_cheng/article/details/89320488

代码github:https://github.com/xinyu-ch/Faster_RCNN_Deloy

 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐