由于个人的项目特殊性,需要检测的图片分辨率很大,通常需要将一张图片切分4张/5张进行检测,尽管C++上TensorRT部署,模型的推理耗时已经得到了非常大的提升了,不过本着优化到极致的初衷,花了两周时间研究了下yolov8的python版本:onnx、tensorrt下的多batch部署和C++下TensorRT的多Batch部署,有感兴趣的可以下载学习,也可以加我微信,手把手教程。
项目效果展示如下:

输入一张由4张小图拼接起来的大图,然后切分并制作成batch推理所需要的数据格式,进行TensorRT推理,并将结果画在原图上。

有需要可私信你的微信号,我加你发送(收费哦~)

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐