这篇文章主要介绍了lidcamnet,利用lidar及camera进行道路检测,主要创新点在于提出了三种网络结果,并进行对比。首先提出base网络,分为编码器 解码器及中间的语义分析网络,语义分析网络利用空洞卷积的方法增大感受野。二种传感器的融合分为了三种融合方式为 前融合 (直接将camera及lidar信息在深度方向上叠加) 后融合(在decision层叠加二种的feature map ) 及交叉融合 通过引入可训练的系数 让神经网络来决定各层网络融合的程度。Lidar到camera的映射的lidar image方法与pinet基本一致。
主要网络架构如下:
![(https://img-blog.csdnimg.cn/d6a4b1fb24134a2d87062de0d3a26c20.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAaGdqMWg=,size_20,color_FFFFFF,t_70,g_se,x_16)

网络中还涉及一些权重来决定融合的深度 但两层的叠加就是主要在深度信息层面的简单叠加

效果还是挺不错的

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐