残差神经网络_「深度学习卷积神经网络」深不可测的残差网络ResNet模型
深度学习的「深」，更多是指模型的层数深。然而，卷积神经网络单纯的堆叠层数，会出现梯度消失、梯度退化和网络退化的问题。2015年何凯明，张翔宇，任少卿，孙剑四位华人提出ResNet。不断的提高网络性能达到最优性能时多余的网络层做恒等映射模型结构构建残差块堆叠残差块残差块Residual block如上图，在原来的普通的网络基础上，每两层加上一个捷径连接(hortcut connection),H(x
深度学习的「深」，更多是指模型的层数深。然而，卷积神经网络单纯的堆叠层数，会出现梯度消失、梯度退化和网络退化的问题。2015年何凯明，张翔宇，任少卿，孙剑四位华人提出ResNet。
- 不断的提高网络性能
- 达到最优性能时多余的网络层做恒等映射
模型结构
- 构建残差块
- 堆叠残差块
残差块Residual block
如上图，在原来的普通的网络基础上，每两层加上一个捷径连接(hortcut connection),H(x) = F(x) + x，构成一个残差块。多个残差块堆叠成一个残差网络。
卷积核
上图左：ResNet34 两层残差单元使用两个3*3的卷积核。
上图右：ResNet50/101/152 三层残差单元使用1*1、3*3、1*1卷积核
ResNet34
感受一下34层的深度残差网络的结构图：
shortcut connections(捷径连接)有实线和虚线：
- 实线表示通道相同，H(x)=F(x)+x。
- 虚线表示通道不同，H(x)=F(x)+Wx，其中W是卷积操作，调整x维度的。
核心理念
假设现有一个比较浅的网络(Shallow Net)已达到了饱和的准确率，这时在它后面再加上几个恒等映射层(Identity mapping，也即y=x，输出等于输入)，这样就增加了网络的深度，并且起码误差不会增加，也即更深的网络不应该带来训练集上误差的上升。而这里提到的使用恒等映射直接将前一层输出传到后面的思想，便是著名深度残差网络ResNet的灵感来源。
论文地址
https://arxiv.org/abs/1512.03385
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献7条内容
所有评论(0)