计算机视觉经典论文阅读---AlexNet论文阅读笔记
这一篇论文是12年的论文可是，他是计算机视觉工作的基石小窗口称之为感受页池化层池化、下采样可以防止过拟合为什么神经网络要用激活函数呢？因为激活函数是非线性的，正是因为非线性的激活函数才为神经网络这个模型引入了非线性，他才能解决非线性的分类问题然而传统的像Sigmoid和tanh这种饱和函数，不饱和的激活函数可以解决梯度消失的问题。softmax归一化在这篇论文中有个有趣的地方局部响应归...
·
目录
前言：
这一篇论文是12年的论文可是引用量高达6w的论文，他是计算机视觉工作的基石。
因此非常有必要读一下
下面是从他开始衍生的算法
卷积层的计算
小窗口称之为感受页
池化层
（池化、下采样）
可以防止过拟合
神经网络的构造
为什么神经网络要用激活函数呢？
因为激活函数是非线性的，正是因为非线性的激活函数才为神经网络这个模型引入了非线性，他才能解决非线性的分类问题
然而传统的像Sigmoid和tanh这种饱和函数，不饱和的激活函数可以解决梯度消失的问题。
下图通过两个神经元完成神经网络的输出
softmax归一化
在这篇论文中有个有趣的地方
局部响应归一化
每一个值进行归一化，可以有效的抑制局部神经元
举个具体例子
LNN局部响应归一化
可以达到效果：
抑制附近的激活
然而，LRN层已经被推翻，并没有任何X用
数据扩充可以有效防止，减少过拟合的方法
Dropout
随机掐死，每一个dropout层都有0.5的被置换为1
如无必要，不要增加实体--- 剃刀原理
参考文献：
- b站豪哥
- AlexNet论文
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
3
0- 0
已为社区贡献11条内容
所有评论(0)