好吧，开始写点东西吧。缘起......

1，什么是AI (ARTIFICIAL INTELLIGENCE) 

        人工智能就是研究如何使计算机去做过去只有人才能做的智能工作，研究如何让计算机去完成以往需要人的智力才能胜任的工作。

        人工智能是一个大方向，而机器学习是实现人工智能的一种方法，深度学习则是机器学习的一个分支。

 

2，1958年至今历史只有短短60多年

        从无到有，两次冬天，理论突破，爆发成长。

 

3，模拟生物神经元结构，感知机的提出。

        用计算机来模拟神经元反应的过程，该模型将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法）。1962年，该方法被证明为能够收敛，理论与实践效果引起第一次神经网络的浪潮。然而学科发展的历史不总是一帆风顺的。1969年，数学家证明了感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的异或（XOR）问题都无法正确分类。这等于直接宣判了感知器的死刑，神经网络的研究也陷入了近20年的停滞。

 

4，理论突破--多层感知机链式法则

        1986年多层感知器（MLP）的BP（Backpropagation）算法被提出，并采用Sigmoid进行非线性映射，有效解决了非线性分类和学习的问题。误差反向传播的链式法则可以说是机器学习的“灵魂”。BP算法在传统神经网络正向传播的基础上，增加了误差的反向传播过程。反向传播过程不断地调整神经元之间的权值和阈值，直到输出的误差达到减小到允许的范围之内，或达到预先设定的训练次数为止。BP算法完美的解决了非线性分类问题，该方法引起了人工神经网络的第二次热潮。

        1989年，理论上提出万能逼近定理，即对于任何闭区间内的一个连续函数f，都可以用含有一个隐含层的BP网络来逼近。该定理的发现极大的鼓舞了神经网络的研究人员。

        各种浅层机器学习模型被提出，经典的应用也相续出现。在空间上共用权值的卷积神经网络CNN（手写数字识别），在时间上共用权值的循环神经网络RNN（语言识别）。然而学科发展的历史不总是一帆风顺的。BP算法在误差梯度后向传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0“梯度消失”，因此无法对前层进行有效的学习，当神经网络的规模增大时，再使用BP算法还会出现“梯度爆炸”的问题，累计误差逐层递增无法收敛。这使得BP算法的发展受到了很大的限制，神经网络的热潮渐渐冷淡下去。

 

5，技术突破--深度学习的诞生

        2006年 - 2012年提出了深层网络训练中梯度消失问题的解决方案：无监督预训练对权值进行初始化+有监督训练微调。其主要思想是先通过自学习的方法学习到训练数据的结构（自动编码器），然后在该结构上进行有监督训练微调。

        2011年，ReLU激活函数被提出，该激活函数能够有效的抑制梯度消失问题。

 

6，深度学习的爆发

        爆发期2012 - 至今，理论层面并没有大的突破。但是围绕解决反向传播算法遇到的“梯度消失”与“梯度爆炸”问题，经过反复摸索得到了一些行之有效的处理技巧。使得训练深层神经网络可行，新的应用不断涌现。

        主要创新点

(1)采用ReLU激活函数，极大增大收敛速度且从根本上解决了梯度消失问题。

(2)由于ReLU方法可以很好抑制梯度消失问题，抛弃了“预训练+微调”的方法，完全采用有监督训练。也正因为如此，主流学习方法也因此变为了纯粹的有监督学习。

(3)添加Dropout层减小过拟合，LRN层增强泛化能力/减小过拟合。

(4)使用GPU加速模型计算。

(5)基于GPU计算的使用，大数据批量训练大大提高了模型收敛速度。

(6)BatchNorm训练模型的参数预处理为特定的统计分布，初始化非常重要。

2016年3月，由谷歌（Google）旗下DeepMind公司开发的AlphaGo(基于深度学习)与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜；2016年末2017年初，该程序在中国棋类网站上以“大师”（Master）为注册帐号与中日韩数十位围棋高手进行快棋对决，连续60局无一败绩；2017年5月，在中国乌镇围棋峰会上，它与排名世界第一的世界围棋冠军柯洁对战，以3比0的总比分获胜。围棋界公认阿尔法围棋的棋力已经超过人类职业围棋顶尖水平。

2017年，基于强化学习算法的AlphaGo升级版AlphaGo Zero横空出世。其采用“从零开始”、“无师自通”的学习模式，以100:0的比分轻而易举打败了之前的AlphaGo。除了围棋，它还精通国际象棋等其它棋类游戏，可以说是真正的棋类“天才”。此外在这一年，深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以，也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。

 

 

展望

深度学习目前还处于发展阶段，不管是理论方面还是实践方面都还有许多问题待解决，不过由于我们处在了一个“大数据”时代，以及计算资源的大大提升，新模型、新理论的验证周期会大大缩短。人工智能时代的开启必然会很大程度的改变这个世界，无论是从交通，医疗，购物，军事等方面，未来难以预知，期待AGI的早日到来。