当神经网络在几十年前首次发明的时候，最初的动机是编写软件，可以模仿人脑或者生物大脑是如何学习的，即使今天神经网络，有时也称为人工神经网络与我们想象的完全不同，大脑实际上是如何工作和学习的，一些生物动机仍然存在，我们今天想到的是人工神经网络或计算机神经网络。

所以让我们先来看看大脑是如何工作的以及这与神经网络的关系。

人脑，普遍来说是生物大脑，显示出更高或更有能力的智力水平，比其他任何东西所能建造的都要多，所以，神经网络起始于试图构建模仿大脑的软件的动机。

神经网络发展历程

神经网络的研究早在20世纪50年代就开始了，后来一度失宠，在20世纪80年代和90年代初，再次受欢迎，并在一些应用中显示出巨大的吸引力，比如手写数字识别，即使在那是=时我们也会用它来读取邮政编码，用于发送邮件或阅读美元数字，手写支票，但在20世纪90年代末，再次失宠，大约从2005年，开始复兴，也可能被重新命名为深度学习，深度学习与神经网络的意思非常相似，深度学习这个词听起来更好，因为它是深刻的，它是学习。从那时起，神经网络已经彻底改变了应用领域的应用领域，现代神经网络的第一个应用领域或者深度学习是语音识别，在那里我们开始看到更好的语音识别系统，然后他开始进入计算机视觉，在那里，它吸引了更广泛的想象力，并对计算机视觉产生了巨大的影响，然后再接下来的几年里，它在文本或自然语言处理等方面取得了进展等等，现在神经网络被用于从气候变化到医学影像到在线广告到产品推荐，机器学习的许多应用领域现在都使用神经网络，尽管今天的神经网络几乎与大脑如何学习无关早期的动机是试图建立软件来模仿大脑。

大脑是如何工作的？

这是一张说明大脑神经元样子的图表，人类所有的思想都来自这样的神经元，在你的大脑和头脑中，发送电脉冲，有时与其他神经元形成新的连接，给像上边一样的神经元，它有许多输入，在那里它接收来自其他神经元的电脉冲，然后圈出的这个神经元进行一些计算，然后通过这些电脉冲将输出发送到其他神经元，上面的神经元输出反过来成为下面神经元的输入，它再次聚集了来自多个其他神经元的输入，然后可能会将自己的输出发送到其他神经元，这就是人类思想的来源。

下图这是一个生物神经元的简化图，神经元包括一个细胞体，如图所示，这也是神经元的细胞核，正如在上边所看到的神经元有不同的输入，在一个生物神经元中，输入线称为树突，然后它偶尔通过输出线向其他神经元发送电脉冲，它叫做轴突。但是这个生物神经元可能会发送电脉冲，它将成为另一个神经元的输入，所以人工神经网络使用了一个非常简单的数学模型，生物神经元的作用。在右边画一个小圆圈来表示一个神经元，神经元的作用是：它需要一些输入，一个或多个输出，只是数字，它做一些计算，它输出一些其他数字，这可能是右边第二个神经元的输入。当你构建人工神经网络或深度学习算法时，不是一次建立一个神经元，你通常同时模拟许多这样的神经元，所以在这张图中，画了3个神经元，这些神经元共同做的是输入一些数字，进行一些计算，输出一些其他数字。

尽管在生物神经元和人工神经元之间做了一个松散的类比，事实上，今天我们几乎不知道人脑是如何工作的，话虽如此，即使有这些极其简化的神经元模型，我们将建立真正强大的深度学习算法。因此，当你深入神经网络和深度学习时即使起源是出于生物动机，不要把生物动机看的太重。利用工程原理找出如何构建更有效的算法，想想生物神经元是如何工作的。

为什么直到最近几年神经网络真正应用起来？

在横轴上画问题的数据量，在垂直轴上，应用于该问题的学习算法的性能或准确性，在过去的几十年里随着互联网和手机的兴起，我们拥有更多应用程序的数据量，稳步向右前进，很多以前在纸上的记录，例如，如果你点了一些东西，而不是在一张纸上，那更有可能是数字记录，你的健康记录，如果你现在看医生更有可能是数字化的，与纸片相比，因此在许多应用领域，数字数据量呈爆炸式增长，我们看到的是传统的机器学习算法，例如逻辑回归和线性回归，即使给那些算法提供了更多的数据，很难让曲线继续上升，所以就好像传统的学习算法，像线性回归和逻辑回归，它们只是无法与我们现在提供给它的数据量，无法有效利用，我们有不同的应用。

如果你在这个数据集上训练一个小神经网络，可能如蓝色线所示，如果训练一个中等大小的神经网络，意思是一个有更多神经元的，可能如紫色线所示，如果你训练一个废除那个大的神经网络，意思是一个有很多人工神经元的人，然后对于一些应用程序，性能会继续上升，如绿色曲线所示，这意味着对于特定类型的应用程序，你确实有大量的数据，有时你会听到大数据这个词，如果你能训练一个非常大的神经网络，利用你拥有的大量数据，然后你可以从语音识别到图像识别的任何事情上获得性能，到自然语言处理应用程序，这导致了深度学习算法的起飞。

为什么计算机处理更快？包括gpus或图形处理器的兴起，这是一个硬件，最初是为了生成漂亮的计算机图形而设计的，但对深度学习也很强大，这是允许深度学习算法成为今天的主要力量。