转载请注明出处：http://blog.csdn.net/tyhj_sf/article/details/54134210
声明：
（1）该博文为个人学习总结，部分内容（包括数学公式）是来自书籍及网上的资料。具体引用的资料请看参考文献。具体的版本声明也参考原文献。
（2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应，更有些部分本来就是直接从其他博客复制过来的。如果某部分不小心侵犯了大家的版权，还望海涵，并联系本人删除或修改。

引言

最近谷歌升级版AlphaGo打败众多国内外围棋高手，那狗又火了一把，再次引起大家的关注。作为一个对技术有追求的人，嗯，是时候好好学习当前最火的人工智能与机器学习的相关技术了。学习一项技术，仅仅了解其技术原理是远远不够的，从技术实践中建立感性认识，才能对技术原理有深入的理解。因此，本文先介绍神经网络基本原理，后面系列文章将详细介绍神经网络的成熟算法及网络结构（比如：BP神经网络、RBF、CNN等）并编程实现之。

神经元模型

以监督学习为例，假设我们有训练样本集 (x(i),y(i) <script type="math/tex" id="MathJax-Element-1">(x^{(i)},y^{(i)}</script>) ，那么神经网络算法能够提供一种复杂且非线性的假设模型 hW,b(x) <script type="math/tex" id="MathJax-Element-2"> h_{W,b}(x)</script>，它具有参数 W,b <script type="math/tex" id="MathJax-Element-3">W, b</script>，可以以此参数来拟合我们的数据。
为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示

后文我们会介绍有多个神经元的神经网络，因此单个神经元模型我们后面会简化成如下图：

这个“神经元”是一个以 x1,x2,x3 <script type="math/tex" id="MathJax-Element-4"> x_1, x_2, x_3</script> 及截距 +1 <script type="math/tex" id="MathJax-Element-5">+1</script> 为输入值的运算单元，其输出为 hW,b(x)=f(WTx)=f(∑3i=1Wixi+b) <script type="math/tex" id="MathJax-Element-6">h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b)</script> ，其中函数 f:R↦R <script type="math/tex" id="MathJax-Element-7"> f : \Re \mapsto \Re</script>被称为“激活函数”。在本教程中，我们选用sigmoid函数作为”激活函数” f(⋅) <script type="math/tex" id="MathJax-Element-8"> f(\cdot)</script>

sigmoid函数:

<script type="math/tex; mode=display" id="MathJax-Element-9"> f(z) = \frac{1}{1+\exp(-z)}. </script>
sigmoid函数图像如下：

可以看出，这个单一“神经元”的输入－输出映射关系其实就是一个逻辑回归（logistic regression）。
虽然本系列教程采用sigmoid函数，但你也可以选择双曲正切函数（tanh）.
tanh函数: <script type="math/tex; mode=display" id="MathJax-Element-10"> f(z) = tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}, </script>
tanh函数的图像如下:

tanh(z) <script type="math/tex" id="MathJax-Element-11"> \tanh(z) </script> 函数是sigmoid函数的一种变体，它的取值范围为 [−1,1] <script type="math/tex" id="MathJax-Element-12"> [-1,1]</script> ，而不是sigmoid函数的 [0,1] <script type="math/tex" id="MathJax-Element-13"> [0,1]</script>。

注意，这里我们不再令 x0=1 <script type="math/tex" id="MathJax-Element-14"> x_0=1</script> 。取而代之，我们用单独的参数 b <script type="math/tex" id="MathJax-Element-15"> b</script> 来表示截距。

最后要说明的是，有一个等式我们以后会经常用到：如果选择 f(z)=1/(1+exp(−z))<script type="math/tex" id="MathJax-Element-16"> f(z) = 1/(1+\exp(-z))</script> ，也就是sigmoid函数，那么它的导数就是 f′(z)=f(z)(1−f(z)) <script type="math/tex" id="MathJax-Element-17"> f'(z) = f(z) (1-f(z))</script> （如果选择tanh函数，那它的导数就是 f′(z)=1−(f(z))2 <script type="math/tex" id="MathJax-Element-18"> f'(z) = 1- (f(z))^2</script> ，你可以根据sigmoid（或tanh）函数的定义自行推导这个等式。

神经网络模型

所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：

我们使用蓝色圆圈来表示神经网络的输入，标上“ +1 <script type="math/tex" id="MathJax-Element-137"> +1</script>”的圆圈被称为”’偏置节点”’，也就是截距项。神经网络最左边的一层叫做”’输入层”’，最右的一层叫做”’输出层”’（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做”’隐藏层”’，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个”’输入单元”’（偏置单元不计在内），3个”’隐藏单元”’及一个”’输出单元”’。

本例约定：
（1）我们用 nl <script type="math/tex" id="MathJax-Element-138"> {n}_l </script> 来表示网络的层数，本例中 nl=3 <script type="math/tex" id="MathJax-Element-139"> n_l=3</script> 。
（2）我们将第 l <script type="math/tex" id="MathJax-Element-140"> l</script> 层记为 Ll<script type="math/tex" id="MathJax-Element-141"> L_l</script> ，于是 L1 <script type="math/tex" id="MathJax-Element-142"> L_1</script> 是输入层，输出层是 Lnl <script type="math/tex" id="MathJax-Element-143"> L_{n_l}</script> 。
（3）本例神经网络有参数 (W,b)=(W(1),b(1),W(2),b(2)) <script type="math/tex" id="MathJax-Element-144"> (W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})</script>，其中 W(l)ij <script type="math/tex" id="MathJax-Element-145"> W^{(l)}_{ij}</script>（下面的式子中用到）是第 l <script type="math/tex" id="MathJax-Element-146"> l</script>层第 j<script type="math/tex" id="MathJax-Element-147"> j</script> 单元与第 l+1 <script type="math/tex" id="MathJax-Element-148"> l+1</script> 层第 i <script type="math/tex" id="MathJax-Element-149"> i</script> 单元之间的联接参数（其实就是连接线上的权重，注意标号顺序）， b(l)i<script type="math/tex" id="MathJax-Element-150"> b^{(l)}_i</script> 是第 l+1 <script type="math/tex" id="MathJax-Element-151"> l+1</script> 层第 i <script type="math/tex" id="MathJax-Element-152"> i</script> 单元的偏置项。因此在本例中， W(1)∈R3×3<script type="math/tex" id="MathJax-Element-153"> W^{(1)} \in \Re^{3\times 3}</script> ， W(2)∈R1×3 <script type="math/tex" id="MathJax-Element-154"> W^{(2)} \in \Re^{1\times 3}</script> 。注意，没有其他单元连向偏置单元(即偏置单元没有输入)，因为它们总是输出 +1 <script type="math/tex" id="MathJax-Element-155"> +1</script>。同时，我们用 sl <script type="math/tex" id="MathJax-Element-156"> s_l</script> 表示第 l <script type="math/tex" id="MathJax-Element-157"> l</script> 层的节点数（偏置单元不计在内）。
（4）我们用 a(l)i<script type="math/tex" id="MathJax-Element-158"> a^{(l)}_i</script> 表示第 l <script type="math/tex" id="MathJax-Element-159"> l</script> 层第 i<script type="math/tex" id="MathJax-Element-160"> i</script> 单元的”’激活值”’（输出值）。当 l=1 <script type="math/tex" id="MathJax-Element-161"> l=1</script> 时， a(1)i=xi <script type="math/tex" id="MathJax-Element-162"> a^{(1)}_i = x_i</script> ，也就是第 i <script type="math/tex" id="MathJax-Element-163"> i</script> 个输入值（输入值的第 i<script type="math/tex" id="MathJax-Element-164"> i</script> 个特征）。对于给定参数集合 W,b <script type="math/tex" id="MathJax-Element-165"> W,b</script> ，我们的神经网络就可以按照函数 hW,b(x) <script type="math/tex" id="MathJax-Element-166"> h_{W,b}(x)</script> 来计算输出结果。本例神经网络的计算步骤如下：

<script type="math/tex; mode=display" id="MathJax-Element-167">\begin{align} a_1^{(2)} &= f(W_{11}^{(1)}x_1 + W_{12}^{(1)} x_2 + W_{13}^{(1)} x_3 + b_1^{(1)}) \\ a_2^{(2)} &= f(W_{21}^{(1)}x_1 + W_{22}^{(1)} x_2 + W_{23}^{(1)} x_3 + b_2^{(1)}) \\ a_3^{(2)} &= f(W_{31}^{(1)}x_1 + W_{32}^{(1)} x_2 + W_{33}^{(1)} x_3 + b_3^{(1)}) \\ h_{W,b}(x) &= a_1^{(3)} = f(W_{11}^{(2)}a_1^{(2)} + W_{12}^{(2)} a_2^{(2)} + W_{13}^{(2)} a_3^{(2)} + b_1^{(2)}) \end{align}</script>

（5）我们用 z(l)i <script type="math/tex" id="MathJax-Element-168"> z^{(l)}_i</script> 表示第 l <script type="math/tex" id="MathJax-Element-169"> l</script> 层第 i<script type="math/tex" id="MathJax-Element-170"> i</script> 单元输入加权和（包括偏置单元），比如， z(2)i=∑nj=1W(1)ijxj+b(1)i <script type="math/tex" id="MathJax-Element-171"> z_i^{(2)} = \sum_{j=1}^n W^{(1)}_{ij} x_j + b^{(1)}_i</script> ，则 a(l)i=f(z(l)i) <script type="math/tex" id="MathJax-Element-172"> a^{(l)}_i = f(z^{(l)}_i)</script> 。

这样我们就可以得到一种更简洁的表示法。这里我们将激活函数 f(⋅) <script type="math/tex" id="MathJax-Element-173"> f(\cdot)</script> 扩展为用向量（分量的形式）来表示，即 f([z1,z2,z3])=[f(z1),f(z2),f(z3)] <script type="math/tex" id="MathJax-Element-174"> f([z_1, z_2, z_3]) = [f(z_1), f(z_2), f(z_3)]</script> ，那么，上面的等式可以更简洁地表示为：

<script type="math/tex; mode=display" id="MathJax-Element-175">\begin{align} z^{(2)} &= W^{(1)} x + b^{(1)} \\ a^{(2)} &= f(z^{(2)}) \\ z^{(3)} &= W^{(2)} a^{(2)} + b^{(2)} \\ h_{W,b}(x) &= a^{(3)} = f(z^{(3)}) \end{align}</script>

我们将上面的计算步骤叫作”前向传播（forward propagation）”。回想一下，之前我们用 a(1)=x <script type="math/tex" id="MathJax-Element-176"> a^{(1)} = x</script> 表示输入层的激活值，那么给定第 l <script type="math/tex" id="MathJax-Element-177"> l</script> 层的激活值a(l)<script type="math/tex" id="MathJax-Element-178"> a^{(l)}</script> 后，第 l+1 <script type="math/tex" id="MathJax-Element-179"> l+1</script> 层的激活值 a(l+1) <script type="math/tex" id="MathJax-Element-180"> a^{(l+1)}</script> 就可以按照下面步骤计算得到：

:

<script type="math/tex; mode=display" id="MathJax-Element-181">\begin{align} z^{(l+1)} &= W^{(l)} a^{(l)} + b^{(l)} \\ a^{(l+1)} &= f(z^{(l+1)}) \end{align}</script>

将参数矩阵化，使用矩阵－向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。

目前为止，我们讨论了一种神经网络，我们也可以构建另一种”结构”的神经网络（这里结构指的是神经元之间的联接模式），也就是包含多个隐藏层的神经网络。最常见的一个例子是 nl <script type="math/tex" id="MathJax-Element-182"> n_l</script> 层的神经网络，第 1 <script type="math/tex" id="MathJax-Element-183"> 1</script> 层是输入层，第 nl<script type="math/tex" id="MathJax-Element-184"> n_l</script> 层是输出层，中间的每个层 l <script type="math/tex" id="MathJax-Element-185"> l</script> 与层 l+1<script type="math/tex" id="MathJax-Element-186"> l+1</script> 紧密相联。这种模式下，要计算神经网络的输出结果，我们可以按照之前描述的等式，按部就班，进行前向传播，逐一计算第 L2 <script type="math/tex" id="MathJax-Element-187"> L_2</script> 层的所有激活值，然后是第 L3 <script type="math/tex" id="MathJax-Element-188"> L_3</script> 层的激活值，以此类推，直到第 Lnl <script type="math/tex" id="MathJax-Element-189"> L_{n_l}</script> 层。这是一个”’前馈”’神经网络的例子，因为这种联接图没有闭环或回路。

复杂一点儿的神经网络也可以有多层隐藏层和多个输出单元。比如，下面的神经网络有两层隐藏层： L2 <script type="math/tex" id="MathJax-Element-190"> L_2</script> 及 L3 <script type="math/tex" id="MathJax-Element-191"> L_3</script> ，输出层 L4 <script type="math/tex" id="MathJax-Element-192"> L_4</script> 有两个输出单元。

要求解这样的神经网络，需要样本集 (x(i),y(i)) <script type="math/tex" id="MathJax-Element-193"> (x^{(i)}, y^{(i)})</script> ，其中 y(i)∈R2 <script type="math/tex" id="MathJax-Element-194"> y^{(i)} \in \Re^2</script> 。如果你想预测的输出是多个的，那这种神经网络很适用。（比如，在医疗诊断应用中，患者的体征指标就可以作为向量的输入值，而不同的输出值 yi <script type="math/tex" id="MathJax-Element-195"> y_i</script> 可以表示不同的疾病存在与否。）

题外话，数学公式的编辑真是个非常坑爹的事情……….

参考资料：

（1）《人工智能：一种现代的方法》第二版.

（2）UFLDL.