一、BP神经网络

BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛也是最简单的神经网络模型之一。

1.1 BP神经网络的结构

• 神经网络结构如下
• 其中$x_1,x_2$为输入，$\phi$为激活函数。BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络，其算法称为BP算法，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。其均方误差表达式为$$\begin{array}{r}F=e_1^2+e_2^2=(d_1-y_1{)}^2+(d_2-y_2{)}^2\end{array}$$其中$e_1,e_2$为误差，$d_1,d_2$为样本真实标签，$y_1,y_2$为预测输。

1.2 BP神经网络算法流程

• BP神经网络包括前向传播的反向传播，其算法流程图如图所示，
  首先给定算法模型的输入输出，也就是所说的训练集。接着求取模型的实际输出，就是模型计算输出的真实值。之后进行误差的计算，当误差满足所设需求时，一般为90%-95%，或者循环次数达到所设置值时，则结束训练。否则求取误差梯度和权值阈值更新，重复求取实际输出。

1.3 前向传播

输入信号通过隐含层作用于输出节点，经过非线性变换，产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程。以$y_1$这一条线路为例，
其前向传播公式为$$\begin{array}{r}{y}_1^{(1)}=\phi (x_1\cdot w_{11}^{(1)}+x_2\cdot w_{12}^{(1)})\end{array}$$令$v_1^{(1)}=x_1\cdot w_{11}^{(1)}+x_2\cdot w_{12}^1$,则上式变为
$$\begin{array}{r}{y}_1^{(1)}=\phi (v_1^{(1)})\end{array}$$最终前向传播的结果为$$\begin{array}{r}{y}_1=\phi (y_1^{(1)}\cdot w_{11}^{(2)}+y_2^{(1)}\cdot w_{12}^{(2)})\end{array}$$最终误差为：$$\begin{array}{r}{e}_1^2=[d_1-\phi (y_1^{(1)}\cdot w_{11}^{(2)}+y_2^{(1)}\cdot w_{12}^{(2)}){]}^2\end{array}$$令$v_1^{(2)}=y_1^{(1)}\cdot w_{11}^{(2)}+y_2^{(1)}\cdot w_{12}^{(2)}$得到，$$\begin{array}{r}{e}_1^2=[d_1-\phi (v_1^{(2)}){]}^2\end{array}$$至此，前向传播完毕。

1.4 反向传播

将输出误差通过隐含层向输入层逐层反传，并将误差分摊给各层所有单元，以从各层获得的误差信号作为调整各单元权值的依据。通过调整输入节点与隐层节点的联接强度和隐层节点与输出节点的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数(权值和阈值)，训练即告停止。其权值的更新需要求偏导，公式如下：
$$\begin{array}{r}\frac{\partial F}{\partial w_{11}^{(2)}}=\frac{\partial e_1^2}{\partial w_{11}^{(2)}}+\frac{\partial e_2^2}{\partial w_{11}^{(2)}}\end{array}$$以$\frac{\partial e_1^2}{\partial w_{11}^{(2)}}$为例，将$e_1^2$带入得：$$\begin{array}{rl}\frac{\partial e_1^2}{\partial w_{11}^{(2)}}& =-2[d_1-\phi (y_1^{(1)}\cdot w_{11}^{(2)}+y_2^{(1)}\cdot w_{12}^{(2)})]{\phi }^{{}^{\prime }}(y_1^{(1)}\cdot w_{11}^{(2)}+y_2^{(1)}\cdot w_{12}^{(2)})y_1^{(1)}\\ & =-2e_1{\phi }^{{}^{\prime }}(v_1^{(2)})y_1^{(1)}\end{array}$$同理可以得到$$\begin{array}{rl}& \frac{\partial e_1^2}{\partial w_{12}^{(2)}}=-2e_1{\phi }^{{}^{\prime }}(v_1^{(2)})y_2^{(1)}\\ & \frac{\partial e_2^2}{\partial w_{21}^{(2)}}=-2e_2{\phi }^{{}^{\prime }}(v_2^{(2)})y_1^{(1)}\\ & \frac{\partial e_1^2}{\partial w_{22}^{(2)}}=-2e_2{\phi }^{{}^{\prime }}(v_2^{(2)})y_2^{(1)}\end{array}$$接着可以使用梯度下降法进行权重的更新，即$$\begin{array}{r}w(new)=w(old)-\eta \cdot \frac{\partial F}{\partial w}\end{array}$$其中$\eta$为学习率，最终结果写成矩阵形式为：$$\left[\begin{array}{cc}{w}_{11}^{(2)}(k+1)& w_{12}^{(2)}(k+1)\\ w_{21}^{(2)}(k+1)& w_{11}^{(2)}(k+1)\end{array}\right]=\left[\begin{array}{cc}{w}_{11}^{(2)}(k)& w_{12}^{(2)}(k)\\ w_{21}^{(2)}(k)& w_{11}^{(2)}(k)\end{array}\right]+2\eta \left[\begin{array}{c}{e}_1{\phi }^{{}^{\prime }}(v_1^{(2)})\\ e_2{\phi }^{{}^{\prime }}(v_2^{(2)})\end{array}\right]\left[\begin{array}{cc}{y}_1^{(1)}& y_2^{(2)}\end{array}\right](14)$$完成了对参数$w^{(2)}$得更新，接下来进行$w^{(1)}$的更新，对于$w^{(1)}$的更新使用的是链式求导法则
$$\begin{array}{r}\frac{\partial y}{\partial x}=\frac{\partial y}{\partial v}\cdot \frac{\partial v}{\partial x}\end{array}$$最终可以计算出上一层权值。这里不再进行推导演示。