神经网络的基本组成

神经网络由多个相互连接的神经元组成，通常分为输入层、隐藏层和输出层。输入层接收原始数据，隐藏层负责特征提取和转换，输出层生成最终预测或分类结果。每一层的神经元通过权重和偏置参数连接，形成复杂的非线性映射关系。

神经元模型

单个神经元是神经网络的基本计算单元，其数学表达式为：
$$z=\sum _{i=1}^n{w}_i{x}_i+b$$
其中 $w_i$ 是权重，$x_i$ 是输入，$b$ 是偏置。神经元的输出通过激活函数 $a=\sigma (z)$ 进行非线性变换，常见激活函数包括 Sigmoid、ReLU 和 Tanh。

前向传播过程

数据从输入层流向输出层的过程称为前向传播。每一层的计算可以表示为：
$${\mathbf{a}}^{(l)}=\sigma ({\mathbf{W}}^{(l)}{\mathbf{a}}^{(l-1)}+{\mathbf{b}}^{(l)})$$
其中 ${\mathbf{W}}^{(l)}$ 是第 $l$ 层的权重矩阵，${\mathbf{a}}^{(l-1)}$ 是上一层的输出，${\mathbf{b}}^{(l)}$ 是偏置向量。

反向传播算法

通过计算损失函数对参数的梯度，反向传播算法从输出层向输入层逐层调整权重和偏置。梯度下降公式为：
$$\mathbf{W}\leftarrow \mathbf{W}-\eta \frac{\partial L}{\partial \mathbf{W}}$$
其中 $\eta$ 是学习率，$L$ 是损失函数。链式法则用于高效计算各层梯度。

常见网络结构类型

全连接网络是最基础的架构，所有相邻层神经元两两相连。卷积神经网络（CNN）通过局部连接和权重共享处理网格数据，循环神经网络（RNN）则利用时序信息处理序列数据。Transformer 结构通过自注意力机制实现长距离依赖建模。

参数初始化方法

权重初始化影响训练效果，常用方法包括 Xavier 初始化：
$$W\sim \mathcal{N}(0,\sqrt{\frac{2}{n_{in}+n_{out}}})$$
和 He 初始化：
$$W\sim \mathcal{N}(0,\sqrt{\frac{2}{n_{in}}})$$
其中 $n_{in}$ 和 $n_{out}$ 分别表示输入和输出的神经元数量。

正则化技术

为防止过拟合，常用技术包括 L2 正则化：
$$L_{reg}=L+\frac{\lambda }{2}\Vert \mathbf{W}{\Vert }^2$$
Dropout 在训练时随机屏蔽部分神经元，Batch Normalization 则对层输入进行标准化处理。

优化算法

随机梯度下降（SGD）是基础优化方法，改进算法如 Momentum 引入历史梯度信息：
$$v_t=\gamma v_{t-1}+\eta {\nabla }_{\theta }J(\theta )$$
Adam 结合了动量和自适应学习率，成为当前主流选择。学习率调度器可动态调整学习率提升训练效果。神经网络基本结构