以下是LeNet、AlexNet、VGGNet、GoogLeNet、ResNet五种模型的对比及相关名词解释回答：

五种模型对比

相关名词解释

• 卷积层作用

  • 通过卷积核在图像上滑动进行卷积操作，提取图像的局部特征。

• 卷积层最重要的两个特点：

  • 局部连接：减少了参数和计算量
  • 权值共享：降低过拟合风险，增强泛化能力。

• 感受野

  • 输出层一个元素对应输入层尺寸的大小
  • 计算公式：感受野大小n = （卷积核大小n - 1）* 步长 + 感受野大小n-1

• 归一化

  • 把输入数据按照一定方法，调整到一个特定范围，使数据更容易被处理，提高准确性和效率。

• 批量归一化（BN）

  • 通过归一化每一层的输入，加速训练过程，提高模型性能，并增强模型的稳定性。

• 独热编码

  • 将分类数据转换为适合机器学习算法处理的数值格式

• 泛化能力

  • 对未知数据的适应和预测能力

• 激活函数

  • 引入非线性特性，使网络能够学习和模拟复杂的模式。没有激活函数，神经网络无论有多少层，本质上都只是一个线性模型。
  • ReLU
    • 计算简单，速度快；模型收敛快，解决梯度消失
  • sigmoid ：二分类
  • softmax：多分类
  • Sigmoid 是用来处理二分类问题的，输出一个概率值；而 Softmax 是用来处理多分类问题的，输出多个类别的概率分布。

• 池化层

  • 降低维度，减少计算量。对卷积层提取的特征进行下采样。分最大池化和平均池化

• 全链接层

  • 将信息整合，然后分类回归处理

• dropout

  • 使一部分神经元随机失活，避免过拟合。

• 什么是残差连接（ResNet）

  • 在网络中，将某一层的输入直接与后面若干层的输出相加，作为后续层的输入，解决了随着网络加深出现的梯度消失和退化问题。

• Inception模块的作用(GoogLeNet)

  • Inception模块是GoogLeNet的核心组件。它通过并行使用多个卷积核和池化操作，然后将结果拼接在一起，能够同时提取不同尺度的特征，增加了网络对不同尺度特征的适应性，提高特征提取的能力，减少了参数量，提高计算效率。

• 为什么设置批处理大小

  • 内存限制、计算效率、优化性能和收敛速度之间找到一个平衡点

• 学习率

  • 不能过大不能过小，过大可能无法收敛，过小则会收敛过慢。要取一个适中的值

• 训练参数

  • 卷积层：
    • 参数数量=(卷积核高度×卷积核宽度×输入通道数+1)×输出通道数
    • （3 x 3 x 3 +1）*2
    • 输入输出通道数可以理解为深度，如RGB深度为3
  • 池化层：无
  • 全连接层：
    • 参数数量=(输入神经元数+1)×输出神经元数

• 卷积后尺寸

  • 公式：（输入大小 - 卷积核大小+2 * padding）/步长 +1

• 训练轮次epochs

  • 定义
    • 整个训练集上完成一次正向传播和反向传播的过程。
  • 作用：
    • 通过多轮训练降低损失值。
  • 数量：适量。
    • 过多导致过拟合（模型对训练数据拟合得过好，但泛化能力差）
    • 过少的导致欠拟合（模型未能充分学习数据的特征）。
  • 早停：损失在多个连续的 Epoch 中不再下降，则可以提前停止训练。
  • 与迭代次数关系：在一个 Epoch 中，模型需要进行 B/N 次迭代(B：训练集总样本，N批处理大小) ，每次迭代处理一个批次的数据。

• 前向传播

  • 每个神经元都对它的输入和权重相乘再相加，然后加上偏置，最后使用非线性激活函数，重复此过程，直至传递到输出层，得出预测概率

• 反向传播

  • 目的是最小化损失函数的值

• 损失函数

  • 是监督学习 中 衡量模型预测值与真实值之间差异的函数，用于指导参数模型优化

• Alexnet 中的水平翻转

  • 增加数据多样性，减少过拟合

• 迁移学习

  • 将在一个任务上训练好的神经网络模型迁移到另一个相关任务上 （固定了卷积层，训练全连接层） 。可以使后训练的模型参数减少、准确率更高
  • 对于小规模数据集，采用迁移学习的VGG16比没有采用迁移学习的VGG11准确率更高，但是如果没有采用迁移学习的话，VGG16这样大型的神经网络与小规模数据集是不能够匹配的

• GoogLeNet的辅助分类器

  • 为了加速训练，防止梯度消失，避免过拟合，增强泛化能力

• 验证集

  • 训练数据划分的子集，参与模型的优化，调整超参数，避免过拟合

• 测试集

  • 独立于训练数据之外的，为了评估泛化能力

• 欠拟合

  • 模型无法捕捉数据中的规律

• 优化器

  • 目的：为了使网络更快的收敛
  • SGD：易受噪声影响，陷入局部最优解。
  • Adagrad（自适应学习率）：学习率下降太快，可能没收敛就停了