里面部分图片内容出自chatgpt，总结的很好就用了。前置内容前向传播和损失函数和学习率

反向传播的基本概念

在训练神经网络时，我们希望通过优化损失函数来最小化预测值与真实值之间的误差。反向传播是实现这一目标的关键步骤。它主要包括以下几个步骤：

• 前向传播（Forward Propagation）：通过神经网络从输入层到输出层计算输出值。
• 计算损失（Loss Calculation）：通过损失函数计算预测值与真实值之间的误差。
• 反向传播（Backpropagation）：从输出层向输入层传播误差，计算每个参数对损失的梯度。
• 更新权重（Weight Update）：使用梯度下降等优化算法更新权重。

链式法则

反向传播中的链式法则

梯度下降更新参数

有了梯度之后，可以使用梯度下降算法来更新参数：

结论

反向传播本质上就是寻找合适的梯度，通过计算每个参数对损失函数的梯度，并使用这些梯度来更新参数，从而优化神经网络。理解和掌握反向传播和链式法则，对于有效地训练深度学习模型至关重要。