一阶优化算法（如梯度下降）和二阶优化算法（如牛顿法）与泰勒级数

flyfish

一阶优化算法（First-Order Optimization Algorithms）

一阶优化算法主要依赖于目标函数的一阶导数（梯度）来进行迭代更新，以找到函数的极值点。梯度下降是最常见的一阶优化算法。
深度学习基础 - 梯度下降
深度学习基础 - 可视化梯度下降
深度学习基础 - 梯度下降背后的原理

梯度下降与泰勒级数

梯度下降利用目标函数的一阶泰勒展开来指导优化过程。具体来说，在点 $x_k$ 处，函数 $f(x)$ 的一阶泰勒展开为：
$$f(x+\Delta x)\approx f(x)+\nabla f(x{)}^T\Delta x$$其中，$\nabla f(x)$ 是函数 $f(x)$ 在点 $x$ 处的梯度。梯度下降算法使用这一展开式，通过选择一个步长 $\eta$，沿负梯度方向移动，以减小目标函数值。梯度下降的更新规则为：
$$x_{k+1}=x_k-\eta \nabla f(x_k)$$
在这个公式中：

• $\nabla f(x_k)$ 是 $f$ 在点 $x_k$ 处的梯度。

• $\eta$ 是学习率（步长），决定每次迭代移动的距离。

二阶优化算法（Second-Order Optimization Algorithms）

二阶优化算法不仅利用目标函数的一阶导数（梯度），还利用二阶导数（Hessian矩阵）来进行迭代更新。牛顿法是最常见的二阶优化算法。

牛顿法

牛顿法与泰勒级数

牛顿法利用目标函数的二阶泰勒展开来指导优化过程。具体来说，在点 $x_k$ 处，函数 $f(x)$ 的二阶泰勒展开为：
$$f(x+\Delta x)\approx f(x)+\nabla f(x{)}^T\Delta x+\frac{1}{2}\Delta x^T{H}_f(x)\Delta x$$其中，$\nabla f(x)$ 是函数 $f(x)$ 在点 $x$ 处的梯度，$H_f(x)$ 是函数 $f(x)$ 在点 $x$ 处的 Hessian 矩阵。牛顿法通过寻找使一阶导数为零的点来更新 $x$，即求解以下方程：
$$\nabla f(x_k+\Delta x)=0$$将上述方程代入二阶泰勒展开式中，并解出 $\Delta x$，可以得到：
$$\nabla f(x_k)+H_f(x_k)\Delta x=0$$
$$\Delta x=-H_f(x_k{)}^{-1}\nabla f(x_k)$$因此，牛顿法的更新规则为：
$$x_{k+1}=x_k-H_f(x_k{)}^{-1}\nabla f(x_k)$$
在这个公式中：

• $H_f(x_k)$ 是 $f$ 在点 $x_k$ 处的 Hessian 矩阵。

• $\nabla f(x_k)$ 是 $f$ 在点 $x_k$ 处的梯度。