引言

        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。

---

1、微分中值定理

        1）费马引理，设函数 $f(x)$ 在点 $x_0$ 的某邻域 $U(x_0)$ 内有定义，并且在 $x_0$ 处可导，如果对任意的 $x\in U(x_0)$ ，有 $f(x)\le f(x_0)$ （或 $f(x)\ge f(x_0)$ ），那么 $f^{\prime }(x_0)=0$ ，通常称导数等于零的点为函数的驻点（或稳定点，临界点）。

        2）罗尔定理，如果函数 $f(x)$ 满足：
                （1）在闭区间 $[a,b]$ 上连续；
                （2）在开区间 $(a,b)$ 内可导；
                （3）在区间端点处的函数值相等，即 $f(a)=f(b)$ ，
        那么在 $(a,b)$ 内至少有一点 $\xi$ （ $a<\xi <b$ ），使得 $f^{\prime }(\xi )=0$ 。

        3）拉格朗日中值定理（微分中值定理），如果函数 $f(x)$ 满足：
                （1）在闭区间 $[a,b]$ 上连续；
                （2）在开区间 $(a,b)$ 内可导，
        那么在 $(a,b)$ 内至少有一点 $\xi$ （ $a<\xi <b$ ），使以下等式成立：$$f^{\prime }(\xi )=\frac{f(b)-f(a)}{b-a}$$

        4）如果函数 $f(x)$ 在区间 $I$ 上连续， $I$ 内可导且导数恒为零，那么 $f(x)$ 在区间 $I$ 上是一个常数。

        5）柯西中值定理，如果函数 $f(x)$ 及 $F(x)$ 满足：
                （1）在闭区间 $[a,b]$ 上连续；
                （2）在开区间 $(a,b)$ 内可导；
                （3）对任一 $x\in (a,b)$ ， $F^{\prime }(x)\ne 0$ ，
        那么在 $(a,b)$ 内至少有一点 $\xi$ ，使以下等式成立：$$\frac{f(b)-f(a)}{F(b)-F(a)}=\frac{f^{\prime }(\xi )}{F^{\prime }(\xi )}$$

---

2、洛必达法则

        1）设：
        （1）当 $x\to a$ 时，函数 $f(x)$ 及 $F(x)$ 都趋于零；
        （2）在点 $a$ 的某去心邻域内， $f^{\prime }(x)$ 及 $F^{\prime }(x)$ 都存在且 $F^{\prime }(x)\ne 0$ ；
        （3） ${\lim }_{x\to a}\frac{f^{\prime }(x)}{F^{\prime }(x)}$ 存在（或为无穷大），
        则： $$\underset{x\to a}{\lim }\frac{f(x)}{F(x)}=\underset{x\to a}{\lim }\frac{f^{\prime }(x)}{F^{\prime }(x)}$$

        2）设：
        （1）当 $x\to \infty$ 时，函数 $f(x)$ 及 $F(x)$ 都趋于零；
        （2）当 $|x|>N$ 时 $f^{\prime }(x)$ 与 $F^{\prime }(x)$ 都存在，且 $F^{\prime }(x)\ne 0$ ；
        （3） ${\lim }_{x\to \infty }\frac{f^{\prime }(x)}{F^{\prime }(x)}$ 存在（或为无穷大），
        则： $$\underset{x\to \infty }{\lim }\frac{f(x)}{F(x)}=\underset{x\to \infty }{\lim }\frac{f^{\prime }(x)}{F^{\prime }(x)}$$

---

3、泰勒公式

        1）如果函数 $f(x)$ 在 $x_0$ 处具有 $n$ 阶导数，那么存在 $x_0$ 的一个邻域，对于该邻域内的任一 $x$ ，有 $$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2!}(x-x_0{)}^2+\cdots +\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+R_n(x)$$
        其中 $R_n(x)=o((x-x_0{)}^n)$ 。

        2）如果函数 $f(x)$ 在 $x_0$ 的某个邻域 $U(x_0)$ 内具有 $(n+1)$ 阶导数，那么对任一 $x\in U(x_0)$ ，有
$$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2!}(x-x_0{)}^2+\cdots +\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+R_n(x)$$
        其中
$$R_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}(x-x_0{)}^{n+1}$$
        这里 $\xi$ 是 $x_0$ 与 $x$ 之间的某个值。

---

4、函数的单调性与曲线的凹凸性

        定义：设 $f(x)$ 在区间 $I$ 上连续，如果对 $I$ 上任意两点 $x_1,x_2$ 恒有 $f(\frac{x_1+x_2}{2})<\frac{f(x_1)+f(x_2)}{2}$ 那么称 $f(x)$ 在 $I$ 上的图形是凹的；如果恒有 $f(\frac{x_1+x_2}{2})>\frac{f(x_1)+f(x_2)}{2}$ ，那么称 $f(x)$ 在 $I$ 上的图形是凸的。

        定理：
        1）设函数 $y=f(x)$ 在 $[a,b]$ 上连续，在 $(a,b)$ 内可导。
                （1）如果在 $(a,b)$ 内 $f^{\prime }(x)\ge 0$ ，且等号仅在有限多个点处成立，那么函数 $y=f(x)$ 在 $[a,b]$ 上单调增加；
                （2）如果在 $(a,b)$ 内 $f^{\prime }(x)\le 0$ ，且等号仅在有限多个点处成立，那么函数 $y=f(x)$ 在 $[a,b]$ 上单调减少。

        2）设 $f(x)$ 在 $[a,b]$ 上连续，在 $(a,b)$ 内具有一阶和二阶导数，那么：
                （1）若在 $(a,b)$ 内 $f^{\prime \prime }(x)>0$ ，则 $f(x)$ 在 $[a,b]$ 上的图形是凹的；
                （2）若在 $(a,b)$ 内 $f^{\prime \prime }(x)<0$ ，则 $f(x)$ 在 $[a,b]$ 上的图形是凸的。

---

5、函数的极值

        定义：设函数 $f(x)$ 在点 $x_0$ 的某邻域 $U(x_0)$ 内有定义，如果对于去心邻域 $\stackrel{o}{U}(x_0)$ 内的任一 $x$ ，有 $f(x)<f(x_0)$ （或 $f(x)>f(x_0)$ ），那么就称 $f(x_0)$ 是函数 $f(x)$ 的一个极大值（或极小值），函数的极大值与极小值统称为函数的极值，使函数取得极值的点称为极值点。

        定理：
        1）设函数 $f(x)$ 在 $x_0$ 处可导，且在 $x_0$ 处取得极值，则 $f^{\prime }(x_0)=0$ 。

        2）设函数 $f(x)$ 在 $x_0$ 处连续，且在 $x_0$ 的某去心邻域 $\stackrel{o}{U}(x_0,\delta )$ 内可导：
                （1）若 $x\in (x_0-\delta ,x_0)$ 时， $f^{\prime }(x)>0$ ，而 $x\in (x_0,x_0+\delta )$ 时， $f^{\prime }(x)<0$ ，则 $f(x)$ 在 $x_0$ 处取得极大值；
                （2）若 $x\in (x_0-\delta ,x_0)$ 时， $f^{\prime }(x)<0$ ，而 $x\in (x_0,x_0+\delta )$ 时， $f^{\prime }(x)>0$ ，则 $f(x)$ 在 $x_0$ 处取得极小值；
                （3）若 $x\in \stackrel{o}{U}(x_0,\delta )$ 时， $f^{\prime }(x)$ 的符号保持不变，则 $f(x)$ 在 $x_0$ 处没有极值。

        3）设函数 $f(x)$ 在 $x_0$ 处具有二阶导数且 $f^{\prime }(x_0)=0$ ， $f^{\prime \prime }(x_0)\ne 0$ ，则：
                （1）当 $f^{\prime \prime }(x_0)<0$ 时，函数 $f(x)$ 在 $x_0$ 处取得极大值；
                （2）当 $f^{\prime \prime }(x_0)>0$ 时，函数 $f(x)$ 在 $x_0$ 处取得极小值。

---

6、求方程的近似解

        1、二分法；
        2、切线法；
        3、割线法。