​ 通用近似定理（Universal Approximation Theorem）表明：

​ 一个至少有一个隐藏层的神经网络【输入层-隐藏层-输出层】，同时要求激活函数有挤压性质，如 Sigmoid 函数、ReLU 函数，且输出层是线性的。这样的神经网络在隐藏层神经元足够多的情况下，能以任意的精度去近似任何连续函数。

​ 证明：

​ Step1. 问题定义：设F是一个定义在n维单位立方体$[0,1{]}^n$上的连续函数族，$C([0,1{]}^n)$表示上的连续函数空间，对于$f\in F$，我们希望用一个神经网络来逼近这个函数。

​ Step2. 构造单层前馈神经网络：输入$x=(x_1,x_2,\cdots ,x_n)\in [0,1{]}^n$，输出为y，隐藏层有m个神经元，激活函数为$\sigma$，输出层为线性函数y，$w_i$是输出权重，$v_{i,j}$是输入权重，$b_i$是偏置，则输出函数可表示为，其实$w_i$是我们的要学习的参数
$$y=\sum _{i=1}^m{w}_i\sigma \left(\sum _{j=1}^n{v}_{ij}{x}_j+b_i\right)$$
​ Step3. 构造损失函数：
$$E={\int }_{[0,1{]}^n}(y-f(x){)}^{2}dx$$
​

​ Step4. Weierstrass 逼近定理表明对于任意给定的在闭区间上连续的函数，可以用 多项式函数来逼近。由于激活函数$\sigma$是连续的，$\forall ϵ>0,\exists p(x),\text{ s.t. }|\sigma (x)-p(x)|<ϵ,\forall x\in \mathbb{R}$

​ 进而化简误差函数和目标函数：
$$\begin{gathered} y=\sum _{i=1}^m{w}_{i}p(\sum _{j=1}^n{v}_{ij}{x}_j+b_i) \\ E={\int }_{[0,1{]}^n}{\left(\sum _{i=1}^m{w}_{i}p\left(\sum _{j=1}^n{v}_{ij}{x}_j+b_i\right)-f(x)\right)}^{2}dx \end{gathered}$$
​ Step5. 由于$f$是连续函数，$p$是多项式函数，所以函数${\sum }_{i=1}^m{w}_{i}p\left({\sum }_{j=1}^n{v}_{ij}{x}_j+b_i\right)-f(x)$是连续函数。根据连续函数在闭区间上的性质(Weierstrass逼近定理)，对于任意的$ϵ>0$，存在一个正数$M$，使得对于所有的$x\in [0,1{]}^n$
$$\left|\sum _{i=1}^m{w}_{i}p\left(\sum _{j=1}^n{v}_{ij}{x}_j+b_i\right)-f(x)\right|<\frac{ϵ}{2}$$
​ 绝对值小于，则去绝对值号可得到${\int }_{[0,1{]}^n}(f(x)-f(x^{\prime }))dx<\frac{ϵ}{2}$ 得证。其实本质就是根据微分法将定义域区间划分为若干的小立方体，那么在每个小立方体上都可以用一个多项式函数$p_i$来逼近$f(x)$在该小立方体的上取值，将这些多项式函数组合即可得到y。

​ Step6. 最终可以使得对于所有的$x\in [0,1{]}^n$，有$|y-f(x)|<ϵ$，其中$ϵ$是一个任意小的正数，表示逼近的精度。得证神经网络可以以任意精度逼近任意非线性函数。