训练集上的误差

使用E<script type="math/tex" id="MathJax-Element-1026">E</script>表示神经网络在训练集合上的误差，则E<script type="math/tex" id="MathJax-Element-1027">E</script>是关于连接权值w<script type="math/tex" id="MathJax-Element-1028">\mathbf{w}</script>和阈值θ<script type="math/tex" id="MathJax-Element-1029">\theta</script>的函数。

最优

对w∗<script type="math/tex" id="MathJax-Element-1039">\mathbf{w}^*</script>和θ∗<script type="math/tex" id="MathJax-Element-1040">\theta^*</script>若存在ϵ>0<script type="math/tex" id="MathJax-Element-1041">\epsilon\gt0</script>使得，

<script type="math/tex; mode=display" id="MathJax-Element-1042"> \forall(\mathbf{w};\theta)\in\left\{(\mathbf{w};\theta)\mid||(\mathbf{w};\theta)-(\mathbf{w}^*;\theta^*)||\leq\epsilon\right\}, </script>都有E(w;θ)≥E(w∗;θ∗)<script type="math/tex" id="MathJax-Element-1043">E(\mathbf{w};\theta)\geq E(\mathbf{w}^*;\theta^*)</script>成立，则(w∗;θ∗)<script type="math/tex" id="MathJax-Element-1044">(\mathbf{w}^*;\theta^*)</script>为局部极小解，若对于参数空间内中的任意(w∗;θ∗)<script type="math/tex" id="MathJax-Element-1045">(\mathbf{w}^*;\theta^*)</script>都有E(w;θ)≥E(w∗;θ∗)<script type="math/tex" id="MathJax-Element-1046">E(\mathbf{w};\theta)\geq E(\mathbf{w}^*;\theta^*)</script>成立，则(w∗;θ∗)<script type="math/tex" id="MathJax-Element-1047">(\mathbf{w}^*;\theta^*)</script>为全局最小解。

跳出局部极小值

多个出发点

以多组不同参数值初始化多个神经网络，按照标准方法训练之后，取其中误差最小的解作为最终参数，这相当于从不同的初始点开始搜索，这样就有可能陷入不同的局部最小值，从中选择有可能获得更接近全局最小的结果。

模拟退火

模拟退火，每一步都以一定的概率接受比当前更差的结果，从而有助于“跳出”局部最小，在每一步的迭代中，接受“次优解”的概率要随着时间推移而降低，从而保证算法稳定。

随机梯度下降

随机梯度下降法与标准的梯度下降法不同，随机梯度下降法在计算梯度时加入了随机因素，于是即使陷入局部极小值点，它计算出的结果仍可能不为0<script type="math/tex" id="MathJax-Element-1064"></script>,这样就可能有机会跳出局部极小值点继续搜索。