神经网络——梯度消失与梯度爆炸

沐雲小哥

388人浏览 · 2021-09-17 13:09:01

沐雲小哥 · 2021-09-17 13:09:01 发布

（1）梯度不稳定问题

什么是梯度不稳定问题：

深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。

原因：

前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。

（2）梯度消失

原因：

深层网络中
采用了不合适的损失函数，比如sigmoid。

（3）梯度爆炸

原因：

一般出现在深层网络和权值初始化太大的情况下。
在这里插入图片描述

Relu函数负半轴也存在的倒数为0，那么也会存在梯度消失的情况。

解决方案

在这里插入图片描述

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模