深度学习中收敛是什么意思？
收敛的意思是指某个值一直在往我们所期望的阈值靠，就拿深度学习中loss损失来做示例，如下一张图是loss在每轮训练时的一个曲线图，可以看到loss一直从一开始的1.8在往1.0降，1.0就是我们期望的阈值，而1.8是最开始loss最大损失值。可以看到在训练过程中损失值一直在往我们期望的阈值上靠近，这个曲线非常平滑，没有出现曲线一直卡在某个点不下降或突然曲线上升了（这个情况是跑飞了）的原因，如果有可
·
原理
收敛的意思是指某个值一直在往我们所期望的阈值靠，就拿深度学习中loss损失来做示例，如下一张图是loss在每轮训练时的一个曲线图，可以看到loss一直从一开始的1.8在往1.0降，1.0就是我们期望的阈值，而1.8是最开始loss最大损失值。
可以看到在训练过程中损失值一直在往我们期望的阈值上靠近，这个曲线非常平滑，没有出现曲线一直卡在某个点不下降或突然曲线上升了（这个情况是跑飞了）的原因，如果有可能是学习率设置的问题。
下图这个就是一个损失时跑飞的一个曲线图：
可以看到原本下降的过程中又突然增长回来了，这个原因可能是你学习率在进行衰减时出现了问题，这样的损失值在更新权重时肯定会有影响，这种情况也叫局部震荡，即在一个特定阈值附近进行来回跳跃，在1.0的阈值之间来回跳跃始终迭代不前，这种情况就出现了无法收敛的问题。
学习率代表了你loss损失值的利用率，所以你loss衰减取决于你的学习率。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
17
0- 0
已为社区贡献6条内容
所有评论(0)