深度学习中训练loss一直不变
·
训练loss一直不变
在之前的文章中，分别做了LeNet，NiNNet，AlexNet，VGGNet的训练测试，在NiN和VGG中，经常遇到训练时loss一直居高不下的原因，网上较为完善的解释一般如下：
我应该属于其中的第四种，反复修改了学习率，损失函数和momentum参数后，跑了很久它终于开始收敛了，数据集大概有60k，在经过两个epoch后，开始收敛，可能是由于心浮气躁，每次测试都只让记录了几个batch参数，每个batch1500张训练图左右，没看到效果，便认为它已经没有进步了放弃了，甚至怀疑自己是否让这个网络参数更新了吗，后面loss终于开始变了以后，才松了一口气，在此记录一下，以便以后查看。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)