吴恩达深度学习02-2.9 学习率衰减

CtrlZ1

272人浏览 · 2020-12-08 19:54:34

CtrlZ1 · 2020-12-08 19:54:34 发布

引子

倘若不随着训练的进行来对学习率进行适当的控制，则会出现上图中蓝色曲线的情况，即最终参数值会以较大的幅度在收敛值附近摆动；倘若对其进行控制，则会出现上图中绿色曲线的情况，即最终参数值会以原来越小的幅度在收敛值附近摆动。
很显然，你更希望出现绿色的情况。

怎样对学习率进行控制

很明显，学习率需要不断的衰减，那么常用的衰减策略是什么呢？
吴恩达老师一共给出了三种计算公式，下面是第一种。
第2、3种:

可以看出，第二种属于指数下降。

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模