深度学习——不同梯度下降法的特点比较
·
1、标准梯度下降法（GD）
（1）每个样本都计算一次
（2）训练速度慢
（3）容易陷入局部最优解
2、批量梯度下降法（BGD]-每批样本计算一次
（1）训练速度较快
（2）选择平均梯度最小的方向
3、随机梯度下降法（SGD）-每批样本计算一次
（1）训练速度快（不需要计算每个样本的梯度或平均梯度）
（2）从批样本随机选择一个方向下降（某次有可能不正确，最终会正确）
（3）注意：
随机下降的跨度给小相当于标准梯度下降
随机的跨度给大相当于批量梯度下降
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献4条内容
所有评论(0)