深度学习之什么是梯度
·
导数：理解为某处切线的斜率；
偏微分：向量，方向为各个变量的方向，对每一个变量都有一个偏微分；
梯度：向量，每个元素是在每个自变量上的偏微分；方向代表函数增长方向和增长趋势，模代表延这个方向增长的速率。
鞍点：在一个方向上取得极大值，一个方向取得极小值。
动量：momentum，理解为惯性，这样可以冲出局部极小值点，找到全局极小值点。
其他记录：
神经网络层数越深，loss函数越平滑，优化起来操作越容易进行。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
3
0- 0
已为社区贡献3条内容
所有评论(0)