吴恩达 深度学习 梯度下降法
关于梯度下降法 在这个是关于w和b的两个变量 因此产生的代价函数J是三维的 那么在这里我们对w和b来进行梯度下降法 就可以得到最优解 三维的不是很直观 因此下面将采用二维的来进行说明梯度下降法如图所示 在这里你可以理解为先固定齐整一个参数 对另外一个参数进行更新 则关于代价函数 变成了一个二维的图形 如上图所示 那么二维图形就将直观很多 比如这里固定的是b 则是关于一个w的函数 那么求w函数的最.
·
关于梯度下降法 在这个是关于w和b的两个变量 因此产生的代价函数J是三维的 那么在这里我们对w和b来进行梯度下降法 就可以得到最优解 三维的不是很直观 因此下面将采用二维的来进行说明梯度下降法
如图所示 在这里你可以理解为先固定齐整一个参数 对另外一个参数进行更新 则关于代价函数 变成了一个二维的图形 如上图所示 那么二维图形就将直观很多 比如这里固定的是b 则是关于一个w的函数 那么求w函数的最优解 w = w - a dJ/ dw 其中a表示学习率 可以称之为步长 对于步长的选取很重要 如果选大了 则会有可能跳过最优解 而步长选小了 则有可能会更新的太慢 效率太低了 暂时先不考虑学习率a的选取方法 通过这样一个式子 可以得到一个最优解 同理 当固定w时 也可以得到一个关于b的函数的最优解 那么这在三维上就变成了一个内循环了 在python代码上对于w b的偏导 直接写为 dw db
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)