1.神经元模型

2.感知机与多层网络

3.误差逆传播算法

(A)BP算法:最小化训练集D上的累积误差

标准BP算法:更新规则基于单个Ek推导而得

两种策略防止过拟合:(1)早停(通过验证集来判断,训练集误差降低,验证集误差升高)(2) 正则化:在误差目标函数中引入描述网络复杂度的部分

4.全局最小与局部最小

跳出局部最小的方法:(1)不多参数初始化多个神经网络。去误差最小的解做为最终参数(2)模拟退火(3)遗传算法

5.其他神经网络

Boltzmann机 RBM受限玻尔兹曼机

自己学习时写了一些代码,有的还有一些问题,可以留言讨论,习题以后补上

https://github.com/makang101/machinelearning/tree/master/chapter5neuralNetwork

转载于:https://my.oschina.net/u/3870452/blog/1941099

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐