2022最新版-李宏毅机器学习深度学习课程-P29 RNN-2
突然一下升高是因为从右到左碰到陡峭的地方梯度一下变大了，所以弹回去了。原作者在训练时加上了小技巧——clipping：设置一个峰值，若超过则等于该峰值。当W>1时，微小的变化会引起很大的变化；当w
·
一、RNN网络结构
与时间有关的反向传播（每次不同）
损失函数
实验其实不容易跑，因为他的损失函数曲线幅度很大
画出来差不多是这个样子。突然一下升高是因为从右到左碰到陡峭的地方梯度一下变大了，所以弹回去了。
原作者在训练时加上了小技巧——clipping：设置一个峰值，若超过则等于该峰值。
梯度大的原因：
- 当W>1时，微小的变化会引起很大的变化；
- 当w<1时，较大的变化带来的变化也很小。
RNN一些有用的变形
LSTM以及简化为双门的GRU
Clockwise RNN && SCRN
多对一
多长对多短
这里是最后删去重复的字符
改加上null符号后，可以实现一些叠词
CTC方法
多对多（无限制）
加上一个断的符号，可以及时终止
可以用在机器学习上
语法分析
自动编码器
可以提高传输效率和节约成本
可用于文本、音频
可以通过音频做一些相似性搜索
训练过程
向量可视化
实例：Chat-bot
基于注意力的模型
增加了能够存储的能力
拥有阅读理解能力/问答能力
视觉问答
语音问答
模型架构
RNN vs Structured Learning
结合使用
与GAN做对比
以后会开一门新课，专门讲结构化学习
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献5条内容
所有评论(0)