深度学习系列——RNN/LSTM/GRU，seq2seq/attention机制
另外，seq2seq中decoder，attention的更新机制没有说清楚（其实就是梯度下降更新权重即可），若使用attention机制，则h0'没有说清楚（需要看下源码部分）（1）对于这里面RNN的表示中，使用了输入x和h的拼接描述，其他公式中也是如此。注意：这里补充了对于RNN，UVW三个矩阵的使用细节，很多喜欢使用下面这张图。（2）各符号图含义如下。
1、RNN/LSTM/GRU可参考：
https://zhuanlan.zhihu.com/p/636756912
（1）对于这里面RNN的表示中，使用了输入x和h的拼接描述，其他公式中也是如此
（2）各符号图含义如下
2、关于RNN细节，seq2seq以及attention机制的描述，参考：
https://zhuanlan.zhihu.com/p/28054589
注意：这里补充了对于RNN，UVW三个矩阵的使用细节，很多喜欢使用下面这张图
另外，seq2seq中decoder，attention的更新机制没有说清楚（其实就是梯度下降更新权重即可），若使用attention机制，则h0'没有说清楚（需要看下源码部分），对于lstm的h和c以及x序列没有说清楚（拼接后作为decoder每个lstm的输入）。
可以直接参考pytorch官方实践：
https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.htmlhttps://github.com/pytorch/tutorials/blob/main/intermediate_source/seq2seq_translation_tutorial.py
官方代码中，对于GPU模块的output和hidden说明如下
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献5条内容
所有评论(0)