一.循环神经网络（RNN-Recurrent Neural Network）

概念：RNN是一种用于处理序列数据的神经网络架构。RNN具有循环连接，使得网络能够在处理当前输入时考虑先前的输入，从而捕捉序列中的时序信息。

二.长短期记忆网络（LSTM)

RNN在处理长序列时可能会遇到梯度消失或爆炸的问题。

概念：LSTM是一种特殊类型的RNN，专门设计用来解决标准 RNN 在处理长序列时的梯度消失和梯度爆炸问题。

•遗忘门：决定从单元状态中丢弃哪些信息。

•输入门：决定哪些新信息将被添加到单元状态中。

•输出门：决定当前隐藏状态的输出。

示例

情感分析：我今天心情很好，因为天气晴朗

RNN

•分词：["我", "今天", "心情", "很好", "因为", "天气", "晴朗"]

•词向量表示：每个单词通过词嵌入转换为向量表示，作为RNN的输入。

•隐藏状态初始化为零向量。

•逐步读取每个单词向量，通过一个激活函数计算新的隐藏状态

•输出：在处理完整个句子后，RNN会使用最后的隐藏状态来进行情感分类。通过一个全连接层和激活函数将隐藏状态转换为情感标签（积极）。

LSTM

•分词：["我", "今天", "心情", "很好", "因为", "天气", "晴朗"]

•词向量表示：每个单词通过词嵌入转换为向量表示，作为RNN的输入。

•初始化隐藏状态和单元状态。

•逐步读取每个单词向量：计算遗忘门

                                        计算输出门

                                        更新单元状态；

                                        输出当前的隐藏状态。

•最终隐藏状态包含整个句子的综合信息，通过全连接层和激活函数判断情感。

实验

•任务：对一条文本进行处理，输出积极/消极的二分类。

•数据集：电影评论数据集

•embedding预训练加载使用斯坦福大学的预训练词向量

•实验结果：