基于音频和文本的情感识别开源项目推荐

该项目是一个基于音频和文本的多模态情感识别系统，主要使用Python语言和PyTorch框架进行开发。

1. 项目基础介绍

本项目采用多模态方法，结合音频和文本信息进行情感识别。通过使用IEMOCAP数据集，该系统能够处理可变长度的音频输入和文本数据，以实现情感识别的目标。项目中包含音频模型、文本模型以及多模态融合方法，旨在提高情感识别的准确性和可靠性。

2. 核心功能

• 音频模型：使用IEMOCAP数据集中的音频数据，提取对数谱和3D谱。采用修改后的AlexNet模型处理可变长度的音频信号，输入数据经过AlexNet模型进行特征提取。
• 文本模型：将IEMOCAP数据集中的文本（句子）输入到BERT模型中，将其表示为768维向量。
• 多模态方法：将单独训练的音频模型和文本模型的嵌入向量进行拼接，然后输入到分类层进行情感分类。分类层是唯一需要训练的部分。

3. 最近更新的功能

• 模型优化：对音频模型和文本模型进行了优化，提高了模型的识别准确率。
• 数据处理：对IEMOCAP数据集中的音频数据进行了处理，去除了其中一秒的音频数据，以优化数据质量。
• 代码重构：对项目代码进行了重构，提高了代码的可读性和可维护性。
• 文档更新：更新了项目README文件，提供了更详细的安装和使用说明。