SEED-V: Comparing Recognition Performance and Robustness of Multimodal Deep Learning Models for Multimodal Emotion Recognition

数据集官网：SEED Dataset

数据集论文：https://bcmi.sjtu.edu.cn/home/liuwei/Wei%20Liu's%20HomePage_files/TCDS-2021.pdf

数据集下载：https://gitee.com/CodeStoreHub/Emotion-Recognition-Dataset

该数据集的实验设计主要围绕通过观看特定情感刺激材料来诱导受试者的情感状态。以下是实验设置的详细介绍：

实验设置：

• 情感诱导方法：采用的是刺激材料诱导法，通过让受试者观看特定的情感刺激材料，以诱导相应的情感状态。
• 实验次数：每个受试者参与三次实验，每次实验间隔至少三天。每次实验观看15段刺激材料，每种情感类型有3段，共分为5种情感类型。为了避免受试者产生厌倦感，每次观看的材料完全不同。
• 实验时长：每次实验大约持续50分钟。
• 实验流程：在每个实验中，受试者会观看电影片段，同时采集其脑电图（EEG）和眼动数据。EEG信号通过62通道ESI NeuroScan系统采集，眼动数据通过SMI眼动追踪设备采集。
• 评估过程：每段影片播放前有15秒的介绍时间，播放后根据影片类型有15至30秒的自评时间。如果是厌恶或恐惧情感，休息时间为30秒，愉快、中性和悲伤情感的休息时间为15秒。自评环节中，受试者根据影片的情感诱导效果打分，分数范围为0-5分，5分代表诱导效果最好，0分代表没有情感波动。

受试者：

• 本次实验共有20名受试者，包括10名男性和10名女性，均为上海交通大学的学生，具备正常的听力和视力，且心理状态稳定。实验前受试者进行了Eysenck EPQ人格测试。

特征提取：

• EEG特征：
  • EEG信号首先被降采样至200 Hz，然后通过1 Hz至75 Hz的带通滤波器处理以去除噪声。
  • 之后从5个频段（delta, theta, alpha, beta, gamma）中提取差分熵（DE）特征，这些特征假设EEG信号服从高斯分布。
• 眼动特征：
  • 从SMI眼动追踪设备采集的眼动信息中提取了多种特征，如瞳孔直径、注视、扫视和眨眼等参数。

数据集内容：

• EEG_DE_features文件夹：包含16位受试者的DE特征数据，数据以“.npz”格式存储，文件命名格式为“subjectID_sessionID.npz”。
• EEG_raw文件夹：包含原始EEG数据（.cnt文件）。
• Eye_movement_features文件夹：包含提取的眼动特征数据。
• Eye_raw文件夹：包含眼动追踪设备提取的Excel文件。
• src文件夹：包含DCCA模型和互信息计算代码。
• trial_start_end_timestamp.txt：包含电影片段的起止时间。
• emotion_label_and_stimuli_order.xlsx：包含情感标签和刺激顺序信息。
• Participants_info.xlsx：包含受试者的基本信息。
• Scores.xlsx：包含受试者的反馈得分。

数据预览：

数据下载：https://gitee.com/CodeStoreHub/Emotion-Recognition-Dataset