[论文解读] STILN: A Novel Spatial-Temporal Information Learning Network for EEG-based Emotion Recognition

Yiheng Tang, Yongxiong Wang+2 more|arXiv (Cornell University)|Nov 22, 2022

EEG and Brain-Computer Interfaces被引用 6

一句话总结

该论文提出STILN，一种用于基于EEG的情绪识别的新型深度学习框架，通过联合建模电极间的空间相关性与时间帧间的时间动态特性。通过利用二维功率拓扑图、CBAM注意力机制以及结合混合归一化的双向LSTM网络，STILN在DEAP数据集上实现了最先进的无主体依赖性能，分别在唤醒度和效价分类任务中取得了68.31%和67.52%的准确率。

ABSTRACT

The spatial correlations and the temporal contexts are indispensable in Electroencephalogram (EEG)-based emotion recognition. However, the learning of complex spatial correlations among several channels is a challenging problem. Besides, the temporal contexts learning is beneficial to emphasize the critical EEG frames because the subjects only reach the prospective emotion during part of stimuli. Hence, we propose a novel Spatial-Temporal Information Learning Network (STILN) to extract the discriminative features by capturing the spatial correlations and temporal contexts. Specifically, the generated 2D power topographic maps capture the dependencies among electrodes, and they are fed to the CNN-based spatial feature extraction network. Furthermore, Convolutional Block Attention Module (CBAM) recalibrates the weights of power topographic maps to emphasize the crucial brain regions and frequency bands. Meanwhile, Batch Normalizations (BNs) and Instance Normalizations (INs) are appropriately combined to relieve the individual differences. In the temporal contexts learning, we adopt the Bidirectional Long Short-Term Memory Network (Bi-LSTM) network to capture the dependencies among the EEG frames. To validate the effectiveness of the proposed method, subject-independent experiments are conducted on the public DEAP dataset. The proposed method has achieved the outstanding performance, and the accuracies of arousal and valence classification have reached 0.6831 and 0.6752 respectively.

研究动机与目标

• 为解决在情绪识别中学习多个EEG电极之间复杂空间相关性的挑战。
• 对EEG信号中的时间依赖性进行建模，以在情绪刺激期间突出关键时间帧。
• 通过批量归一化与实例归一化的结合，减少EEG数据中的个体差异。
• 通过端到端深度学习方法，提升EEG基情绪识别中唤醒度与效价的分类性能。

提出的方法

• 将原始EEG信号转换为二维功率拓扑图，以表示电极之间的空间关系。
• 应用基于卷积神经网络的空域特征提取网络，从功率图中学习具有判别性的空间模式。
• 集成卷积块注意力模块（CBAM），对特征图进行重校准，突出重要脑区与频带。
• 采用批量归一化与实例归一化的组合，减轻EEG数据中个体间差异的影响。
• 使用双向长短期记忆（Bi-LSTM）网络，捕捉EEG帧间长期时间依赖性。
• 在DEAP数据集上采用无主体依赖交叉验证方式，对端到端的STILN模型进行训练。

实验结果

研究问题

• RQ1 深度学习模型在情绪识别中，多大程度上能有效捕捉多个EEG电极之间的空间相关性？
• RQ2 建模时间动态特性在多大程度上能提升EEG基情绪分类的准确率？
• RQ3 注意力机制是否能通过聚焦于关键脑区与频带，增强特征表示？
• RQ4 批量归一化与实例归一化的组合在多大程度上影响模型在不同受试者间的泛化能力？
• RQ5 所提出的STILN模型在无主体依赖的EEG基情绪识别中的性能如何？

主要发现

• 所提出的STILN模型在DEAP数据集上实现了68.31%的无主体依赖唤醒度分类准确率。
• 该模型在效价分类任务中也达到了67.52%的无主体依赖准确率，展现出强大的泛化能力。
• CBAM注意力机制的集成通过强调相关脑区与频带，改善了特征表示。
• 批量归一化与实例归一化的组合有效降低了EEG信号中个体差异的影响。
• Bi-LSTM组件成功捕捉了EEG帧间长期时间依赖性，对性能提升有显著贡献。
• 整体架构在无主体依赖的EEG基情绪识别任务中展现出最先进性能。