[论文解读] Spatial-temporal Transformers for EEG Emotion Recognition

Jiyao Liu, Hao Wu+2 more|arXiv (Cornell University)|Oct 13, 2021

EEG and Brain-Computer Interfaces被引用 5

一句话总结

本文提出了一种空间-时间Transformer框架（EeT），用于基于EEG的情绪识别，利用自注意力机制同时建模电极之间的空间关系与时间动态。同时进行空间-时间注意力的变体在SEED数据集上实现了96.28%的最先进准确率，在DEAP数据集上实现了93.34%的最先进准确率，表明对EEG的时空特征进行联合建模可显著提升情绪识别性能。

ABSTRACT

Electroencephalography (EEG) is a popular and effective tool for emotion recognition. However, the propagation mechanisms of EEG in the human brain and its intrinsic correlation with emotions are still obscure to researchers. This work proposes four variant transformer frameworks~(spatial attention, temporal attention, sequential spatial-temporal attention and simultaneous spatial-temporal attention) for EEG emotion recognition to explore the relationship between emotion and spatial-temporal EEG features. Specifically, spatial attention and temporal attention are to learn the topological structure information and time-varying EEG characteristics for emotion recognition respectively. Sequential spatial-temporal attention does the spatial attention within a one-second segment and temporal attention within one sample sequentially to explore the influence degree of emotional stimulation on EEG signals of diverse EEG electrodes in the same temporal segment. The simultaneous spatial-temporal attention, whose spatial and temporal attention are performed simultaneously, is used to model the relationship between different spatial features in different time segments. The experimental results demonstrate that simultaneous spatial-temporal attention leads to the best emotion recognition accuracy among the design choices, indicating modeling the correlation of spatial and temporal features of EEG signals is significant to emotion recognition.

研究动机与目标

• 研究空间与时间EEG特征对情绪识别性能的影响。
• 解决CNN和RNN在捕捉多通道EEG信号中全局时空依赖关系方面的局限性。
• 探究是否通过同时建模空间与时间相关性可提升情绪识别准确率。
• 开发一种基于Transformer的框架，显式建模EEG信号的时空动态以实现情绪分类。
• 比较不同注意力机制——空间、时间、顺序及同时注意力——以确定EEG情绪识别中最有效的架构。

提出的方法

• 设计了四种基于Transformer的EEG情绪识别模型变体：空间注意力、时间注意力、顺序空间-时间注意力和同时空间-时间注意力。
• 使用自注意力机制学习EEG电极之间的空间关系以及时间片段之间的时序依赖。
• 采用多头注意力机制以捕捉空间与时间维度中的长程依赖关系。
• 采用双分支架构分别处理来自左右半球的EEG信号，以增强判别性表征学习。
• 集成深度神经网络（DNN）和分类头，通过交叉熵损失将学习到的特征映射到情绪标签。
• 利用t-SNE可视化分析模型所学习的高层特征的判别能力。

Fig. 1 : Overview of EEG Emotion Recognition Transformer (EeT)

实验结果

研究问题

• RQ1 空间与时间EEG特征各自对情绪识别性能的贡献如何？
• RQ2 联合建模空间与时间相关性与顺序或独立建模相比，其相对影响是什么？
• RQ3 与顺序或单模态注意力相比，是否同时建模空间与时间特征能带来更高的情绪识别准确率？
• RQ4 所提出的基于Transformer的框架与现有的基于CNN和RNN的模型在EEG情绪识别中的表现相比如何？
• RQ5 空间注意力与时间注意力在捕捉与情绪相关的EEG模式方面各有什么贡献？

主要发现

• 同时空间-时间注意力（S+T）变体在SEED数据集上实现了96.28%的最高准确率，在DEAP数据集上实现了93.34%的最高准确率，优于所有其他变体及最先进模型。
• 与3D-CNN相比，S+T注意力机制在DEAP数据集上分别将唤醒度和效价的准确率提高了4.85%和5.42%。
• 与采用PST-Attention的3D-CNN相比，S+T变体在SEED数据集上标准差降低了0.59%，在SEED-IV数据集上也降低了0.59%，表明模型鲁棒性更高。
• 消融实验表明，联合建模（S+T）相较于第二优的变体（S-T），在SEED和SEED-IV数据集上分别提升了0.63%和2.96%的性能。
• 仅使用空间注意力的性能优于时间注意力0.4%和0.94%，分别在SEED和SEED-IV数据集上，表明空间特征包含更多与情绪相关的信息。
• t-SNE可视化结果证实，S+T注意力学习到的特征更具判别性，其嵌入空间中类间分离度更高。