[论文解读] Transformers for EEG Emotion Recognition.

Jiyao Liu, Li Zhang+2 more|arXiv (Cornell University)|Oct 13, 2021

EEG and Brain-Computer Interfaces参考文献 19被引用 15

一句话总结

本文提出EEG情感Transformer（EeT），一种基于自注意力机制的新模型，能够从原始EEG信号中联合学习空间、频谱和时序表征，以提升情感识别性能。通过在每个模块中应用时序和空间注意力机制，EeT在SEED和SEED-IV数据集上实现了最先进性能，证明了联合注意力机制在捕捉与情感相关的神经模式方面的有效性。

ABSTRACT

Electroencephalogram (EEG) can objectively reflect emotional state and changes. However, the transmission mechanism of EEG in the brain and its internal relationship with emotion are still ambiguous to human beings. This paper presents a novel approach to EEG emotion recognition built exclusively on self-attention over the spectrum, space, and time dimensions to explore the contribution of different EEG electrodes and temporal slices to specific emotional states. Our method, named EEG emotion Transformer (EeT), adapts the conventional Transformer architecture to EEG signals by enabling spatiospectral feature learning directly from the sequences of EEG signals. Our experimental results demonstrate that joint where temporal and spatial attention are applied simultaneously within each block, leads to the best emotion recognition accuracy among the design choices. In addition, compared with other competitive methods, the proposed method achieves state-of-art results on SEED and SEED-IV datasets.

研究动机与目标

• 解决EEG神经传导机制的模糊性及其与情感状态的关联问题。
• 开发一种深度学习模型，直接从原始EEG序列中学习，无需手工设计特征。
• 探究单个EEG电极和时间片段对情感状态分类的贡献。
• 通过联合建模EEG信号中的空间、频谱和时序维度，提升情感识别准确率。
• 基于注意力机制，为基于EEG的情感识别建立新的最先进基准。

提出的方法

• 该方法通过在时间、空间和频域上处理EEG数据序列，将标准Transformer架构适配于EEG信号。
• 在三个维度（时间、电极（空间）和频率（频谱））上应用多头自注意力机制，以捕捉动态交互关系。
• 在每个Transformer模块中同时应用空间和时序注意力机制，以建模电极特异性和随时间变化的情感状态贡献。
• 模型直接从原始EEG序列中学习空间-频谱表征，无需依赖外部特征工程。
• 该架构在EEG数据上端到端训练，以优化情感分类性能。
• 该方法在包含EEG记录中情感状态标签的SEED和SEED-IV数据集上进行评估。

实验结果

研究问题

• RQ1 EEG信号中的空间、频谱和时序特征在情感识别中起到何种作用？
• RQ2 与单模态注意力相比，联合关注时间和空间的注意力机制在基于EEG的情感分类中具有何种相对影响？
• RQ3 直接在原始EEG序列上训练的自注意力机制能否在标准基准上超越现有方法？
• RQ4 在SEED和SEED-IV数据集上，所提出的模型与最先进方法相比，在准确率和泛化能力方面表现如何？

主要发现

• 在每个Transformer模块中联合应用时序和空间注意力机制，在所有测试的设计变体中实现了最高的情感识别准确率。
• 所提出的EeT模型在SEED和SEED-IV两个数据集上均实现了最先进性能，优于现有竞争性方法。
• 该模型有效捕捉了与情感状态相关EEG信号中的动态多维模式。
• 结果表明，自注意力机制能够成功建模EEG数据中复杂的时空关系，以实现情感识别。