[论文解读] Temporal-spatial Representation Learning Transformer for EEG-based Emotion Recognition

Zhe Wang, Yongxiong Wang+3 more|arXiv (Cornell University)|Nov 16, 2022

EEG and Brain-Computer Interfaces被引用 4

一句话总结

该论文提出了一种基于Transformer的新模型，能够联合捕捉EEG信号中的时间动态特性和空间相关性，从而提升情绪识别性能。通过在各通道间共享时间特征提取器，并利用多头自注意力机制定位关键脑区和信号片段，该方法在DEAP和MAHNOBHCI数据集上对唤醒度和效价分类实现了最先进性能。

ABSTRACT

Both the temporal dynamics and spatial correlations of Electroencephalogram (EEG), which contain discriminative emotion information, are essential for the emotion recognition. However, some redundant information within the EEG signals would degrade the performance. Specifically,the subjects reach prospective intense emotions for only a fraction of the stimulus duration. Besides, it is a challenge to extract discriminative features from the complex spatial correlations among a number of electrodes. To deal with the problems, we propose a transformer-based model to robustly capture temporal dynamics and spatial correlations of EEG. Especially, temporal feature extractors which share the weight among all the EEG channels are designed to adaptively extract dynamic context information from raw signals. Furthermore, multi-head self-attention mechanism within the transformers could adaptively localize the vital EEG fragments and emphasize the essential brain regions which contribute to the performance. To verify the effectiveness of the proposed method, we conduct the experiments on two public datasets, DEAP and MAHNOBHCI. The results demonstrate that the proposed method achieves outstanding performance on arousal and valence classification.

研究动机与目标

• 为解决情绪识别过程中EEG信号冗余信息的问题，尤其是在强烈情绪反应的短暂期间。
• 有效建模多个EEG导联之间的复杂空间相关性，同时保留具有区分性的时序动态特性。
• 开发一种鲁棒的深度学习框架，能够自适应地识别与情绪分类相关的关键脑区和信号段。
• 在公开的EEG情绪识别基准数据集DEAP和MAHNOBHCI上，提升唤醒度和效价两个维度的性能。

提出的方法

• 在所有EEG通道上应用共享的时间特征提取器，从原始信号中提取动态上下文，减少冗余并提升参数效率。
• 集成多头自注意力机制，自适应地定位关键EEG片段，并强调对情绪分类贡献最大的脑区。
• 通过统一的Transformer架构，联合学习来自原始EEG时间序列的时序表征和电极阵列上的空间模式。
• 在原始EEG数据上端到端训练该架构，无需手工特征工程，从而实现时序与空间表征的联合优化。

实验结果

研究问题

• RQ1 统一的Transformer模型能否有效捕捉原始EEG信号中情绪识别的时间动态与空间相关性？
• RQ2 在EEG通道间共享时间特征学习在提升性能和减少冗余方面有何作用？
• RQ3 多头自注意力在多大程度上能够定位对情绪分类至关重要的脑区和信号段？
• RQ4 所提出的方法是否在标准EEG情绪识别基准上优于现有最先进模型？

主要发现

• 所提方法在DEAP数据集上对唤醒度和效价分类均实现了最先进性能，优于先前方法。
• 在MAHNOBHCI数据集上，该模型在唤醒度和效价两个维度的分类准确率均优于现有方法。
• 消融实验确认，共享时间特征提取和多头自注意力均对性能提升有显著贡献。
• 通过注意力可视化可发现，该模型能有效识别并强调关键EEG段和脑区，其结果与情绪已知的神经生理相关性一致。