[论文解读] Progressive Graph Convolution Network for EEG Emotion Recognition

Yijin Zhou, Fu Li+7 more|arXiv (Cornell University)|Dec 14, 2021

EEG and Brain-Computer Interfaces被引用 5

一句话总结

该论文提出了一种渐进式图卷积网络（PGCN）用于EEG情绪识别，通过逐步从粗粒度到细粒度的类别学习，利用情绪的层次结构。该方法结合了捕捉动态功能连接的双图结构与反映EEG导联静态空间邻近性的图结构，并引入双头模块实现层次化特征学习，在SEED-IV和MPED数据集上实现了最先进性能，同时揭示了高频段及额叶/颞叶在情绪处理中的关键作用。

ABSTRACT

Studies in the area of neuroscience have revealed the relationship between emotional patterns and brain functional regions, demonstrating that dynamic relationships between different brain regions are an essential factor affecting emotion recognition determined through electroencephalography (EEG). Moreover, in EEG emotion recognition, we can observe that clearer boundaries exist between coarse-grained emotions than those between fine-grained emotions, based on the same EEG data; this indicates the concurrence of large coarse- and small fine-grained emotion variations. Thus, the progressive classification process from coarse- to fine-grained categories may be helpful for EEG emotion recognition. Consequently, in this study, we propose a progressive graph convolution network (PGCN) for capturing this inherent characteristic in EEG emotional signals and progressively learning the discriminative EEG features. To fit different EEG patterns, we constructed a dual-graph module to characterize the intrinsic relationship between different EEG channels, containing the dynamic functional connections and static spatial proximity information of brain regions from neuroscience research. Moreover, motivated by the observation of the relationship between coarse- and fine-grained emotions, we adopt a dual-head module that enables the PGCN to progressively learn more discriminative EEG features, from coarse-grained (easy) to fine-grained categories (difficult), referring to the hierarchical characteristic of emotion. To verify the performance of our model, extensive experiments were conducted on two public datasets: SEED-IV and multi-modal physiological emotion database (MPED).

研究动机与目标

• 为解决现有EEG情绪识别模型中缺乏情绪特异性归纳偏置的问题，通过利用情绪的层次结构进行改进。
• 基于神经科学基础，利用双图模块建模EEG导联之间的动态功能连接与静态空间邻近性。
• 通过从粗粒度到细粒度情绪类别的渐进式分类，提升判别性特征学习能力。
• 利用可解释的深度学习框架，探究EEG频段与情绪状态之间的关系。
• 通过注意力可视化与功能图分析，识别与情绪表达最相关的脑区。

提出的方法

• PGCN采用双图模块，结合从EEG信号中学习得到的动态功能图（$\mathbf{G_f^d}$）与基于电极位置的静态空间邻近图，以建模脑连接性。
• 设计双头分类头实现渐进式特征学习：第一个头负责粗粒度情绪分类（如积极/消极），第二个头则进一步细化至细粒度类别（如恐惧、愤怒、厌恶）。
• 模型利用图卷积网络（GCNs）从EEG信号中提取时空特征，并引入注意力机制以突出相关脑区。
• 采用T-SNE可视化分析训练过程中特征空间的演变，结果表明模型优化后各类情绪样本的特征可分性显著提升。
• 通过动态图 $\mathbf{G_f^d}$ 可视化功能连接贡献，并将其映射至头皮，识别关键导联与频段。
• 在两个公开数据集——SEED-IV与MPED上开展实验，采用被试相关与被试无关两种设置，验证模型的鲁棒性。

实验结果

研究问题

• RQ1 从粗粒度到细粒度情绪类别的渐进式学习策略是否能提升基于EEG的情绪识别性能？
• RQ2 EEG导联之间的动态功能连接与静态空间邻近性在情绪表征中分别起到何种贡献？
• RQ3 哪些EEG频段（δ、θ、α、β、γ）对情绪状态最具预测性，且在不同被试间是否存在差异？
• RQ4 哪些脑区（如额叶、颞叶、顶叶）在情绪识别中表现出最高的功能连接贡献？
• RQ5 与基线模型相比，PGCN在多大程度上提升了特征的判别能力？

主要发现

• PGCN在SEED-IV与MPED数据集上均实现了最先进性能，证明了渐进式层次学习策略的有效性。
• 高频段（β与γ）的识别准确率显著高于低频段，证实其与情绪状态存在强相关性。
• 在SEED-IV的被试无关实验中，δ频段取得了最高识别率，表明其在捕捉跨被试共性方面具有重要意义。
• T-SNE可视化显示，经训练后，同一情绪的EEG特征聚类更加紧密，验证了特征判别能力的提升。
• 额叶与颞叶对情绪识别的贡献最为显著，与神经科学研究中关于情绪相关脑区的发现一致。
• 动态图可视化结果表明，功能连接模式在不同频段间存在显著差异，其中高频段表现出更明显且局部化的激活模式。