[论文解读] PGCN: Pyramidal Graph Convolutional Network for EEG Emotion Recognition

Ming Jin, Enwei Zhu+3 more|arXiv (Cornell University)|Feb 6, 2023

EEG and Brain-Computer Interfaces参考文献 52被引用 4

一句话总结

该论文提出PGCN，一种金字塔形图卷积网络，通过三层架构建模脑电图（EEG）中局部、介观和全局电极关系，以提升基于EEG的情绪识别性能。通过整合空间拓扑结构、基于知识引导的脑区划分以及位置感知的全局连接性，PGCN在实现最先进性能的同时，有效缓解了深层GCN中的过平滑问题。

ABSTRACT

Emotion recognition is essential in the diagnosis and rehabilitation of various mental diseases. In the last decade, electroencephalogram (EEG)-based emotion recognition has been intensively investigated due to its prominative accuracy and reliability, and graph convolutional network (GCN) has become a mainstream model to decode emotions from EEG signals. However, the electrode relationship, especially long-range electrode dependencies across the scalp, may be underutilized by GCNs, although such relationships have been proven to be important in emotion recognition. The small receptive field makes shallow GCNs only aggregate local nodes. On the other hand, stacking too many layers leads to over-smoothing. To solve these problems, we propose the pyramidal graph convolutional network (PGCN), which aggregates features at three levels: local, mesoscopic, and global. First, we construct a vanilla GCN based on the 3D topological relationships of electrodes, which is used to integrate two-order local features; Second, we construct several mesoscopic brain regions based on priori knowledge and employ mesoscopic attention to sequentially calculate the virtual mesoscopic centers to focus on the functional connections of mesoscopic brain regions; Finally, we fuse the node features and their 3D positions to construct a numerical relationship adjacency matrix to integrate structural and functional connections from the global perspective. Experimental results on three public datasets indicate that PGCN enhances the relationship modelling across the scalp and achieves state-of-the-art performance in both subject-dependent and subject-independent scenarios. Meanwhile, PGCN makes an effective trade-off between enhancing network depth and receptive fields while suppressing the ensuing over-smoothing. Our codes are publicly accessible at https://github.com/Jinminbox/PGCN.

研究动机与目标

• 解决浅层GCN在捕捉EEG情绪识别中远距离电极依赖关系方面的局限性。
• 在扩展感受野的同时，克服深层GCN中的过平滑问题，以更好地建模功能性和结构性脑连接性。
• 将先验神经解剖学知识整合到GCN架构中，以提升介观脑区的表征能力。
• 在局部、介观和全局尺度之间实现特征聚合的平衡，从而在受试者相关和受试者无关的基准测试中提升情绪识别性能。
• 开发一种可扩展的、公开可用的EEG情绪识别框架，基于多层级图学习方法。

提出的方法

• 基于EEG电极之间的三维拓扑关系构建基础GCN，以提取二阶局部特征。
• 利用先验解剖学知识（如额叶、颞叶、枕叶）定义介观脑区，并应用介观注意力机制计算虚拟中心，以突出这些区域内的功能连接性。
• 通过融合节点特征与其三维空间坐标，构建位置感知的数值邻接矩阵，以在全局层面编码结构与功能连接性。
• 通过分层融合策略整合来自局部、介观和全局三个层次的特征，以丰富多尺度表征。
• 在全局模块中使用可学习的邻接矩阵，以捕捉稀疏的长程依赖关系，同时最小化过平滑现象。
• 使用交叉熵损失和随机梯度下降端到端训练PGCN模型，优化EEG数据的情绪分类性能。

实验结果

研究问题

• RQ1 多尺度图卷积架构能否有效建模EEG情绪识别中局部、介观和全局脑连接性？
• RQ2 将先验神经解剖学知识整合到GCN架构中，能否提升EEG情绪识别任务的性能？
• RQ3 金字塔形GCN设计在多大程度上可扩展感受野，同时避免深层网络中的过平滑问题？
• RQ4 与现有基于GCN的模型相比，该方法在受试者相关和受试者无关的情绪识别设置中是否均表现出更优性能？
• RQ5 学习得到的注意力权重和邻接矩阵在多大程度上反映了与情绪处理相关的已知功能脑网络？

主要发现

• PGCN在三个公开的EEG情绪识别数据集（SEED、SEED-IV和DEAP）上均达到最先进性能。
• 该模型在受试者相关和受试者无关设置下均显著提升了分类准确率，优于现有基于GCN的方法。
• 对学习得到的邻接矩阵进行可视化显示，额叶、颞叶和枕叶的电极持续获得更高的自注意力权重，并形成关键连接，与已知的情绪相关脑区一致。
• 学习得到的邻接矩阵中排名前10位的连接主要位于额叶、颞叶和枕叶，表明这些区域在情绪处理中具有重要的功能作用。
• 性能曲线显示，准确率随网络深度增加至某一程度后开始下降，表明过平滑现象开始主导，验证了PGCN设计在延迟该退化方面具有有效性。
• 所提出方法有效平衡了感受野的扩展与过平滑问题，在更深架构下仍表现出稳定性能。