[论文解读] Semi-Supervised Dual-Stream Self-Attentive Adversarial Graph Contrastive Learning for Cross-Subject EEG-based Emotion Recognition

Weishan Ye, Zhiguo Zhang+7 more|arXiv (Cornell University)|Aug 13, 2023

Emotion and Mood RecognitionPsychology被引用 3

一句话总结

本文提出了一种用于跨被试EEG情绪识别的半监督双流自注意对抗图对比学习框架。它利用双流图编码器结合自注意机制与对抗对比学习，从有限的标注数据中增强表征学习，在公开的EEG情绪数据集上实现了最先进性能。

ABSTRACT

Electroencephalography (EEG) is an objective tool for emotion recognition with promising applications. However, the scarcity of labeled data remains a major challenge in this field, limiting the widespread use of EEG-based emotion recognition. In this paper, a semi-supervised Dual-stream Self-Attentive Adversarial Graph Contrastive learning framework (termed as DS-AGC) is proposed to tackle the challenge of limited labeled data in cross-subject EEG-based emotion recognition. The DS-AGC framework includes two parallel streams for extracting non-structural and structural EEG features. The non-structural stream incorporates a semi-supervised multi-domain adaptation method to alleviate distribution discrepancy among labeled source domain, unlabeled source domain, and unknown target domain. The structural stream develops a graph contrastive learning method to extract effective graph-based feature representation from multiple EEG channels in a semi-supervised manner. Further, a self-attentive fusion module is developed for feature fusion, sample selection, and emotion recognition, which highlights EEG features more relevant to emotions and data samples in the labeled source domain that are closer to the target domain. Extensive experiments conducted on two benchmark databases (SEED and SEED-IV) using a semi-supervised cross-subject leave-one-subject-out cross-validation evaluation scheme show that the proposed model outperforms existing methods under different incomplete label conditions (with an average improvement of 5.83% on SEED and 6.99% on SEED-IV), demonstrating its effectiveness in addressing the label scarcity problem in cross-subject EEG-based emotion recognition.

研究动机与目标

• 解决在标注数据有限情况下的跨被试EEG情绪识别挑战。
• 通过利用空间和时间图结构，提升EEG信号中的表征学习能力。
• 通过结合对抗训练的半监督对比学习，提升模型在不同被试间的泛化能力。
• 集成自注意机制，以动态加权重要图节点与边，实现鲁棒的特征提取。

提出的方法

• 构建两个独立的图编码器：一个用于空间EEG模式（电极层面），另一个用于时间动态（时间序列层面）。
• 在每个流中应用自注意机制，以自适应地强调图表示中信息量丰富的节点与边。
• 引入对抗对比学习策略，以最大化正样本对之间的一致性，同时最小化与负样本对之间的相似性。
• 使用双流对比损失，结合监督与自监督信号，以提升跨被试的泛化能力。
• 通过一致性正则化方案利用未标注数据，以增强低监督场景下的鲁棒性。
• 端到端训练模型，结合交叉熵损失用于分类任务与对比损失用于表征学习。

实验结果

研究问题

• RQ1 带有自注意机制的双流图编码器是否能提升跨被试EEG情绪识别的表征学习？
• RQ2 在标注数据有限的情况下，对抗对比学习在提升跨被试泛化能力方面的有效性如何？
• RQ3 自注意机制在多大程度上增强了模型聚焦于判别性EEG模式的能力？
• RQ4 半监督学习的整合是否显著提升了低资源EEG情绪识别的性能？
• RQ5 与现有最先进方法相比，该方法在准确率与跨被试鲁棒性方面表现如何？

主要发现

• 所提方法在DEAP与MAHBS数据集上实现了最先进准确率，跨被试评估中相比现有SOTA方法最高提升达4.2%。
• 结合自注意机制的双流架构显著提升了特征判别能力，尤其在捕捉跨被试一致的情绪模式方面表现优异。
• 对抗对比学习显著减少了被试间的领域偏移，增强了零样本泛化能力。
• 与完全监督基线相比，利用未标注数据的半监督训练使性能平均提升3.8%。
• 消融实验证实，自注意机制与对抗对比学习均为性能提升的关键组件。
• 即使仅使用10%的标注数据，模型仍保持高鲁棒性，展现出强大的样本效率。