[论文解读] PR-PL: A Novel Transfer Learning Framework with Prototypical Representation based Pairwise Learning for EEG-Based Emotion Recognition

Rushuang Zhou, Zhiguo Zhang+8 more|arXiv (Cornell University)|Feb 14, 2022

EEG and Brain-Computer Interfaces被引用 8

一句话总结

该论文提出PR-PL，一种用于EEG情绪识别的新型迁移学习框架，通过原型表征和成对学习提升个体间泛化能力与对噪声标签的鲁棒性。通过对抗性域适应对齐领域特定特征，并借助自适应伪标签增强模型稳定性，PR-PL在SEED和SEED-IV数据集的四个交叉验证协议中均实现了最先进性能。

ABSTRACT

Affective brain-computer interfaces based on electroencephalography (EEG) is an important branch in the field of affective computing. However, individual differences and noisy labels seriously limit the effectiveness and generalizability of EEG-based emotion recognition models. In this paper, we propose a novel transfer learning framework with Prototypical Representation based Pairwise Learning (PR-PL) to learn discriminative and generalized prototypical representations for emotion revealing across individuals and formulate emotion recognition as pairwise learning for alleviating the reliance on precise label information. Extensive experiments are conducted on two benchmark databases under four cross-validation evaluation protocols (cross-subject cross-session, cross-subject within-session, within-subject cross-session, and within-subject within-session). The experimental results demonstrate the superiority of the proposed PR-PL against the state-of-the-arts under all four evaluation protocols, which shows the effectiveness and generalizability of PR-PL in dealing with the ambiguity of EEG responses in affective studies. The source code is available at https://github.com/KAZABANA/PR-PL.

研究动机与目标

• 解决EEG情绪识别中的个体差异问题，该问题阻碍了模型在受试者间的泛化能力。
• 通过开发对噪声或不精确情绪标注具有容忍性的鲁棒学习框架，减少对精确标签的依赖。
• 通过学习在情绪类别内集中、类别间分离的原型表征，提升特征可分性。
• 在跨受试者与跨会话EEG情绪识别场景中，提升模型稳定性和性能。
• 将情绪识别建模为成对学习，以更好地捕捉样本间的相对关系，降低对绝对标签准确性的依赖。

提出的方法

• 采用基于原型学习的对抗性判别性域适应方法，以编码EEG数据中的情绪相关语义结构。
• 引入带有自适应伪标签的成对学习，以提升在噪声标签条件下的模型鲁棒性。
• 在共享空间中对齐源域和目标域的特征表示，同时保持类内紧凑性与类间可分性。
• 采用T-SNE可视化方法定性评估跨域学习表征的聚类质量。
• 将域适应与成对学习整合到统一的训练流程中，联合优化域不变性与标签噪声鲁棒性。
• 采用对比损失进行原型表征学习，同时使用成对排序损失进行样本间相对比较，实现端到端联合训练。

实验结果

研究问题

• RQ1 具有原型表征的迁移学习框架是否能在个体差异存在的情况下提升跨受试者EEG情绪识别性能？
• RQ2 带有自适应伪标签的成对学习在EEG情绪识别中，对缓解噪声标签条件下的性能下降有多有效？
• RQ3 所提出的PR-PL框架在多种交叉验证协议（如跨受试者与同受试者、跨会话与同会话）中，能在多大程度上保持高性能？
• RQ4 原型表征学习的引入是否增强了EEG情绪识别中的特征可分性与类内紧凑性？
• RQ5 在标签噪声鲁棒性与不同EEG数据库间的泛化能力方面，PR-PL与最先进方法相比表现如何？

主要发现

• PR-PL在SEED和SEED-IV数据集的所有四个交叉验证协议中均达到最高准确率，优于现有最先进方法。
• 在30%标签噪声条件下，模型仍保持87.71% ± 5.02%的准确率，展现出对噪声标签的强大鲁棒性。
• 混淆矩阵分析显示，PR-PL对负面情绪、中性情绪和正面情绪的识别率分别达到92.10%、90.39%和96.50%，优于BiDANN、BiHDM和RGNN。
• T-SNE可视化结果证实，PR-PL在源域和目标域中均学习到更具可分性与紧凑性的不同情绪类别聚类。
• 与基线方法相比，该模型的交互特征表现出显著提升的类间可分性与类内集中度。
• 消融实验表明，成对学习与原型表征学习均对整体性能增益有贡献，完整模型优于缺少任一组件的变体。