[论文解读] Spatiotemporal Emotion Recognition using Deep CNN Based on EEG during Music Listening

Panayu Keelawat, Nattapong Thammasan+2 more|arXiv (Cornell University)|Oct 22, 2019

EEG and Brain-Computer Interfaces参考文献 23被引用 10

一句话总结

本研究提出一种用于音乐聆听过程中基于脑电信号的时空情感识别深度卷积神经网络（CNN）。通过分析不同时间窗口大小和电极配置，该模型在被试独立的交叉验证中优于支持向量机（SVM），证明了CNN在捕捉与情感反应相关的动态神经模式方面的有效性。

ABSTRACT

Emotion recognition based on EEG has become an active research area. As one of the machine learning models, CNN has been utilized to solve diverse problems including issues in this domain. In this work, a study of CNN and its spatiotemporal feature extraction has been conducted in order to explore capabilities of the model in varied window sizes and electrode orders. Our investigation was conducted in subject-independent fashion. Results have shown that temporal information in distinct window sizes significantly affects recognition performance in both 10-fold and leave-one-subject-out cross validation. Spatial information from varying electrode order has modicum effect on classification. SVM classifier depending on spatiotemporal knowledge on the same dataset was previously employed and compared to these empirical results. Even though CNN and SVM have a homologous trend in window size effect, CNN outperformed SVM using leave-one-subject-out cross validation. This could be caused by different extracted features in the elicitation process.

研究动机与目标

• 研究时间窗口大小对音乐聆听过程中基于脑电信号的情感识别性能的影响。
• 评估电极排列顺序对脑电信号情感分类中空间特征提取的影响。
• 比较深度CNN与传统SVM分类器在相同脑电数据集上的性能表现。
• 评估模型在被试独立交叉验证设置下的泛化能力。

提出的方法

• 采用3D-CNN架构，从音乐聆听过程中采集的脑电信号中提取时空特征。
• 改变时间窗口大小，分析其在不同时间分辨率下对分类准确率的影响。
• 系统性地调整电极排列顺序，评估空间特征对导联配置变化的敏感性与鲁棒性。
• 使用10折交叉验证和留一被试者验证方法评估模型泛化能力。
• 在原始脑电信号上端到端训练CNN，以学习分层的时间与空间表征。
• 将结果与先前使用相同数据集和情感标签的SVM方法进行对比。

实验结果

研究问题

• RQ1 时间窗口大小的选择如何影响基于脑电信号模型的情感识别准确率？
• RQ2 电极排列顺序在多大程度上影响基于脑电信号的情感分类中的空间表征质量？
• RQ3 与传统SVM相比，深度CNN在基于脑电信号的情感识别中的性能与泛化能力如何？
• RQ4 在被试独立的评估协议下，CNN模型是否仍保持更优性能？

主要发现

• 时间窗口大小显著影响识别性能，最优窗口大小在10折交叉验证和留一被试者验证中均获得更高准确率。
• 不同电极排列顺序所提取的空间信息对分类准确率仅有微小影响。
• 在留一被试者验证中，CNN模型优于SVM分类器，表明其对未见被试者具有更好的泛化能力。
• 尽管CNN与SVM在窗口大小影响趋势上相似，但CNN实现了更高的绝对准确率，表明其具备更优越的特征学习能力。
• 本研究证实，深度CNN能有效捕捉音乐聆听过程中与情感反应相关的动态时空脑电信号模式。
• 结果支持在被试独立场景下采用端到端深度学习进行脑电信号情感识别。