[论文解读] Real-time EEG-based Emotion Recognition using Discrete Wavelet Transforms on Full and Reduced Channel Signals

Josef Bajada, Francesco Borg Bonello|arXiv (Cornell University)|Oct 11, 2021

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本论文提出了一种基于离散小波变换（DWT）特征的实时脑电信号情绪识别系统，适用于完整32导联和简化至5导联的脑电信号，通过基线去除预处理提升准确率。在受试者相关设置下，SVM分类器在效价（Valence）上达到95.32%的准确率，在唤醒度（Arousal）上达到95.68%，优于以往的实时基准性能，同时在5导联数据上仍保持92%的准确率，证明了其在低成本消费级脑电设备上的可行性。

ABSTRACT

Real-time EEG-based Emotion Recognition (EEG-ER) with consumer-grade EEG devices involves classification of emotions using a reduced number of channels. These devices typically provide only four or five channels, unlike the high number of channels (32 or more) typically used in most current state-of-the-art research. In this work we propose to use Discrete Wavelet Transforms (DWT) to extract time-frequency domain features, and we use time-windows of a few seconds to perform EEG-ER classification. This technique can be used in real-time, as opposed to post-hoc on the full session data. We also apply baseline removal preprocessing, developed in prior research, to our proposed DWT Entropy and Energy features, which improves classification accuracy significantly. We consider two different classifier architectures, a 3D Convolutional Neural Network (3D CNN) and a Support Vector Machine (SVM). We evaluate both models on subject-independent and subject dependent setups to classify the Valence and Arousal dimensions of an individual's emotional state. We test them on both the full 32-channel data provided by the DEAP dataset, and also a reduced 5-channel extract of the same dataset. The SVM model performs best on all the presented scenarios, achieving an accuracy of 95.32% on Valence and 95.68% on Arousal for the full 32-channel subject-dependent case, beating prior real-time EEG-ER subject-dependent benchmarks. On the subject-independent case an accuracy of 80.70% on Valence and 81.41% on Arousal was also obtained. Reducing the input data to 5 channels only degrades the accuracy by an average of 3.54% across all scenarios, making this model appropriate for use with more accessible low-end EEG devices.

研究动机与目标

• 开发一种适用于低通道数（如5通道）的低成本消费级脑电设备的实时脑电信号情绪识别系统。
• 通过在32通道和5通道脑电信号上结合离散小波变换（DWT）特征与基线去除预处理，提升分类准确率。
• 在受试者相关和受试者无关设置下，对两种分类器架构——SVM与3D卷积神经网络（3D CNN）——进行评估与比较，用于效价和唤醒度的分类。
• 证明在从32通道减少至5通道时，仍可保持高准确率，从而实现对可及脑电硬件的实际部署。

提出的方法

• 应用离散小波变换（DWT）从脑电信号中提取时频域特征，采用Daubechies小波并优化分解层数以适配情绪识别任务。
• 对DWT提取的特征（熵与能量）应用基线去除预处理，将每位受试者的激活状态相对于其静息状态进行归一化，以增强特征的可分性。
• 使用DWT熵特征以及DWT熵+能量组合特征训练3D卷积神经网络（3D CNN），同时采用RBF核SVM作为对比模型。
• 对脑电数据采用2–4秒的时间窗处理，以支持实时分类，避免对完整会话进行事后处理。
• 提出一种级联SVM模型，将一个情绪维度（如唤醒度）的输出作为输入用于预测另一个维度（如效价），以利用维度间的条件依赖关系。
• 在DEAP数据集上对32通道和5通道子集进行模型评估，性能在受试者相关和受试者无关设置下进行测量。

实验结果

研究问题

• RQ1 结合基线去除的离散小波变换（DWT）特征是否能提升低通道脑电信号上的实时脑电信号情绪识别准确率？
• RQ2 从32通道减少至5通道时，模型性能如何退化？是否仍能保持高准确率？
• RQ3 在使用DWT特征时，SVM分类器是否在受试者相关和受试者无关的情绪识别任务中均优于3D CNN？
• RQ4 利用效价与唤醒度维度间条件预测的级联SVM模型是否能提升整体分类准确率？
• RQ5 所提出方法是否足够稳健，能在5通道脑电信号上实现最先进水平的准确率，从而支持在消费级脑电设备上的部署？

主要发现

• 在受试者相关的32通道设置下，SVM分类器在效价上达到95.32%的准确率，在唤醒度上达到95.68%，分别超过先前最先进水平的92.7%和93.1%。
• 在受试者无关设置下，SVM在效价上达到80.70%的准确率，在唤醒度上达到81.41%，显示出在个体间具有良好的泛化能力。
• 将输入从32通道减少至5通道后，平均准确率仅下降3.54%，SVM在受试者相关的5通道情况下仍保持92%的效价准确率和92.1%的唤醒度准确率。
• 基线去除预处理在所有场景下均显著提升了分类准确率，表明其在归一化个体间脑电信号差异方面具有重要意义。
• 级联SVM模型通过在唤醒度与效价维度间引入条件预测，准确率略高于单模型SVM，表明建模维度间依赖关系具有实际价值。
• 3D CNN模型的性能劣于SVM，表明对于此类基于DWT的特征表示，更简单的核方法可能比深度学习模型更具有效性。