[论文解读] Spatio-Temporal EEG Representation Learning on Riemannian Manifold and Euclidean Space

Guangyi Zhang, Ali Etemad|arXiv (Cornell University)|Aug 19, 2020

EEG and Brain-Computer Interfaces参考文献 75被引用 5

一句话总结

该论文提出了一种深度学习框架，通过在对称正定（SPD）协方差矩阵的黎曼流形上学习空间特征，并在欧几里得空间中通过带有软注意力机制的LSTM学习时间特征，联合建模时空EEG表征。该方法在SEED-VIG数据集上实现了最先进性能，在其他三个EEG数据集上的情绪识别、警觉性估计和运动想象任务中也取得了具有竞争力的结果。

ABSTRACT

We present a novel deep neural architecture for learning electroencephalogram (EEG). To learn the spatial information, our model first obtains the Riemannian mean and distance from spatial covariance matrices (SCMs) on a Riemannian manifold. We then project the spatial information onto a Euclidean space via tangent space learning. Following, two fully connected layers are used to learn the spatial information embeddings. Moreover, our proposed method learns the temporal information via differential entropy and logarithm power spectrum density features extracted from EEG signals in a Euclidean space using a deep long short-term memory network with a soft attention mechanism. To combine the spatial and temporal information, we use an effective fusion strategy, which learns attention weights applied to embedding-specific features for decision making. We evaluate our proposed framework on four public datasets across three popular EEG-related tasks, notably emotion recognition, vigilance estimation, and motor imagery classification, containing various types of tasks such as binary classification, multi-class classification, and regression. Our proposed architecture outperforms other methods on SEED-VIG, and approaches the state-of-the-art on the other three datasets (SEED, BCI-IV 2A, and BCI-IV 2B), showing the robustness of our framework in EEG representation learning. The source code of our paper is publicly available at https://github.com/guangyizhangbci/EEG_Riemannian.

研究动机与目标

• 为解决在EEG空间协方差矩阵（SCMs）上使用欧几里得度量学习的局限性，如膨胀效应和对体积传导的敏感性。
• 开发一种可泛化的EEG表征学习框架，适用于包括二分类/多分类和回归在内的多种BCI任务。
• 通过学习嵌入特定特征的注意力权重，有效融合空间与时间EEG表征，以提升决策性能。
• 通过融合空间与时间流的互补信息，提升低性能受试者的表现。
• 克服黎曼流形学习中的挑战，包括SPD矩阵到欧几里得空间的投影以及异质表征的有效融合。

提出的方法

• 从多通道EEG信号中计算空间协方差矩阵（SCMs），以表征空间脑活动。
• 通过黎曼几何学习空间信息：在SPD流形上计算SCMs之间的黎曼均值和距离，以保持仿射不变性并避免膨胀效应。
• 使用切空间学习将黎曼空间特征投影到欧几里得空间，以支持基于欧几里得度量的下游深度学习。
• 从连续的EEG时间段中提取时间特征，方法为微分熵和对数功率谱密度。
• 通过带有软注意力机制的深层长短期记忆（LSTM）网络处理时间特征，以学习动态时间依赖性。
• 通过可学习的注意力融合策略融合空间与时间嵌入，自适应地加权特征，以提升分类/回归性能。

实验结果

研究问题

• RQ1 与标准欧几里得方法相比，对EEG空间协方差矩阵进行黎曼度量学习是否能提升表征学习性能？
• RQ2 将黎曼空间特征与欧几里得时间特征相结合，对多种EEG任务的性能有何影响？
• RQ3 与简单拼接或逐元素运算相比，所提出的基于注意力的融合机制在多大程度上提升了决策性能？
• RQ4 该模型是否能提升低性能受试者的表现，特别是那些在空间或时间流上表现较差的受试者？
• RQ5 该框架是否能在包括情绪识别、警觉性估计和运动想象分类在内的多个EEG任务中实现最先进或接近最先进性能？

主要发现

• 所提出的模型在SEED-VIG数据集上实现了警觉性估计的新最先进结果，尤其在低性能受试者中取得了显著性能提升。
• 在SEED数据集上进行情绪识别时，该模型接近最先进性能，与仅使用空间流相比，最低性能受试者（第7名）准确率提升了22.06%，第二低性能受试者（第1名）提升了16.77%。
• 在BCI-IV 2a数据集上，与时间流相比，该模型使最低性能受试者（第5名）的准确率提升了38.19%，表明其在困难案例中具有强大的泛化能力。
• 在所有四个数据集上，采用可学习注意力的融合策略始终优于简单拼接和其他基线方法，证实了其在融合异质表征方面的有效性。
• 通过将SCMs投影到低维SPD流形实现降维，显著提升了性能，验证了在黎曼学习中正确流形投影的重要性。
• 该模型在不同任务类型（二分类、多分类和回归）中均表现出稳健性能，证明了其在EEG应用领域中的泛化能力。