[论文解读] S-JEPA: TOWARDS SEAMLESS CROSS-DATASET TRANSFER THROUGH DYNAMIC SPATIAL ATTENTION

Pierre Guetschel, Thomas Moreau+1 more|arXiv (Cornell University)|Mar 18, 2024

Medical Image Segmentation Techniques被引用 4

一句话总结

本文提出S-JEPA，一种用于EEG信号处理的自监督学习框架，通过动态空间注意力机制和基于通道的块掩码策略，实现跨数据集的无缝迁移。该方法在ERP和SSVEP脑机接口任务中达到最先进性能，其中通过预局部架构实现的空间滤波被证明对下游分类准确率至关重要。

ABSTRACT

Motivated by the challenge of seamless cross-dataset transfer in EEG signal processing, this article presents an exploratory study on the use of Joint Embedding Predictive Architectures (JEPAs). In recent years, self-supervised learning has emerged as a promising approach for transfer learning in various domains. However, its application to EEG signals remains largely unexplored. In this article, we introduce Signal-JEPA for representing EEG recordings which includes a novel domain-specific spatial block masking strategy and three novel architectures for downstream classification. The study is conducted on a 54 subjects dataset and the downstream performance of the models is evaluated on three different BCI paradigms: motor imagery, ERP and SSVEP. Our study provides preliminary evidence for the potential of JEPAs in EEG signal encoding. Notably, our results highlight the importance of spatial filtering for accurate downstream classification and reveal an influence of the length of the pre-training examples but not of the mask size on the downstream performance.

研究动机与目标

• 通过自监督学习实现跨数据集迁移，以应对EEG基脑机接口中的数据稀缺挑战。
• 探索联合嵌入预测架构（JEPAs）在EEG信号表征中的有效性，特别是针对新型掩码策略和微调策略。
• 研究领域特定的设计选择——尤其是空间掩码和架构选择——以提升多样化脑机接口范式中的下游分类性能。
• 比较多种预训练配置与微调策略，以识别适用于运动想象、ERP和SSVEP任务的最佳模型流程。

提出的方法

• 提出S-JEPA框架，采用双编码器架构：局部编码器用于通道级时间特征提取，上下文编码器用于序列级表征学习。
• 提出一种新颖的领域特定空间块掩码策略，通过掩码连续的EEG通道块，实现动态空间注意力学习。
• 使用预测头模块，基于上下文编码器输出预测被掩码token的嵌入表示，采用L1损失与EMA更新的目标编码器输出进行对比。
• 采用指数移动平均（EMA）方法在不反向传播的情况下更新目标编码器参数，从而在JEPA框架中稳定训练过程。
• 评估三种微调策略：全上下文、新上下文和预局部（通过线性通道组合实现空间滤波），均在预训练后应用。
• 在包含54名受试者的EEG数据集上进行预训练，使用1秒、4秒、16秒或无预训练窗口长度，对通道块施加40%、60%、80%的掩码比例。

实验结果

研究问题

• RQ1 在EEG信号的自监督预训练中，哪种掩码策略最为有效，特别是针对空间通道时？
• RQ2 预训练窗口长度如何影响不同脑机接口范式中的下游分类性能？
• RQ3 掩码大小（半径）对下游性能的影响如何？该影响是否在不同EEG任务间存在差异？
• RQ4 在全上下文、新上下文和预局部三种微调策略中，哪一种能获得最佳分类准确率？
• RQ5 通过通道级线性组合实现的空间滤波在EEG表征学习中能在多大程度上提升模型性能？

主要发现

• 16秒的预训练窗口在所有脑机接口范式中均持续取得最高下游性能，表明更长的上下文有助于表征学习。
• 预局部微调策略（在特征提取前通过通道线性组合实现空间滤波）在整体分类准确率上表现最佳，在全部评估折中的三分之二中排名第一。
• 该模型在ERP任务中达到最先进性能（97% AUC），并在SSVEP任务中超越先前最先进方法（94%准确率），但在MI任务中表现欠佳。
• 掩码半径（即块大小）对下游性能无显著影响，表明被掩码通道块的相对大小不如整体掩码策略关键。
• 当与16秒预训练结合时，基于上下文的微调架构（全上下文或新上下文）表现较差，表明预训练中的长上下文与微调中的短上下文之间存在不匹配。
• MI任务表现出较高的性能波动，标准差较大，可能由于Lee2019数据集中存在六名特别困难的受试者。