[论文解读] ViT2EEG: Leveraging Hybrid Pretrained Vision Transformers for EEG Data

Ruiqi Yang, Eric Modesitt|arXiv (Cornell University)|Aug 1, 2023

EEG and Brain-Computer Interfaces被引用 7

一句话总结

本文提出对在 ImageNet 上预训练的混合 Vision Transformer（ViT）进行微调，用于 EEG 回归任务，表明在无关图像数据上进行预训练能显著提升 EEG 任务的性能。该方法优于标准 CNN 和未预训练的 ViT，表明尽管存在领域差异，从视觉领域到 EEG 的迁移学习仍非常有效。

ABSTRACT

In this study, we demonstrate the application of a hybrid Vision Transformer (ViT) model, pretrained on ImageNet, on an electroencephalogram (EEG) regression task. Despite being originally trained for image classification tasks, when fine-tuned on EEG data, this model shows a notable increase in performance compared to other models, including an identical architecture ViT trained without the ImageNet weights. This discovery challenges the traditional understanding of model generalization, suggesting that Transformer models pretrained on seemingly unrelated image data can provide valuable priors for EEG regression tasks with an appropriate fine-tuning pipeline. The success of this approach suggests that the features extracted by ViT models in the context of visual tasks can be readily transformed for the purpose of EEG predictive modeling. We recommend utilizing this methodology not only in neuroscience and related fields, but generally for any task where data collection is limited by practical, financial, or ethical constraints. Our results illuminate the potential of pretrained models on tasks that are clearly distinct from their original purpose.

研究动机与目标

• 探究在 ImageNet 上预训练的 Vision Transformer 是否可被有效微调用于 EEG 回归任务。
• 评估混合 ViT 模型在 EEG 数据上相对于传统 CNN 和未预训练 ViT 的性能表现。
• 评估预训练对模型泛化能力及在 EEG 研究中常见的低数据场景下性能的影响。
• 挑战模型必须在相似数据类型上预训练才能实现有效迁移学习的假设。
• 提供一种可扩展、数据高效的 EEG 分析方法，减少对昂贵数据采集的依赖。

提出的方法

• 使用 EEGEyeNet 数据集，对在 ImageNet 上预训练的混合 Vision Transformer（ViT）进行 EEG 回归的微调。
• 采用混合架构，结合卷积层进行初始特征提取，以及 Vision Transformer 进行全局注意力和序列建模。
• 在 ViT 模块中应用标准自注意力机制，以捕捉时空 EEG 信号中的长程依赖关系。
• 在 EEG 数据上端到端训练模型，并使用回归头从 EEG 输入预测注视位置。
• 采用标准优化和正则化技术，包括权重衰减和 Dropout，以稳定训练过程。
• 与基线模型（如 EEGNet、Xception 和未预训练的 ViT-Base）进行性能比较。

Figure 1. EEGEyeNet Large Grid Paradigm (Kastrati et al . , 2021 ) . Participants are asked to fixate on particular dots in a given period.

实验结果

研究问题

• RQ1 在不修改架构的前提下，能否有效微调在 ImageNet 上预训练的 Vision Transformer 用于 EEG 回归？
• RQ2 在 EEG 数据上训练 ViT 时，与从随机初始化开始训练相比，在 ImageNet 上预训练是否能提供性能优势？
• RQ3 在 EEGEyeNet 数据集上，预训练 ViT 的性能与最先进 CNN 模型相比如何？
• RQ4 与基于注意力的模型相比，CNN 的归纳偏置在 EEG 回归任务中在多大程度上限制了性能？
• RQ5 从视觉数据进行迁移学习是否可作为解决 EEG 研究中数据稀缺问题的可行方案？

主要发现

• 预训练的 ViT 模型在 EEGEyeNet 注视位置预测任务上实现了 55.4 mm 的均方根误差（RMSE），显著优于此前最先进 CNN 模型的 70.4 mm RMSE。
• 该预训练 ViT 模型也优于未预训练的 ViT-Base，表明预训练带来的性能提升不仅源于架构本身。
• 模型性能优越主要归因于 Transformer 模块捕捉长程依赖关系的能力，而非仅依赖卷积前端。
• 该模型性能甚至超过使用深度可分离卷积的基线模型（如 EEGNet 和 Xception），表明自注意力机制在 EEG 数据中相对于局部卷积具有优势。
• 结果表明，大规模图像数据上的预训练能提供强大的归纳偏置，即使存在领域差异，也能在 EEG 回归任务中良好泛化。
• 本研究证明，即使源任务与目标任务无关，从视觉领域到 EEG 的迁移学习在实践上是可行且有效的。

Figure 2. Proposed EEGViT, a hybrid ViT (Vision Transformer) architecture designed specifically for EEG raw signal as input. A two-step convolution operation is applied to generate patch embeddings. Then we add positional embeddings and pass the resulting sequence into ViT layers. The illustration o