[论文解读] Neuro-GPT: Towards A Foundation Model for EEG

Wenhui Cui, Woojae Jeong+5 more|arXiv (Cornell University)|Nov 7, 2023

EEG and Brain-Computer Interfaces被引用 5

一句话总结

Neuro-GPT 提出了一种用于 EEG 的基础模型，通过将 EEG 编码器与基于 GPT 的解码器结合，实现在大规模 EEG 数据（TUH 数据集）上的自监督预训练，显著提升了低数据量场景下下游运动想象分类的性能。该模型在 9 名受试者的留一法基准测试中实现了最先进水平的准确率（64.3% ± 10.6%），证明了预训练在跨异质 EEG 数据泛化方面的有效性。

ABSTRACT

To handle the scarcity and heterogeneity of electroencephalography (EEG) data for Brain-Computer Interface (BCI) tasks, and to harness the power of large publicly available data sets, we propose Neuro-GPT, a foundation model consisting of an EEG encoder and a GPT model. The foundation model is pre-trained on a large-scale data set using a self-supervised task that learns how to reconstruct masked EEG segments. We then fine-tune the model on a Motor Imagery Classification task to validate its performance in a low-data regime (9 subjects). Our experiments demonstrate that applying a foundation model can significantly improve classification performance compared to a model trained from scratch, which provides evidence for the generalizability of the foundation model and its ability to address challenges of data scarcity and heterogeneity in EEG. The code is publicly available at github.com/wenhui0206/NeuroGPT.

研究动机与目标

• 解决基于 EEG 的脑机接口（BCIs）中数据稀缺与受试者间差异性的挑战。
• 利用大规模公开的 EEG 数据，开发一种可在受试者和任务间泛化的基础模型。
• 探究使用类似 GPT 的架构进行自监督预训练是否能提升 EEG 中的特征学习能力与下游分类性能。
• 研究架构选择（分块大小、重叠率、模型深度）对预训练与微调性能的影响。

提出的方法

• 将原始 EEG 信号分割为固定长度的时间分块（T 秒），作为 GPT 模型的输入 token。
• 使用包含 1D 卷积与自注意力层的混合 EEG 编码器，从每个分块中提取去噪的、低维的时空嵌入。
• 应用因果掩码，掩码最后一个嵌入分块，并通过自回归的下一个 token 预测训练 GPT 模型以重建该分块。
• 使用预测嵌入与原始嵌入之间的重建损失，在 TUH EEG 数据集上对完整 Neuro-GPT 模型进行预训练。
• 在仅 9 名受试者的运动想象分类任务上，采用三种策略对 EEG 编码器进行微调：端到端、仅编码器、以及编码器+GPT。
• 评估超参数，包括分块长度（1–4 秒）、分块数量（4–32）、重叠率（10–50%）以及嵌入维度（768–1024）。

实验结果

研究问题

• RQ1 在大规模 EEG 数据上预训练的基础模型是否能提升低数据量场景下的分类性能？
• RQ2 EEG 编码器与 GPT 解码器的架构设计如何影响特征学习与下游性能？
• RQ3 预训练中分块大小、分块数量与重叠率的最佳配置是什么？
• RQ4 GPT 组件是否对下游分类有实质性贡献，还是因过拟合而产生负面影响？
• RQ5 预训练如何提升跨受试者 EEG 特征的线性可分性？

主要发现

• 预训练的 Neuro-GPT 模型在 9 名受试者的留一法运动想象任务中实现了 64.3% ± 10.6% 的平均分类准确率，优于从零开始训练的模型（59.6% ± 9.0%）以及先前方法 BENDR（42.6%）。
• 仅微调编码器的策略取得了最高性能，表明预训练的编码器学习到了高度通用且具有判别力的特征。
• 在预训练中使用 16 或 32 个分块比使用 4 或 8 个分块带来了更好的下游结果，表明更长的序列有助于特征学习。
• 尽管更难重建，4 秒的分块长度反而提升了下游性能，而 1 秒的分块导致性能下降。
• 将 GPT-2 嵌入维度从 768 提升至 1024 提高了下游准确率，但增加 GPT 解码器层数（超过 6 层）并未带来进一步提升。
• 50% 的重叠率降低了下游性能，可能是因为冗余或噪声信息影响了重建与特征学习。