[论文解读] Visual Decoding and Reconstruction via EEG Embeddings with Guided Diffusion

Dongyang Li, Wei Chen+4 more|arXiv (Cornell University)|Mar 12, 2024

Blind Source Separation Techniques被引用 4

一句话总结

本文提出了一种基于EEG的视觉重建框架，采用即插即用的EEG编码器、自适应思维映射器（ATM）以及两阶段扩散生成模型。通过对比学习将EEG嵌入与图像特征对齐，并利用引导式扩散进行图像生成，该方法在基于EEG的图像分类、检索与重建任务中实现了最先进性能，展现出高时间分辨率与低成本，适用于脑机接口应用。

ABSTRACT

How to decode human vision through neural signals has attracted a long-standing interest in neuroscience and machine learning. Modern contrastive learning and generative models improved the performance of visual decoding and reconstruction based on functional Magnetic Resonance Imaging (fMRI). However, the high cost and low temporal resolution of fMRI limit their applications in brain-computer interfaces (BCIs), prompting a high need for visual decoding based on electroencephalography (EEG). In this study, we present an end-to-end EEG-based visual reconstruction zero-shot framework, consisting of a tailored brain encoder, called the Adaptive Thinking Mapper (ATM), which projects neural signals from different sources into the shared subspace as the clip embedding, and a two-stage multi-pipe EEG-to-image generation strategy. In stage one, EEG is embedded to align the high-level clip embedding, and then the prior diffusion model refines EEG embedding into image priors. A blurry image also decoded from EEG for maintaining the low-level feature. In stage two, we input both the high-level clip embedding, the blurry image and caption from EEG latent to a pre-trained diffusion model. Furthermore, we analyzed the impacts of different time windows and brain regions on decoding and reconstruction. The versatility of our framework is demonstrated in the magnetoencephalogram (MEG) data modality. The experimental results indicate that our EEG-based visual zero-shot framework achieves SOTA performance in classification, retrieval and reconstruction, highlighting the portability, low cost, and high temporal resolution of EEG, enabling a wide range of BCI applications. Our code is available at https://github.com/ncclab-sustech/EEG_Image_decode.

研究动机与目标

• 为解决功能性磁共振成像（fMRI）在脑机接口（BCI）应用中的局限性，如高成本与低时间分辨率，开发一种低成本、便携且具备高时间分辨率的基于EEG的视觉解码框架。
• 通过引入一种新型EEG编码器——自适应思维映射器（ATM），提升EEG嵌入与图像嵌入之间的对齐性能，从而改进基于EEG的视觉重建效果。
• 利用基于两阶段扩散的生成模型，实现从EEG信号中高保真度的图像重建，且该模型以EEG嵌入为条件。
• 研究不同脑区与时间窗对基于EEG的视觉解码性能的影响。
• 在EEG与MEG数据模态之间验证该框架的通用性与泛化能力。

提出的方法

• 所提出的框架采用即插即用的EEG编码器——自适应思维映射器（ATM），其集成了注意力模块与时空卷积模块，用于提取实时EEG与MEG表征。
• ATM编码器通过自监督对比学习框架进行训练，以实现EEG嵌入与基于CLIP的图像嵌入之间的对齐，从而提升表征质量。
• 采用两阶段图像生成策略：首先，先验扩散模型基于EEG特征生成图像嵌入；其次，增强版Stable Diffusion模型从这些EEG条件化的先验中重建最终图像。
• 该方法可在无需微调下游任务的情况下，实现零样本图像检索与分类。
• 该框架在EEG（THINGS-EEG）与MEG（THINGS-MEG）数据集上均进行了评估，验证了其在不同模态与受试者间的鲁棒性。
• 消融研究验证了各组件的贡献，包括ATM中的注意力模块与时空卷积模块。

实验结果

研究问题

• RQ1 基于EEG的视觉重建能否在保持低成本与高时间分辨率的同时，实现与基于fMRI的方法相当的最先进性能？
• RQ2 在刺激处理过程中，基于EEG的视觉解码性能在不同脑区与时间窗下如何变化？
• RQ3 即插即用的EEG编码器（如ATM）在多大程度上可改善EEG与图像嵌入之间的对齐，以提升下游任务性能？
• RQ4 两阶段扩散生成策略能否有效实现从EEG信号中高保真度地重建自然图像？
• RQ5 所提出的框架是否具备在EEG与MEG数据模态之间的泛化能力？

主要发现

• 在THINGS-EEG数据集上，ATM-S模型在偶数编号受试者上的零样本检索任务中，实现了28.50%的top-1准确率与60.39%的top-5准确率，优于所有基线模型。
• 在受试者无关的检索任务中，ATM-S的整体top-1准确率为13.65%，top-5准确率为37.34%，显著超过先前方法（如EEGNetV4的8.69% top-1与NICE的8.81% top-1）。
• 在受试者相关检索任务中，ATM-S在Subject 1上实现25.60%的top-1准确率，在Subject 7上达到30.50%，较次优方法（NICE）提升超过10个百分点。
• 两阶段扩散生成策略能够从EEG信号中实现生动且感知上准确的图像重建，定性结果表明重建图像与原始刺激高度一致。
• 消融研究证实，ATM中的注意力模块与时空卷积模块对最优性能均至关重要，当任一模块被移除时，性能显著下降。
• 该框架可泛化至MEG数据，在THINGS-MEG数据集上实现了最先进性能，证实了其在神经影像模态间的通用性。