[论文解读] Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals

Yu-Ting Lan, Kan Ren+5 more|arXiv (Cornell University)|Jul 27, 2023

CCD and CMOS Imaging Sensors被引用 7

一句话总结

本文提出 NeuroImagen，一种新颖的流水线，通过多层次语义解码与潜在扩散模型，从便携式脑电信号中重建高分辨率视觉刺激。通过从噪声大、时间序列的脑电信号中提取像素级显著性图与样本级文本描述，该方法在 EEG-图像数据集上实现了最先进的 FID 和 IS 评分，显著提升了图像重建质量。

ABSTRACT

Seeing is believing, however, the underlying mechanism of how human visual perceptions are intertwined with our cognitions is still a mystery. Thanks to the recent advances in both neuroscience and artificial intelligence, we have been able to record the visually evoked brain activities and mimic the visual perception ability through computational approaches. In this paper, we pay attention to visual stimuli reconstruction by reconstructing the observed images based on portably accessible brain signals, i.e., electroencephalography (EEG) data. Since EEG signals are dynamic in the time-series format and are notorious to be noisy, processing and extracting useful information requires more dedicated efforts; In this paper, we propose a comprehensive pipeline, named NeuroImagen, for reconstructing visual stimuli images from EEG signals. Specifically, we incorporate a novel multi-level perceptual information decoding to draw multi-grained outputs from the given EEG data. A latent diffusion model will then leverage the extracted information to reconstruct the high-resolution visual stimuli images. The experimental results have illustrated the effectiveness of image reconstruction and superior quantitative performance of our proposed method.

研究动机与目标

• 解决从噪声大、时间序列的脑电信号中重建高分辨率视觉刺激的挑战，该问题相较于基于 fMRI 的方法研究较少。
• 通过解码脑电信号中的多粒度语义信息（包括像素级显著性与样本级文本描述），提升图像重建质量。
• 利用预训练的潜在扩散模型进行高保真图像生成，其生成过程由从脑电信号中提取的语义先验引导。
• 验证该框架在具有个体特异性脑电模式的不同受试者中的鲁棒性与泛化能力。
• 在定性与定量指标上，证明所提方法相较于现有基于 EEG 的图像重建基线方法具有显著优势。

提出的方法

• 提出一个多层级感知信息解码模块，从脑电信号中提取像素级语义（如显著性图）与样本级语义（如文本描述）。
• 使用 BLIP 图像字幕生成与基于标签的字幕作为样本级语义解码的监督信号，以引导扩散过程。
• 将提取的语义先验整合进潜在扩散模型（LDM），生成以脑电信号表征为条件的高分辨率图像。
• 采用两阶段训练策略：在训练阶段使用像素级与样本级监督（推理时移除），以有效控制扩散过程。
• 在潜在空间中利用预训练的扩散模型，以提升生成效率与图像质量，同时保持与原始视觉刺激的高度保真度。
• 应用一种控制机制，将语义先验与扩散模型去噪步骤对齐，实现从复杂脑电信号中结构化生成图像。

Figure 1: Overview of our NeuroImagen . All the modules with dotted lines, i.e. pixel-level supervision and sample-level supervision, are only used during the training phase. and would be removed during the inference phase .

实验结果

研究问题

• RQ1 从脑电信号中解码多层次语义信息（从像素级显著性到样本级文本描述）是否能提升重建视觉刺激的质量与语义准确性？
• RQ2 将预训练的潜在扩散模型与 EEG 衍生的语义先验相结合，相较于端到端生成模型或基于检索的基线方法，在 EEG 到图像重建任务中的表现如何？
• RQ3 该方法在具有个体特异性脑电模式与低信噪比的受试者之间，其泛化能力达到何种程度？
• RQ4 像素级语义（如显著性图）与样本级语义（如字幕监督）在提升重建图像的结构相似性与语义相似性方面，各自贡献如何？
• RQ5 基于标签的字幕监督是否在从脑电信号中解码类别级语义方面优于基于 BLIP 的字幕监督？

主要发现

• NeuroImagen 在 EEG-图像数据集上实现了最先进的 Fréchet Inception Distance (FID) 与 Inception Score (IS)，在受试者 05 上 IS 达 32.97，在受试者 01 上 IS 达 32.64。
• 使用像素级语义（显著性图）显著提升了结构相似性（SSIM），在消融实验中，SSIM 从基线的 0.157 提升至 0.251。
• 通过标签字幕监督引入样本级语义，性能优于 BLIP 字幕监督，IS 提升 3.5 分，SSIM 提升 0.015。
• 模型展现出强大的跨受试者泛化能力，在六名受试者中表现一致，重建图像类别分类平均准确率达 85.8%。
• 消融实验确认，结合像素级与样本级语义可实现最高质量的重建，IS 达最高值 32.97，SSIM 达 0.251。
• 定性结果表明，NeuroImagen 生成的图像在语义连贯性与结构准确性方面表现优异，与真实图像高度相似，在视觉保真度上优于 Brain2Image 与 NeuroVision 等基线方法。

Figure 2: Examples of ground-truth images, label captions, and BLIP captions, respectively.