[论文解读] Natural scene reconstruction from fMRI signals using generative latent diffusion

Furkan Özçelik, Rufin VanRullen|arXiv (Cornell University)|Mar 9, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出 Brain-Diffuser，一种基于 fMRI 的自然场景重建两阶段框架，首先利用非常深的变分自编码器（VDVAE）从 fMRI 信号中生成低层次图像特征，然后使用以多模态 CLIP 特征（文本与视觉）为条件的潜在扩散模型（Versatile Diffusion）生成高保真度、语义一致的场景重建。该方法在 Natural Scenes Dataset 上实现了最先进性能，在定性和定量指标上均优于先前模型。

ABSTRACT

In neural decoding research, one of the most intriguing topics is the reconstruction of perceived natural images based on fMRI signals. Previous studies have succeeded in re-creating different aspects of the visuals, such as low-level properties (shape, texture, layout) or high-level features (category of objects, descriptive semantics of scenes) but have typically failed to reconstruct these properties together for complex scene images. Generative AI has recently made a leap forward with latent diffusion models capable of generating high-complexity images. Here, we investigate how to take advantage of this innovative technology for brain decoding. We present a two-stage scene reconstruction framework called ``Brain-Diffuser''. In the first stage, starting from fMRI signals, we reconstruct images that capture low-level properties and overall layout using a VDVAE (Very Deep Variational Autoencoder) model. In the second stage, we use the image-to-image framework of a latent diffusion model (Versatile Diffusion) conditioned on predicted multimodal (text and visual) features, to generate final reconstructed images. On the publicly available Natural Scenes Dataset benchmark, our method outperforms previous models both qualitatively and quantitatively. When applied to synthetic fMRI patterns generated from individual ROI (region-of-interest) masks, our trained model creates compelling ``ROI-optimal'' scenes consistent with neuroscientific knowledge. Thus, the proposed methodology can have an impact on both applied (e.g. brain-computer interface) and fundamental neuroscience.

研究动机与目标

• 为解决从 fMRI 信号重建复杂、多对象自然场景的挑战，此前方法在保留低层次视觉细节和高层次语义方面表现不佳。
• 利用生成式 AI 的最新进展，特别是潜在扩散模型，以提升 fMRI 的脑解码与图像重建性能。
• 开发一种框架，将多模态条件（文本与视觉特征）与 fMRI 衍生表征相结合，生成更真实、语义准确的重建结果。
• 在包含多样化、复杂 COCO 图像且富含语义内容的挑战性 Natural Scenes Dataset（NSD）上验证模型能力。
• 展示该方法在探测脑功能方面的实用性，通过从基于感兴趣区域（ROI）掩码生成的合成 fMRI 图案中生成‘ROI 最优’刺激。

提出的方法

• 该框架采用两阶段流程：首先，VDVAE 模型从 fMRI 信号中重建低层次图像特征（如布局、纹理），生成潜在表征。
• 其次，潜在扩散模型（Versatile Diffusion）在基于 VDVAE 输出推导出的 CLIP-Text 和 CLIP-Vision 特征条件下，生成最终的高分辨率图像。
• 使用 CLIP 提取多模态特征，提供对齐的文本与图像嵌入，以引导扩散过程生成语义上有意义的重建。
• 该方法仅通过岭回归模型将多体素 fMRI 活动模式映射到 VDVAE 和扩散模型的潜在空间，最大限度减少端到端训练需求。
• 在 Natural Scenes Dataset（NSD）上评估该框架，使用真实 fMRI 数据和从 ROI 掩码生成的合成 fMRI 图案。
• 使用预训练模型（VDVAE、Versatile Diffusion、CLIP）可实现高效适配 fMRI 解码，无需微调生成组件。

实验结果

研究问题

• RQ1 潜在扩散模型能否有效用于从 fMRI 信号中重建复杂、多对象自然场景，同时保留低层次视觉结构和高层次语义内容？
• RQ2 与单模态或无条件相比，对文本和视觉 CLIP 特征的多模态条件如何提升 fMRI 基图像重建的保真度与真实感？
• RQ3 从 ROI 掩码导出的合成 fMRI 图案在多大程度上可用于生成与神经科学对脑区功能预期一致的‘最优’刺激？
• RQ4 两阶段框架——VDVAE 负责低层次重建，扩散模型负责精细化——是否优于端到端生成模型在 fMRI 重建复杂场景方面的表现？
• RQ5 该方法能否泛化以探测视觉皮层区域的功能特异性，通过生成选择性激活特定 ROI 的刺激？

主要发现

• Brain-Diffuser 在 Natural Scenes Dataset 上的定性和定量评估中均优于先前最先进方法，生成的重建结果更具自然感且语义一致。
• 该模型保留了关键场景布局与语义特征，即使未完全匹配真实图像，其重建结果在感知上也比早期方法更真实。
• 当应用于从单个 ROI 掩码生成的合成 fMRI 图案时，该模型生成的‘ROI 最优’场景与已知视觉处理神经科学原理一致。
• 与仅使用单一模态或无条件的模型相比，对 CLIP-Text 和 CLIP-Vision 特征的双重条件显著提升了重建质量。
• 与先前方法（包括 Takagi et al. [22] 和 Chen et al. [20]）相比，该框架在高层次（如基于 CLIP 的相似性）和低层次（如感知）指标上均表现更优。
• 结果表明，预训练生成模型可仅通过岭回归将 fMRI 活动映射到潜在空间，实现极小微调即有效适配 fMRI 解码。