[论文解读] Reconstructing Perceptive Images from Brain Activity by Shape-Semantic GAN

Tao Fang, Yu Qi+1 more|arXiv (Cornell University)|Jan 28, 2021

Cell Image Analysis Techniques参考文献 29被引用 20

一句话总结

该论文提出了一种名为Shape-Semantic GAN的新方法，这是一种基于fMRI的图像重建技术，通过分别从初级视觉皮层解码形状特征、从高级视觉皮层解码语义特征，再通过生成对抗网络（GAN）融合二者，生成高质量、自然外观的图像。该方法通过利用大脑的分层表征结构和数据增强技术，实现了最先进的性能，相较于以往方法，在重建相似性和视觉质量方面均有提升。

ABSTRACT

Reconstructing seeing images from fMRI recordings is an absorbing research area in neuroscience and provides a potential brain-reading technology. The challenge lies in that visual encoding in brain is highly complex and not fully revealed. Inspired by the theory that visual features are hierarchically represented in cortex, we propose to break the complex visual signals into multi-level components and decode each component separately. Specifically, we decode shape and semantic representations from the lower and higher visual cortex respectively, and merge the shape and semantic information to images by a generative adversarial network (Shape-Semantic GAN). This 'divide and conquer' strategy captures visual information more accurately. Experiments demonstrate that Shape-Semantic GAN improves the reconstruction similarity and image quality, and achieves the state-of-the-art image reconstruction performance.

研究动机与目标

• 为解决从fMRI信号重建复杂自然图像的挑战，该挑战因大脑复杂的分层视觉编码机制而难以克服。
• 通过利用大脑视觉处理的分层组织结构，将低层次（形状）与高层次（语义）特征解码分离，以提升图像重建质量。
• 通过条件生成对抗网络（GAN）融合解码后的形状与语义特征，提升重建的准确性和视觉保真度。
• 通过应用数据增强技术缓解小样本fMRI数据集的局限性，提升GAN的训练效果与泛化能力。

提出的方法

• 使用线性模型从初级视觉皮层（LVC）的fMRI信号中解码形状表征，捕捉核心物体轮廓。
• 使用深度神经网络（DNN）模型从高级视觉皮层（HVC）的fMRI信号中解码高层语义特征，代表图像的类别化内容。
• 采用名为Shape-Semantic GAN的条件生成对抗网络，将解码后的形状与语义特征作为条件输入，生成逼真图像，提升视觉合理性。
• 对训练集应用数据增强，扩展有限的fMRI数据，提升GAN学习多样化图像分布的能力。
• 该框架采用“分而治之”策略，在生成阶段前分别解码形状与语义成分，再进行融合。
• 模型通过对抗损失与感知损失进行端到端训练，确保生成图像的高保真度。

实验结果

研究问题

• RQ1 将来自不同脑区的低层次形状与高层次语义特征分别解码，是否能提升从fMRI中重建图像的效果？
• RQ2 通过条件GAN融合形状与语义特征，是否能生成比端到端模型更高质量、更逼真的图像重建结果？
• RQ3 在训练数据有限的情况下，数据增强在多大程度上能提升fMRI到图像生成模型的性能？
• RQ4 当形状解码存在噪声或歧义时，语义信息的引入在多大程度上能提升重建准确性？

主要发现

• Shape-Semantic GAN在定量评估中实现了65.3%的重建相似度得分，优于不使用语义信息的基线方法（62.5%）。
• 在形状存在噪声或模糊的情况下，加入语义引导的重建图像在颜色正确分配和物体细节表现方面显著提升了视觉质量。
• 采用数据增强训练的模型实现了65.3%的重建相似度，而未使用增强的模型为63.6%，证明了数据扩展的有效性。
• 消融实验表明，语义特征在准确重建中至关重要，尤其在仅依赖形状解码时易导致错误或不一致的图像细节。
• 该框架通过有效利用大脑视觉处理的分层结构，优于当前最先进的方法。
• 分别从LVC与HVC解码的性能优于使用整合视觉皮层信号的方案，可能是因为减少了低相关性脑区的干扰。