[论文解读] Semantic Brain Decoding: from fMRI to conceptually similar image reconstruction of visual stimuli

Matteo Ferrante, Tommaso Boccato+1 more|arXiv (Cornell University)|Dec 13, 2022

Cell Image Analysis Techniques被引用 7

一句话总结

本文提出了一种语义脑解码流程，通过将fMRI数据中的脑活动映射到预训练CNN（ResNet50）的潜在空间，再利用条件化的潜在扩散模型生成图像，从而从fMRI数据中重建出概念上相似的视觉刺激。该方法在性能上达到当前最先进水平，Wu-Palmer相似度为0.57，人类评估准确率达81%。

ABSTRACT

Brain decoding is a field of computational neuroscience that uses measurable brain activity to infer mental states or internal representations of perceptual inputs. Therefore, we propose a novel approach to brain decoding that also relies on semantic and contextual similarity. We employ an fMRI dataset of natural image vision and create a deep learning decoding pipeline inspired by the existence of both bottom-up and top-down processes in human vision. We train a linear brain-to-feature model to map fMRI activity features to visual stimuli features, assuming that the brain projects visual information onto a space that is homeomorphic to the latent space represented by the last convolutional layer of a pretrained convolutional neural network, which typically collects a variety of semantic features that summarize and highlight similarities and differences between concepts. These features are then categorized in the latent space using a nearest-neighbor strategy, and the results are used to condition a generative latent diffusion model to create novel images. From fMRI data only, we produce reconstructions of visual stimuli that match the original content very well on a semantic level, surpassing the state of the art in previous literature. We evaluate our work and obtain good results using a quantitative semantic metric (the Wu-Palmer similarity metric over the WordNet lexicon, which had an average value of 0.57) and perform a human evaluation experiment that resulted in correct evaluation, according to the multiplicity of human criteria in evaluating image similarity, in over 80% of the test set.

研究动机与目标

• 通过引入语义和上下文相似性，改进从fMRI中重建视觉刺激的方法，超越像素级重建。
• 探究fMRI活动是否可以线性映射到预训练CNN的语义潜在空间，以反映类人视觉与概念处理。
• 利用fMRI数据作为输入，生成与原始刺激在语义上相似的新图像，而非精确重建原始图像。
• 通过定量语义度量和人类感知研究相结合的方式评估重建质量。

提出的方法

• 训练一个线性脑-特征模型，将fMRI活动模式映射到预训练ResNet50网络最后一个卷积层的特征。
• 在CNN的潜在空间中使用k近邻（kNN）分类法，预测与fMRI模式相对应的语义类别。
• 将潜在扩散生成模型条件化于预测的语义类别，以合成与原始刺激在语义上相似的新图像。
• 基于大脑视觉表征与深度CNN语义特征空间同胚的假设，实现语义泛化。
• 在WordNet上应用Wu-Palmer相似度度量，对真实与预测概念之间的语义保真度进行定量评估。
• 开展双盲人类评估研究，以评估生成图像的感知相似度与质量。

实验结果

研究问题

• RQ1 fMRI活动模式能否被有效映射到预训练CNN的语义潜在空间，以实现概念上准确的图像生成？
• RQ2 从人类观察者的判断来看，生成的图像在多大程度上与原始视觉刺激的语义内容相匹配？
• RQ3 与以往最先进方法相比，该方法在语义相似度和感知质量方面表现如何？
• RQ4 从fMRI到CNN特征的线性映射在多大程度上能够捕捉视觉感知的层次化与语义组织结构？
• RQ5 自上而下的语义先验在提升重建保真度方面发挥了何种作用，使其超越像素级精度？

主要发现

• 该方法在WordNet词典上的平均Wu-Palmer相似度得分为0.57 ± 0.15，表明预测概念与真实概念之间具有较强的语义对齐。
• 在双盲人类评估中，81%的测试集重建结果被正确识别为与原始刺激在语义上相似。
• 尽管并非精确的像素重建，该方法在语义与概念相似性方面仍优于以往最先进方法。
• 在CNN潜在空间中使用kNN策略，能够有效实现从fMRI数据进行语义分类，支持了大脑-CNN表征同胚的假设。
• 基于预测语义类别的潜在扩散模型成功生成了新颖且视觉上合理的图像，其语义内容与原始刺激相匹配。
• 结果表明，fMRI数据不仅可用于解码，还可用于生成语义上有意义的视觉内容，推动脑机接口与认知神经科学的应用发展。