[论文解读] NeuroGen: activation optimized image synthesis for discovery neuroscience

Zijin Gu, Keith Jamison+7 more|ArXiv.org|May 15, 2021

Cell Image Analysis Techniques被引用 4

一句话总结

NeuroGen 提出了一种新颖的框架，将基于 fMRI 训练的神经编码模型与条件深度生成网络（BigGAN-deep）相结合，以合成能够诱发特定宏观脑区激活模式的高保真图像。通过优化噪声向量和类别码，以最大化或最小化目标视觉区域的激活，NeuroGen 实现了对人类视觉中刺激-响应关系的精确、数据高效发现，其在检测个体和区域脑响应差异方面优于自然图像。

ABSTRACT

Functional MRI (fMRI) is a powerful technique that has allowed us to characterize visual cortex responses to stimuli, yet such experiments are by nature constructed based on a priori hypotheses, limited to the set of images presented to the individual while they are in the scanner, are subject to noise in the observed brain responses, and may vary widely across individuals. In this work, we propose a novel computational strategy, which we call NeuroGen, to overcome these limitations and develop a powerful tool for human vision neuroscience discovery. NeuroGen combines an fMRI-trained neural encoding model of human vision with a deep generative network to synthesize images predicted to achieve a target pattern of macro-scale brain activation. We demonstrate that the reduction of noise that the encoding model provides, coupled with the generative network's ability to produce images of high fidelity, results in a robust discovery architecture for visual neuroscience. By using only a small number of synthetic images created by NeuroGen, we demonstrate that we can detect and amplify differences in regional and individual human brain response patterns to visual stimuli. We then verify that these discoveries are reflected in the several thousand observed image responses measured with fMRI. We further demonstrate that NeuroGen can create synthetic images predicted to achieve regional response patterns not achievable by the best-matching natural images. The NeuroGen framework extends the utility of brain encoding models and opens up a new avenue for exploring, and possibly precisely controlling, the human visual system.

研究动机与目标

• 为克服传统 fMRI 实验的局限性，这些局限包括依赖先验假设、受刺激集有限性制约以及存在噪声。
• 开发一种计算框架，生成定制化的合成图像，以诱发特定的区域或个体脑激活模式。
• 仅使用少量优化后的合成图像，实现对个体和脑区之间视觉响应差异的发现。
• 证明 NeuroGen 能够生成激活模式无法通过 ImageNet 数据集中最佳匹配自然图像实现的图像。
• 验证 NeuroGen 的合成图像发现结果在数千个观测 fMRI 响应中得到体现。

提出的方法

• 在 8 名个体的 fMRI 数据上训练基于岭回归的神经编码模型，以从图像特征预测脑区激活。
• 利用预训练的 BigGAN-deep 生成器，结合条件类别向量和噪声向量，生成多样化且高保真的合成图像。
• 执行两阶段优化：首先通过随机噪声采样和激活预测，识别出 10 个最优图像类别；随后对每个类别优化噪声向量，以最大化目标区域激活。
• 将优化问题表述为正则化最大化问题：$\hat{z}_{ij}(c_i) = \arg\max_{z_{ij}} (\hat{r}_t(G(c_i,z_{ij})) - \lambda \|z_{ij}\|)$，其中 $\lambda = 0.001$。
• 对于多区域目标，损失函数被扩展为联合最大化或最小化成对区域的激活，权重相等。
• 通过从 10 个最优类别中各选择表现最佳的图像，选出前 10 幅合成图像用于后续分析。

实验结果

研究问题

• RQ1 与自然图像相比，NeuroGen 生成的合成图像是否能更有效地检测并放大人类脑区和个体间响应模式的差异？
• RQ2 NeuroGen 是否能生成诱发脑激活模式的图像，而这些模式是 ImageNet 数据集中最佳匹配自然图像无法实现的？
• RQ3 NeuroGen 的合成图像发现结果在多大程度上能泛化到不同个体和脑区，其有效性是否通过观测到的 fMRI 响应得到验证？
• RQ4 将 fMRI 训练的编码模型与深度生成网络结合，如何提升视觉神经科学研究发现的鲁棒性和精确性？
• RQ5 NeuroGen 是否可用于通过定向图像合成，精确控制或探测人类视觉皮层的功能组织？

主要发现

• NeuroGen 顺利合成了 100 幅图像，涵盖 10 个最优类别，这些图像在目标视觉区域的预测激活最大化，其中前 10 幅图像被选为分析对象。
• 仅使用 10 幅合成图像，即可检测并放大脑区和个体间响应模式的差异，其表现优于自然图像集合。
• NeuroGen 生成的图像预测可诱发视觉区域的激活模式，这些模式无法通过 ImageNet 中任何最佳匹配的自然图像实现。
• NeuroGen 合成图像的预测激活模式经数千个观测 fMRI 响应验证，证实了发现结果的可靠性和泛化能力。
• 该框架通过编码模型平滑测量变异性，展现出对噪声的鲁棒性，实现了以最少数据进行精确发现。
• BigGAN-deep 中的截断参数设置为 0.4，以在图像保真度和多样性之间取得平衡，从而生成高质量的合成刺激物，适用于神经科学研究。