[论文解读] Using deep learning to reveal the neural code for images in primary visual cortex

William Kindel, Elijah Christensen+1 more|arXiv (Cornell University)|Jun 19, 2017

Neural dynamics and brain function参考文献 14被引用 17

一句话总结

本研究利用深度卷积神经网络预测初级视觉皮层（V1）神经元对自然图像的放电率，实现了高精度——15%的神经元预测值接近其理论极限的10%。通过反演网络，作者识别出此前未知的感受野，包括非局部化的纹理特征，揭示了超越经典简单细胞和复杂细胞的新功能细胞类型。

ABSTRACT

Primary visual cortex (V1) is the first stage of cortical image processing, and a major effort in systems neuroscience is devoted to understanding how it encodes information about visual stimuli. Within V1, many neurons respond selectively to edges of a given preferred orientation: these are known as simple or complex cells, and they are well-studied. Other neurons respond to localized center-surround image features. Still others respond selectively to certain image stimuli, but the specific features that excite them are unknown. Moreover, even for the simple and complex cells-- the best-understood V1 neurons-- it is challenging to predict how they will respond to natural image stimuli. Thus, there are important gaps in our understanding of how V1 encodes images. To fill this gap, we train deep convolutional neural networks to predict the firing rates of V1 neurons in response to natural image stimuli, and find that 15% of these neurons are within 10% of their theoretical limit of predictability. For these well predicted neurons, we invert the predictor network to identify the image features (receptive fields) that cause the V1 neurons to spike. In addition to those with previously-characterized receptive fields (Gabor wavelet and center-surround), we identify neurons that respond predictably to higher-level textural image features that are not localized to any particular region of the image.

研究动机与目标

• 解码初级视觉皮层（V1）中自然图像的神经编码机制，传统模型对许多神经元无法有效描述。
• 克服传统模型在预测自然刺激响应方面的局限性，特别是针对非简单/复杂细胞。
• 开发一种可泛化至多种V1神经元类型的深度学习框架，实现对放电率的精确预测。
• 利用训练好的模型进行反演，识别驱动特定V1神经元响应的视觉特征。
• 基于深度学习揭示的响应特性，发现V1中新的功能细胞类型。

提出的方法

• 在猕猴的355个V1神经元上训练深度卷积神经网络（CNN），这些神经元对270张圆形裁剪的自然图像产生反应，数据来自多电极阵列记录。
• 使用刺激后50–100 ms的时间窗口计算每张图像的平均放电率，基于20次重复呈现的平均值。
• 使用一个会话中的37个神经元优化网络超参数，随后在其余355个神经元上评估性能。
• 模型在所有神经元上的实际神经放电率与预测值之间达到平均相关系数 $ \overline{r}_{\rm{model}} = 0.56 \pm 0.02 $。
• 对训练好的CNN进行反演，以识别引发单个神经元放电反应的图像特征（感受野）。
• 将该模型应用于分类与发现新型功能细胞类型，超越传统的Gabor或中心-周围感受场。

实验结果

研究问题

• RQ1 深度学习模型能否准确预测V1神经元对自然图像的放电率，特别是对经典模型难以描述的神经元？
• RQ2 哪些视觉特征驱动非简单或复杂细胞的V1神经元响应？
• RQ3 深度神经网络在多大程度上能预测神经元响应，使其接近由试次间变异性决定的理论极限？
• RQ4 训练好的模型能否反演以揭示单个V1神经元的感受野，包括具有非局部化或高级特征选择性的感受野？
• RQ5 通过基于深度学习的神经响应模式分析，能否发现V1中新的功能细胞类型？

主要发现

• 深度学习模型在355个V1神经元中实现了预测值与实际放电率之间的平均相关系数 $ \overline{r}_{\rm{model}} = 0.56 \pm 0.02 $。
• 在15%的神经元中，模型预测的放电率在由神经反应变异性决定的理论极限的10%以内。
• 该模型成功识别出已知的感受场类型，包括Gabor小波和中心-周围轮廓，验证了其预测能力。
• 除经典感受场外，该模型还揭示了对更高阶、非局部化纹理图像特征敏感的神经元。
• 网络反演揭示了V1中此前因复杂或非局部响应特性而被忽略的新功能细胞类型。
• 该方法实现了一种闭环神经科学框架，使模型能够生成刺激以直接测试神经编码假说。