[论文解读] Revealing structure components of the retina by deep learning networks

Qi Yan, Zhaofei Yu+2 more|arXiv (Cornell University)|Nov 8, 2017

Neural dynamics and brain function参考文献 13被引用 6

一句话总结

本研究表明，通过白噪声图像刺激训练以预测单个视网膜神经节细胞（RGCs）响应的深度卷积神经网络（CNNs）所学习到的滤波器，可直接对应视网膜回路中的生物亚单位。CNN揭示了类似于双极细胞感受野的局部功能性组件，其结构化的滤波器可对RGC感受野进行铺砌，预测准确率极高（r = 0.75），表明CNN仅从输入-输出数据中即可揭示可解释的神经回路组件。

ABSTRACT

Deep convolutional neural networks (CNNs) have demonstrated impressive performance on visual object classification tasks. In addition, it is a useful model for predication of neuronal responses recorded in visual system. However, there is still no clear understanding of what CNNs learn in terms of visual neuronal circuits. Visualizing CNN's features to obtain possible connections to neuronscience underpinnings is not easy due to highly complex circuits from the retina to higher visual cortex. Here we address this issue by focusing on single retinal ganglion cells with a simple model and electrophysiological recordings from salamanders. By training CNNs with white noise images to predicate neural responses, we found that convolutional filters learned in the end are resembling to biological components of the retinal circuit. Features represented by these filters tile the space of conventional receptive field of retinal ganglion cells. These results suggest that CNN could be used to reveal structure components of neuronal circuits.

研究动机与目标

• 探究深度学习模型是否可通过建模单个视网膜神经节细胞（RGCs）来揭示神经回路的可解释结构组件。
• 确定训练后CNN中的卷积滤波器是否与视网膜通路中的已知生物亚单位相对应。
• 评估CNN是否可仅从刺激-响应数据中恢复RGC的感受野结构与功能组织。
• 探索CNN参数在多大程度上反映潜在神经回路结构，而非任意或冗余的参数。

提出的方法

• 使用白噪声图像刺激训练了一个两层卷积层的CNN，以预测具有五个亚单位的生物物理启发式RGC模型产生的二进制脉冲发放序列。
• 第一卷积层采用15×15的滤波器尺寸，训练数据包含600,000张白噪声图像及其对应的模拟RGC脉冲发放响应。
• 通过可视化学习到的滤波器及其在输入空间中的激活特征，评估其空间结构与功能相关性。
• 将相同的CNN框架应用于火蜥螈RGC的电生理记录数据，使用相同的白噪声刺激与脉冲发放序列数据。
• 使用预测与实际RGC脉冲发放响应之间的皮尔逊相关系数（CC）量化模型性能。
• 将学习到的滤波器与视网膜的已知解剖与功能组件进行比较，特别是双极细胞感受野。

实验结果

研究问题

• RQ1 在白噪声图像刺激下训练的CNN是否能恢复视网膜回路的潜在结构组件？
• RQ2 CNN中学习到的卷积滤波器是否与双极细胞等已知生物亚单位相对应？
• RQ3 CNN滤波器所表示的特征在多大程度上以生物学上有意义的方式在RGC感受野中实现铺砌？
• RQ4 学习到的滤波器的结构与功能特性与火蜥螈制备中真实视网膜神经元的特性相比如何？

主要发现

• CNN学习到的卷积滤波器精确匹配了模拟RGC模型中的五个亚单位，尽管滤波器尺寸为15×15，但有效滤波器收敛为6×6像素的局部结构。
• 从火蜥螈生物RGC数据中学到的滤波器与双极细胞的感受野高度相似，具有约100 μm大小的局部空间分布。
• 由学习滤波器表示的特征具有空间局部性，并表现出功能特性，如OFF-peak响应（对应OFF双极细胞）以及部分ON-peak特征，提示其具有抑制性作用。
• 在生物数据上，CNN预测与实际RGC脉冲发放响应之间的皮尔逊相关系数达到0.75，表明其具有强大的预测性能。
• 大量滤波器呈稀疏且非结构化（接近零），表明网络中存在较高的参数冗余，而仅有部分滤波器承载生物学上有意义的信息。
• 观察到功能特征在感受野中的空间铺砌，其中OFF偏好特征占主导地位，部分复杂且混合峰值特征则源于局部性较差的滤波器。