[论文解读] Neural system identification for large populations separating "what" and "where"

David Klindt, Alexander S. Ecker+2 more|arXiv (Cornell University)|Nov 7, 2017

Neural dynamics and brain function参考文献 23被引用 47

一句话总结

本文提出一种具有因子化稀疏读出层的深度卷积神经网络（CNN），该层显式分离了大尺度神经元群体中的空间感受野位置（'何处'）与共享的非线性特征计算（'什么'）。通过解耦这些组件，该模型实现了在有限数据上的端到端训练，在预测小鼠初级视觉皮层（V1）反应方面达到最先进性能（平均测试相关系数 r = 0.50），并为细胞类型分类提供了功能性条形码。

ABSTRACT

Neuroscientists classify neurons into different types that perform similar computations at different locations in the visual field. Traditional methods for neural system identification do not capitalize on this separation of 'what' and 'where'. Learning deep convolutional feature spaces that are shared among many neurons provides an exciting path forward, but the architectural design needs to account for data limitations: While new experimental techniques enable recordings from thousands of neurons, experimental time is limited so that one can sample only a small fraction of each neuron's response space. Here, we show that a major bottleneck for fitting convolutional neural networks (CNNs) to neural data is the estimation of the individual receptive field locations, a problem that has been scratched only at the surface thus far. We propose a CNN architecture with a sparse readout layer factorizing the spatial (where) and feature (what) dimensions. Our network scales well to thousands of neurons and short recordings and can be trained end-to-end. We evaluate this architecture on ground-truth data to explore the challenges and limitations of CNN-based system identification. Moreover, we show that our network model outperforms current state-of-the art system identification models of mouse primary visual cortex.

研究动机与目标

• 为解决在实验数据有限的情况下，识别大规模神经元群体中复杂非线性神经计算的挑战。
• 克服训练CNN进行神经系统识别时的瓶颈——特别是难以估计单个神经元感受野位置的问题。
• 通过学习跨神经元共享的非线性特征空间，利用神经计算的空间等变性，同时分离空间与特征维度。
• 开发一种可扩展的、端到端可训练的架构，在小鼠初级视觉皮层数据上超越现有模型。
• 提供一种基于学习到的特征权重作为'条形码'的功能性细胞类型分类的合理方法。

提出的方法

• 设计一个具有共享卷积层的CNN，以在所有神经元之间学习共同的非线性特征空间。
• 实现一种稀疏的、因子化的读出层，将空间（何处）与特征（什么）维度解耦，降低参数量并改善优化。
• 使用有限的神经反应数据，通过反向传播端到端训练整个网络。
• 使用从尖峰触发平均导出的固定空间掩码初始化感受野位置，以提升收敛性。
• 将模型应用于模拟的真实数据和公开数据集中获取的小鼠V1真实数据。
• 通过在保留的测试集上预测与观测神经反应之间的相关性来评估性能。

实验结果

研究问题

• RQ1 共享的深度特征空间是否能提升大规模神经元群体在神经系统识别中的预测性能？
• RQ2 将感受野位置估计（'何处'）与特征计算（'什么'）分离，是否能增强模型的可扩展性与数据效率？
• RQ3 所提出的因子化读出架构在预测神经反应方面，与全连接或非卷积替代方案相比表现如何？
• RQ4 学习到的特征权重能否作为神经元类型分类的功能性条形码？
• RQ5 在最大化预测性能的前提下，记录时长与群体规模之间最优权衡是什么？

主要发现

• 所提出的具有因子化读出的CNN在小鼠V1神经反应上实现了0.50的平均测试相关系数，优于先前最先进模型。
• 尽管Antolik等人[19]的模型采用三层全连接网络且结构更简单、未使用卷积不变性，本模型仍表现更优。
• 缺乏因子化读出的模型——包括使用全连接读出的标准CNN——性能显著更差，表明该架构解耦至关重要。
• 性能曲线表明，增加群体规模比延长记录时长更高效地解释神经反应方差。
• 学习到的特征权重可作为功能性条形码，实现基于共享计算的神经元原理性功能聚类。