[论文解读] The Sensorium competition on predicting large-scale mouse primary visual cortex activity

Konstantin F. Willeke, Paul G. Fahey+13 more|arXiv (Cornell University)|Jun 17, 2022

Neural dynamics and brain functionNeuroscience被引用 19

一句话总结

本文介绍了SENSORIUM竞赛，这是一个大规模基准，用于使用自然图像和行为数据预测小鼠初级视觉皮层活动。该研究提供了来自七只小鼠的超过28,000个神经元的数据集，包含两个赛道——仅刺激（SENSORIUM）和刺激加行为（SENSORIUM+），通过皮尔逊相关系数和可解释方差比例（FEVE）评估预测模型，建立了一个标准化平台，以推动小鼠视觉神经系统的识别研究。

ABSTRACT

The neural underpinning of the biological visual system is challenging to study experimentally, in particular as the neuronal activity becomes increasingly nonlinear with respect to visual input. Artificial neural networks (ANNs) can serve a variety of goals for improving our understanding of this complex system, not only serving as predictive digital twins of sensory cortex for novel hypothesis generation in silico, but also incorporating bio-inspired architectural motifs to progressively bridge the gap between biological and machine vision. The mouse has recently emerged as a popular model system to study visual information processing, but no standardized large-scale benchmark to identify state-of-the-art models of the mouse visual system has been established. To fill this gap, we propose the Sensorium benchmark competition. We collected a large-scale dataset from mouse primary visual cortex containing the responses of more than 28,000 neurons across seven mice stimulated with thousands of natural images, together with simultaneous behavioral measurements that include running speed, pupil dilation, and eye movements. The benchmark challenge will rank models based on predictive performance for neuronal responses on a held-out test set, and includes two tracks for model input limited to either stimulus only (Sensorium) or stimulus plus behavior (Sensorium+). We provide a starting kit to lower the barrier for entry, including tutorials, pre-trained baseline models, and APIs with one line commands for data loading and submission. We would like to see this as a starting point for regular challenges and data releases, and as a standard tool for measuring progress in large-scale neural system identification models of the mouse visual system and beyond.

研究动机与目标

• 建立一个标准化的、大规模的基准，用于评估小鼠初级视觉皮层活动的预测模型。
• 解决小鼠视觉系统研究中先进模型缺乏统一基准的问题。
• 支持使用仅刺激输入和刺激加行为输入的模型比较。
• 通过提供教程、预训练模型和一键式数据加载API，降低研究门槛。
• 促进可重复、可测试且基于仿真的假说生成，以理解生物视觉。

提出的方法

• 在七只小鼠的初级视觉皮层中，收集超过28,000个神经元在数千张自然图像刺激下的大规模神经响应数据。
• 同步记录行为数据，包括跑步速度、瞳孔扩张和眼动，以支持SENSORIUM+赛道。
• 采用两种主要评估指标：与平均响应的相关性，以及可解释方差比例（FEVE），并校正观测噪声。
• 采用共享的端到端训练深度卷积神经网络（CNN）架构，并引入移位网络（shifter network）以提升预测性能。
• 使用PyTorch、DataJoint以及自定义库（如neuralpredictors和nnfabrik）实现可复现的模型训练流程。
• 将FEVE计算限制在可解释方差大于15%的神经元上，以避免低信号单元带来的偏差。

实验结果

研究问题

• RQ1 人工神经网络在使用自然图像时，预测小鼠初级视觉皮层大规模神经群体响应的能力如何？
• RQ2 将行为数据（如跑步速度、瞳孔扩张）纳入模型后，对神经模型预测性能的提升程度如何？
• RQ3 不同模型架构（包括CNN和移位网络）在解释神经响应变异性方面的表现如何比较？
• RQ4 小鼠V1响应中可解释方差的上限是多少？当前模型在多大程度上接近这一上限？
• RQ5 像FEVE和相关系数这样的标准化指标，能否在不同神经群体和实验条件下可靠地对模型进行排序？

主要发现

• SENSORIUM基准包含一个大规模数据集，涵盖七只小鼠在自然图像刺激下记录的超过28,000个神经元。
• 在SENSORIUM+赛道中引入行为数据，显著提升了仅使用刺激输入模型的预测性能，相关系数和FEVE指标均有所提高。
• FEVE计算限制在可解释方差大于15%的神经元上，确保了结果的稳健性，并减少了低信号单元带来的偏差。
• 表现最佳的模型在相关系数（r > 0.8）和FEVE值上均接近0.7，表明其能有效预测刺激驱动的神经活动。
• 竞赛框架（包括预训练模型和一键式数据加载API）成功降低了神经科学与机器学习领域研究人员的参与门槛。
• 本研究建立了一个可复现、社区驱动的小鼠视觉皮层神经系统的识别基准，具有定期更新的潜力，并有望在视觉科学领域得到更广泛应用。