[论文解读] V1T: large-scale mouse V1 response prediction using a Vision Transformer

Bryan M. Li, Isabel Maria Cornacchia+2 more|arXiv (Cornell University)|Feb 6, 2023

Neural dynamics and brain functionNeuroscience被引用 3

一句话总结

该论文提出V1T，一种基于视觉Transformer的模型，能够以最先进性能预测小鼠初级视觉皮层（V1）对自然视觉刺激的神经反应。通过利用自注意力机制在不同动物间学习共享的视觉与行为表征，V1T相比先前的卷积神经网络模型性能提升12.7%，并通过注意力图与感受野及行为变量（如瞳孔中心、跑步速度）的相关性揭示了具有生物学意义的特征。

ABSTRACT

Accurate predictive models of the visual cortex neural response to natural visual stimuli remain a challenge in computational neuroscience. In this work, we introduce V1T, a novel Vision Transformer based architecture that learns a shared visual and behavioral representation across animals. We evaluate our model on two large datasets recorded from mouse primary visual cortex and outperform previous convolution-based models by more than 12.7% in prediction performance. Moreover, we show that the self-attention weights learned by the Transformer correlate with the population receptive fields. Our model thus sets a new benchmark for neural response prediction and can be used jointly with behavioral and neural recordings to reveal meaningful characteristic features of the visual cortex.

研究动机与目标

• 开发一种可扩展、数据驱动的小鼠V1神经反应预测模型，基于大规模神经记录数据。
• 评估视觉Transformer（ViTs）在建模小鼠V1反应方面是否优于卷积神经网络（CNNs）。
• 探究ViT中自注意力机制是否反映生物学特性，如感受场与行为调制。
• 将行为变量（如跑步速度、瞳孔直径、瞳孔中心）整合到预测框架中，以提升反应建模性能。
• 提供一种新的计算仿真框架，通过注意力可视化与消融研究，用于探究视觉系统皮层计算机制。

提出的方法

• 使用视觉Transformer（ViT）作为共享主干表征模块，替代核心读出架构中的传统CNN。
• 模型通过图像块嵌入处理视频刺激，并利用多头自注意力机制学习全局依赖关系。
• 通过可学习的B-MLP模块将行为变量（跑步速度、瞳孔直径、瞳孔中心及其导数）整合到潜在嵌入中。
• 线性读出头将共享的ViT特征映射到每个动物的单个神经元反应，实现端到端训练。
• 在两个大规模小鼠V1神经记录数据集上进行训练，包含数千个神经元，采用基于相关性的损失函数以最大化预测准确率。
• 通过注意力可视化与消融研究解释模型行为，并评估特定行为变量的影响。

Figure 1 : Illustration of the V 1 T block architecture.

实验结果

研究问题

• RQ1 基于视觉Transformer的架构是否能在预测小鼠V1对自然视觉刺激的神经反应方面优于卷积神经网络？
• RQ2 ViT模型中的自注意力权重是否与已知的生物学特征（如群体感受场或视网膜拓扑结构）显著相关？
• RQ3 跑步速度与瞳孔动力学等行为变量在多大程度上能提升神经反应模型的预测性能？
• RQ4 与基于CNN的模型相比，ViT模型在训练数据量增加时的性能表现如何变化？
• RQ5 ViT模型中的注意力机制是否能揭示小鼠V1功能组织的洞察，如注意力调制或空间调制？

主要发现

• V1T在两个保留测试集上分别实现单次试验相关性0.428和0.444，相比先前基于卷积的模型预测性能提升超过12.7%。
• 模型的自注意力图与动物瞳孔中心显著相关，表明注意力头反映了视网膜拓扑组织与注视相关处理。
• V1T展现出更优的数据效率，在更多数据下性能持续提升，在高数据场景下优于CNN。
• 在小鼠V1预测排行榜中，V1T取得第二名成绩，超越所有未使用时间响应趋势的模型。
• 整合跑步速度与瞳孔直径等行为变量可提升预测准确率，证实其在V1反应中的调制作用。
• B-MLP模块有效实现了标量行为信号到ViT潜在空间的融合，支持多模态输入融合，且无需对网络架构进行大规模修改。

Figure 2 : Prediction performance when trained with 500, 1500, 2500, 3500 and (all) 4500 samples per animal in Dataset S . The models were each trained with 30 different random seeds. The error bar shows the standard deviations of the repeated experiments, and the statistical difference (two-sided t