[论文解读] Recurrence required to capture the dynamic computations of the human ventral visual stream.

Tim C. Kietzmann, Courtney J. Spoerer+4 more|arXiv (Cornell University)|Mar 14, 2019

Neural dynamics and brain function参考文献 38被引用 18

一句话总结

本研究表明，循环神经网络模型对于捕捉人类腹侧视觉通路中的动态、双向表征变换至关重要。通过时间分辨fMRI与深度学习，作者发现皮层表征在各个区域中以正向和反向方式迅速演化，且循环模型在再现多区域神经动力学方面显著优于前馈架构。

ABSTRACT

The visual system is an intricate network of brain regions that enables us to recognize the world around us. Despite its abundant lateral and feedback connections, human object processing is commonly viewed and studied as a feedforward process. Here, we measure and model the rapid representational dynamics across multiple stages of the human ventral stream using time-resolved brain imaging and deep learning. We observe substantial representational transformations during the first 300 ms of processing within and across ventral-stream regions. Categorical divisions emerge in sequence, cascading forward and in reverse across regions, and Granger causality analysis suggests bidirectional information flow between regions. Finally, recurrent deep neural network models clearly outperform feedforward models in terms of their ability to jointly capture the multi-region cortical dynamics. These results establish that recurrent models are required to understand information processing in the human ventral stream.

研究动机与目标

• 探究前馈或循环神经网络架构中哪一种更能捕捉人类腹侧视觉通路中的动态表征变化。
• 理解在处理的前300毫秒内，物体表征在腹侧通路多个阶段的时间演化过程。
• 利用格兰杰因果分析，检验腹侧通路区域之间信息流的方向性与因果关系。
• 确定循环连接是否为建模人类脑成像中观察到的多区域神经动力学所必需。

提出的方法

• 采用时间分辨功能性磁共振成像（fMRI）测量人类腹侧通路多个区域在物体识别过程中的神经活动。
• 训练包括前馈和循环架构在内的深度神经网络模型，以从视觉刺激预测皮层活动模式。
• 应用表征相似性分析（RSA）以追踪表征在时间和脑区之间的动态变换。
• 利用格兰杰因果分析推断腹侧通路区域之间的方向性信息流，识别出双向影响。
• 通过比较前馈与循环模型在预测多区域神经动力学方面的表现，评估模型性能。
• 分析神经表征中的类别划分在时间上的出现与传播过程。

实验结果

研究问题

• RQ1 在物体识别过程中，人类腹侧通路中的神经表征如何在时间和区域之间动态演变？
• RQ2 腹侧通路区域之间的信息流方向是单向、反向还是双向？
• RQ3 循环神经网络模型在捕捉观察到的多区域皮层动力学方面，相较于前馈模型的优越程度如何？
• RQ4 物体表征中的类别区分在腹侧通路层级中何时出现？
• RQ5 循环连接是否为准确建模人类腹侧视觉通路中表征动态复杂性的必要条件？

主要发现

• 在视觉处理的前300毫秒内，腹侧通路区域内部及区域之间均发生显著的表征变换。
• 神经表征中的类别划分以级联序列的形式出现，沿正向和反向路径在区域间传播。
• 格兰杰因果分析揭示腹侧通路区域之间存在显著的双向信息流，挑战了纯粹前馈的观点。
• 循环深度神经网络模型在捕捉皮层活动的多区域动力学方面显著优于前馈模型。
• 结果表明，循环机制是准确建模人类腹侧视觉通路动态计算的必要条件。
• 神经表征以非单调、循环的方式演化，反馈与侧向相互作用在塑造物体表征中起关键作用。