[论文解读] Toward Goal-Driven Neural Network Models for the Rodent Whisker-Trigeminal System

Chengxu Zhuang, Jonas Kubilius+2 more|arXiv (Cornell University)|Jun 23, 2017

Neural dynamics and brain function参考文献 30被引用 15

一句话总结

本文提出一种以目标为导向的深度神经网络（DNN）方法，用于建模鼠类触须-三叉神经通路系统，利用生物物理上合理的触须阵列模型生成多样化的人工3D物体扫掠数据集。结果表明，特定DNN架构可在形状识别任务中实现合理性能，且表征差异矩阵（RDMs）可基于神经生理学实验中可获取的数据类型区分不同模型，为利用以目标为导向的DNN建模体感计算提供了概念验证。

ABSTRACT

In large part, rodents see the world through their whiskers, a powerful tactile sense enabled by a series of brain areas that form the whisker-trigeminal system. Raw sensory data arrives in the form of mechanical input to the exquisitely sensitive, actively-controllable whisker array, and is processed through a sequence of neural circuits, eventually arriving in cortical regions that communicate with decision-making and memory areas. Although a long history of experimental studies has characterized many aspects of these processing stages, the computational operations of the whisker-trigeminal system remain largely unknown. In the present work, we take a goal-driven deep neural network (DNN) approach to modeling these computations. First, we construct a biophysically-realistic model of the rat whisker array. We then generate a large dataset of whisker sweeps across a wide variety of 3D objects in highly-varying poses, angles, and speeds. Next, we train DNNs from several distinct architectural families to solve a shape recognition task in this dataset. Each architectural family represents a structurally-distinct hypothesis for processing in the whisker-trigeminal system, corresponding to different ways in which spatial and temporal information can be integrated. We find that most networks perform poorly on the challenging shape recognition task, but that specific architectures from several families can achieve reasonable performance levels. Finally, we show that Representational Dissimilarity Matrices (RDMs), a tool for comparing population codes between neural systems, can separate these higher-performing networks with data of a type that could plausibly be collected in a neurophysiological or imaging experiment. Our results are a proof-of-concept that goal-driven DNN networks of the whisker-trigeminal system are potentially within reach.

研究动机与目标

• 开发一种生物物理上合理的鼠类触须阵列模型，用于生成合成感官数据。
• 利用合成触须扫掠数据，在具有挑战性的3D形状识别任务上训练多种深度神经网络架构。
• 评估高性能DNN是否可通过群体神经响应度量（如表征差异矩阵，RDMs）加以区分。
• 建立以目标为导向的深度学习作为建模鼠类触须-三叉神经通路系统计算功能的框架的概念验证。

提出的方法

• 基于对触须力学的详细实验测量，开发了一种生物物理启发的、具身化的鼠类触须阵列模型。
• 在多样化姿态、角度和速度下，生成了包含117种3D物体类别的大规模、高变异性合成触须扫掠数据集。
• 训练了来自不同架构家族（如前馈型、循环型、时空型）的多种DNN架构，以在合成数据集上解决形状识别任务。
• 计算高性能网络隐藏层的表征差异矩阵（RDMs），以比较其表征结构。
• 使用多维缩放（MDS）对不同网络架构的RDMs进行可视化与比较。
• 评估将RDMs作为实验可获取的神经群体响应数据代理，用于区分模型的可行性。

实验结果

研究问题

• RQ1 在合成触须扫掠数据上训练的深度神经网络是否可在复杂3D形状识别任务中实现合理性能？
• RQ2 在物体姿态和扫掠动力学高度可变的条件下，哪些DNN架构家族在解决形状识别任务方面最为有效？
• RQ3 从DNN隐藏层推导出的表征差异矩阵（RDMs）是否能够区分高性能网络架构？
• RQ4 基于RDM的比较方法是否足够灵敏，可作为神经生理学研究中区分计算模型的可行实验工具？
• RQ5 DNN中学习到的表征在多大程度上反映了鼠类触须-三叉神经通路中合理的神经处理阶段？

主要发现

• 尽管大多数DNN架构，尤其是浅层网络，在高变异性条件下未能解决形状识别任务，但来自多个架构家族的特定网络实现了合理性能水平。
• 从高性能网络计算出的表征差异矩阵（RDMs）显示出可区分的模式，可通过多维缩放技术加以区分。
• 不同网络架构的RDMs在MDS空间中形成可分离的聚类，表明群体神经响应模式原则上可区分不同计算模型。
• 即使考虑不同随机初始化带来的模型内变异性，不同架构家族之间的结构差异仍导致RDMs出现可测量的差异。
• 本研究表明，基于生物合理感官输入训练的以目标为导向的DNN可产生既与任务相关又可通过实验可获取的度量加以区分的表征。
• 结果验证了以目标为导向的深度学习作为建模鼠类体感系统计算逻辑的框架的可行性，且未来可与实验数据整合。