[论文解读] Toward an Integration of Deep Learning and Neuroscience

Adam Marblestone, Greg Wayne+1 more|arXiv (Cornell University)|Jun 1, 2016

Neural dynamics and brain function参考文献 571被引用 683

一句话总结

本文提出大脑作为一种异质性、多组件系统运作，其中在预构建的神经架构内优化多样且受发育调控的成本函数——提供了一个将深度学习原理与神经科学整合的统一框架。它认为学习效率并非源于统一优化，而是来自相互作用的成本函数与注意力、记忆和路由等结构化系统。

ABSTRACT

Neuroscience has focused on the detailed implementation of computation, studying neural codes, dynamics and circuits. In machine learning, however, artificial neural networks tend to eschew precisely designed codes, dynamics or circuits in favor of brute force optimization of a cost function, often using simple and relatively uniform initial architectures. Two recent developments have emerged within machine learning that create an opportunity to connect these seemingly divergent perspectives. First, structured architectures are used, including dedicated systems for attention, recursion and various forms of short- and long-term memory storage. Second, cost functions and training procedures have become more complex and are varied across layers and over time. Here we think about the brain in terms of these ideas. We hypothesize that (1) the brain optimizes cost functions, (2) the cost functions are diverse and differ across brain locations and over development, and (3) optimization operates within a pre-structured architecture matched to the computational problems posed by behavior. In support of these hypotheses, we argue that a range of implementations of credit assignment through multiple layers of neurons are compatible with our current knowledge of neural circuitry, and that the brain's specialized systems can be interpreted as enabling efficient optimization for specific problem classes. Such a heterogeneously optimized system, enabled by a series of interacting cost functions, serves to make learning data-efficient and precisely targeted to the needs of the organism. We suggest directions by which neuroscience could seek to refine and test these hypotheses.

研究动机与目标

• 通过提出统一框架，调和深度学习以优化为核心的方法与神经科学对神经实现的关注。
• 探究大脑是否优化多个异质性成本函数，而非单一全局目标。
• 探讨专门的神经架构（如记忆、注意力、路由）如何在生物系统中实现高效、数据高效的学。
• 考察成本函数如何随发育过程演变，并在不同脑区之间变化，以支持多样的认知功能。
• 通过提出关于大脑功能的可检验假设，激发神经科学与机器学习之间的跨学科对话。

提出的方法

• 提出大脑通过生物上合理的梯度近似机制优化内部成本函数，类似于深度学习。
• 引入成本函数在脑区或发育阶段之间并非统一，而是多样化且情境特定的观点。
• 识别专门的神经系统（如内容可寻址记忆、工作记忆缓冲区、注意力机制）作为架构支架，以实现高效优化。
• 建议成本函数可能通过近似全局优化的局部学习规则实现，例如生物上合理的反向传播变体。
• 提出元级学习机制可能调节不同成本函数与系统之间的激活和交互。
• 将深度学习组件（如胶囊网络、注意力、记忆网络）与已知脑结构类比，以建议可检验的神经实现方式。

实验结果

研究问题

• RQ1 不同脑区是否优化不同的成本函数，这些函数在发育过程中如何变化？
• RQ2 专门的神经架构（如记忆、注意力）如何在大脑中实现对多样化成本函数的高效优化？
• RQ3 在多层神经系统中，近似梯度下降的生物机制是什么，它们与人工反向传播有何不同？
• RQ4 成本函数在大脑中在多大程度上是显式计算的，而非隐式嵌入在局部学习规则中？
• RQ5 大脑如何利用元学习来为特定任务选择或调节激活哪些成本函数或系统？

主要发现

• 大脑可能优化多个异质性成本函数，这些函数在脑区之间和发育时间上各不相同，而非单一全局目标。
• 专门的神经架构——如内容可寻址记忆、工作记忆缓冲区和注意力机制——通过结构化计算与信息流，实现高效优化。
• 生物上合理的梯度下降近似方法（如反馈对齐或带有局部规则的误差反向传播）可能支撑深层神经回路中的学习。
• 大脑中的成本函数可能受进化压力和发育过程塑造，引导无监督和有监督学习朝向行为相关的表征。
• 多个成本函数与专门系统的相互作用，实现了数据高效、目标明确的学习，类似于现代深度学习技术如蒸馏和对抗训练。
• 该框架表明，智能并非源于单一优化过程，而是源于一个由成本函数和可训练模块组成的‘协作社会’，灵感来自明斯基的《心智社会》（Minsky’s Society of Mind）。