[论文解读] Towards a Biologically Plausible Backprop

Benjamin Scellier, Yoshua Bengio|arXiv (Cornell University)|Feb 16, 2016

Neural dynamics and brain function参考文献 21被引用 31

一句话总结

本文提出了一种受能量模型启发的生物可实现学习框架，其中类似反向传播的误差反向传播通过两阶段过程自然产生：首先，通过不动点计算进行预测；其次，输出单元被轻微地向目标方向调整，这种扰动会反向传播，隐式计算误差梯度。该方法在无需显式反向传播计算的情况下实现梯度下降，为标准反向传播提供了一种生物可实现的替代方案。

ABSTRACT

This work contributes several new elements to the quest for a biologically plausible implementation of backprop in brains. We introduce a very general and abstract framework for machine learning, in which the quantities of interest are defined implicitly through an energy function. In this framework, only one kind of neural computation is involved both for the first phase (when the prediction is made) and the second phase (after the target is revealed), like the contrastive Hebbian learning algorithm in the continuous Hopfield model for example. Contrary to automatic differentiation in computational graphs (i.e. standard backprop), there is no need for special computation in the second phase of our framework. One advantage of our framework over contrastive Hebbian learning is that the second phase corresponds to only nudging the first-phase fixed point towards a configuration that reduces prediction error. In the case of a multi-layer supervised neural network, the output units are slightly nudged towards their target, and the perturbation introduced at the output layer propagates backward in the network. The signal 'back-propagated' during this second phase actually contains information about the error derivatives, which we use to implement a learning rule proved to perform gradient descent with respect to an objective cost function.

研究动机与目标

• 开发一种神经网络中标准反向传播的生物可实现替代方案。
• 消除学习过程中显式分离的反向计算阶段，使其更贴近生物神经动力学。
• 通过仅在前向和修正阶段使用一种类型的神经计算，实现隐式误差信号传播的梯度下降。
• 形式化一种学习规则，通过扰动传播自然计算误差导数，避免单独的反向传播阶段。

提出的方法

• 通过隐式能量函数定义网络行为，使网络状态对应于系统的不动点。
• 在预测（第一阶段）和误差修正（第二阶段）中均使用单一类型的神经计算，模仿对比性赫布学习。
• 在输出层引入一个微小扰动，使其朝向目标方向，该扰动通过网络向后传播。
• 表明由此产生的扰动场编码了误差梯度信息，从而实现有效的权重更新。
• 基于该扰动的反向传播推导出学习规则，该规则在代价函数上执行梯度下降。
• 证明该方法通过依赖网络内在动力学生成误差信号，避免了显式反向传播计算。

实验结果

研究问题

• RQ1 能否设计一种生物可实现的学习规则，避免显式反向传播计算？
• RQ2 如何通过网络动力学在无单独反向传播阶段的情况下隐式计算误差梯度？
• RQ3 能否使用单一类型的神经计算，在预测和学习阶段均保持与生物合理性的兼容？
• RQ4 第二阶段基于扰动的反向传播是否能产生导致有效学习的梯度？
• RQ5 该框架能否仅通过隐式、基于能量的动力学在代价函数上实现梯度下降？

主要发现

• 该框架可在无需显式反向传播计算的情况下，实现对代价函数的梯度下降。
• 误差梯度隐含编码于小输出扰动的反向传播之中，这种机制自然源自网络的动力学。
• 由此过程推导出的学习规则能实现有效的权重更新，从而降低预测误差。
• 该方法通过在前向和修正阶段均仅使用一种神经计算类型，保持了生物可实现性。
• 第二阶段的动力学对应于将第一阶段的不动点向更低误差的配置方向“轻推”，与能量最小化原理一致。
• 该框架可推广至复杂网络，为多层架构中的生物可实现学习提供了可扩展的解决方案。