[论文解读] The Ebb and Flow of Deep Learning: a Theory of Local Learning.

Pierre Baldi, Peter Sadowski|arXiv (Cornell University)|Jun 22, 2015

Neural Networks and Applications参考文献 27被引用 6

一句话总结

本文提出了一种深度神经网络中局部学习规则的理论框架，将其建模为前突触和后突触活动等局部变量的多项式函数。研究表明，标准反向传播实现了最大后向通道容量——从而支持复杂函数的学习——而其他局部规则则无法实现，这解释了为何发现的学习规则如此稀少，并阐明了赫布学习的局限性。

ABSTRACT

In a physical neural system, where storage and processing are intimately intertwined, the rules for adjusting the synaptic weights can only depend on variables that are available locally, such as the activity of the pre- and post-synaptic neurons, resulting in local learning rules. A systematic framework for studying the space of local learning rules must first define the nature of the local variables, and then the functional form that ties them together into each learning rule. We consider polynomial local learning rules and analyze their behavior and capabilities in both linear and non-linear networks. As a byproduct, this framework enables also the discovery of new learning rules as well as important relationships between learning rules and group symmetries. Stacking local learning rules in deep feedforward networks leads to deep local learning. While deep local learning can learn interesting representations, it cannot learn complex input-output functions, even when targets are available for the top layer. Learning complex input-output functions requires local deep learning where target information is propagated to the deep layers through a backward channel. The nature of the propagated information about the targets, and the backward channel through which this information is propagated, partition the space of learning algorithms. For any learning algorithm, the capacity of the backward channel can be defined as the number of bits provided about the gradient per weight, divided by the number of required operations per weight. We estimate the capacity associated with several learning algorithms and show that backpropagation outperforms them and achieves the maximum possible capacity. The theory clarifies the concept of Hebbian learning, what is learnable by Hebbian learning, and explains the sparsity of the space of learning rules discovered so far.

研究动机与目标

• 基于局部变量和多项式函数形式，形式化一个系统化的框架，用于分析神经网络中的局部学习规则。
• 研究多项式局部学习规则在线性与非线性网络中的表征能力和学习能力。
• 阐明反向传播为何通过最大化目标信息的后向通道容量而优于其他局部学习算法。
• 解释赫布学习的局限性，以及在可能规则空间中发现的学习规则为何稀少。

提出的方法

• 将局部学习规则定义为前突触和后突触活动的多项式函数，构建候选规则的结构化空间。
• 分析这些规则在前馈网络中的行为，区分深度局部学习（无目标反馈）与局部深度学习（有后向目标传播）。
• 引入后向通道容量的概念，即每次操作中每个权重的梯度信息比特数，以量化学习算法的效率。
• 估算各种学习算法（包括反向传播）的后向通道容量，以比较其理论学习潜力。
• 利用群对称性分析，揭示学习规则与其不变性之间的结构关系。
• 证明只有后向通道容量高的算法（如反向传播）才能学习复杂输入-输出函数。

实验结果

研究问题

• RQ1 局部学习规则的理论空间是什么？如何利用局部变量的多项式函数系统性地探索该空间？
• RQ2 为何标准深度局部学习规则即使在顶层有目标信息，仍无法学习复杂函数？
• RQ3 目标信息后向通道的容量如何决定局部学习算法的学习能力？
• RQ4 反向传播与其他局部学习规则在信息传输效率方面有何区别？
• RQ5 为何发现的学习规则空间如此稀疏？群对称性如何与这一稀疏性相关？

主要发现

• 多项式局部学习规则构成一个结构化框架，可促进新学习规则的发现，并揭示其与群对称性的关联。
• 无后向目标传播的深度局部学习无法学习复杂输入-输出函数，即使顶层有标签目标信息。
• 必须通过目标信息的后向传播实现局部深度学习，才能学习复杂函数，凸显了反馈的关键作用。
• 反向传播实现了理论上的最大后向通道容量，即每次操作中每个权重的梯度比特数，优于所有其他局部学习算法。
• 该理论表明，赫布学习仅限于学习简单、低维的表征，无法捕捉复杂函数映射。
• 发现的学习规则稀疏性源于：只有极少数规则——即后向通道容量高的规则——才能有效学习复杂函数。