[论文解读] Towards truly local gradients with CLAPP: Contrastive, Local And Predictive Plasticity.

Bernd Illing, Wulfram Gerstner+1 more|arXiv (Cornell University)|Oct 16, 2020

Neural Networks and Applications参考文献 16被引用 4

一句话总结

CLAPP 是一种可本地实现的无监督学习算法，可在人工神经网络中实现无需反向传播的深度分层表征学习。它基于局部前突触和后突触神经元状态以及一个全局层内因子，使用分层损失函数，成功模拟了类似大脑的学习机制，且在图像和语音表征任务中的性能可与反向传播相媲美。

ABSTRACT

Back-propagation (BP) is costly to implement in hardware and implausible as a learning rule implemented in the brain. However, BP is surprisingly successful in explaining neuronal activity patterns found along the cortical processing stream. We propose a locally implementable, unsupervised learning algorithm, CLAPP, which minimizes a simple, layer-specific loss function, and thus does not need to back-propagate error signals. The weight updates only depend on state variables of the pre- and post-synaptic neurons and a layer-wide third factor. Networks trained with CLAPP build deep hierarchical representations of images and speech.

研究动机与目标

• 开发一种生物上合理的学习规则，避免反向传播在神经网络中计算和生物学上的不切实际之处。
• 仅使用局部、分层特定的信息，在人工网络中实现深度分层表征学习。
• 用仅依赖于前突触和后突触神经元状态以及一个层内因子的局部、预测性和对比性可塑性机制，替代误差反向传播。
• 证明此类局部学习规则可在视觉和语音的无监督表征学习中实现与反向传播相当的性能。

提出的方法

• CLAPP 最小化仅依赖于局部前突触和后突触神经元状态以及全局层内因子的分层特定损失函数，从而消除对误差信号反向传播的需求。
• 该算法使用一种对比性、局部且具有预测性的可塑性规则，基于局部活动模式和共享的层内信号更新突触权重。
• 权重更新源自一个简单且可微的损失函数，可促进跨层表征的一致性，而无需通过网络计算梯度。
• 该方法在实现上完全局部化：每个突触的更新仅依赖于其直接前突触和后突触活动以及一个共同的层内信号。
• CLAPP 被应用于深度网络，对图像和语音数据进行无监督预训练，学习分层特征而无需监督。

实验结果

研究问题

• RQ1 一种避免反向传播的学习规则是否仍能在深度网络中学习到有意义的分层表征？
• RQ2 仅使用局部神经元状态和一个全局层内因子，是否可能实现具有竞争力的表征学习性能？
• RQ3 在视觉和语音任务中，与反向传播相比，这种本地实现的无监督学习规则在表征质量方面表现如何？
• RQ4 此类规则是否能产生与皮层处理流中观察到的神经元活动模式一致的活动模式？

主要发现

• CLAPP 在无需误差信号反向传播的情况下，成功学习了人工神经网络中的深度分层表征。
• 该算法在图像和语音数据的无监督预训练中，其性能与反向传播相当，下游表征质量测量结果表明了这一点。
• 使用 CLAPP 训练的网络表现出与皮层处理流中观察到的神经元活动模式一致的活动模式，表明其具有生物合理性。
• 该学习规则完全局部化：权重更新仅依赖于前突触和后突触神经元状态以及一个层内因子，因此适用于硬件实现。