[论文解读] Using Weight Mirrors to Improve Feedback Alignment

Mohamed Akrout, Collin Wilson+3 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Memory and Neural Computing参考文献 15被引用 9

一句话总结

该论文提出权重镜像（weight mirrors）和改进的Kolen-Pollack算法，实现在深层网络中无需权重传输即可实现反馈对齐（feedback alignment），通过使反馈路径能够快速学习准确的突触权重，在ImageNet上实现了接近反向传播（backpropagation）的性能。该方法优于标准反馈对齐和符号对称性（sign-symmetry），接近标准反向传播的准确率。

ABSTRACT

Current algorithms for deep learning probably cannot run in the brain because they rely on weight transport, where forward-path neurons transmit their synaptic weights to a feedback path, in a way that is likely impossible biologically. An algorithm called feedback alignment achieves deep learning without weight transport by using random feedback weights, but it performs poorly on hard visual-recognition tasks. Here we describe two mechanisms - a neural circuit called a weight mirror and a modification of an algorithm proposed by Kolen and Pollack in 1994 - both of which let the feedback path learn appropriate synaptic weights quickly and accurately even in large networks, without weight transport or complex wiring.Tested on the ImageNet visual-recognition task, these mechanisms outperform both feedback alignment and the newer sign-symmetry method, and nearly match backprop, the standard algorithm of deep learning, which uses weight transport.

研究动机与目标

• 为解决反向传播中权重传输的生物不可行性，通过消除反馈路径中必须回传前向权重的需求。
• 通过使反馈权重能够准确学习，提升反馈对齐在高难度视觉任务上的性能。
• 开发一种机制，使反馈路径能够在大型网络中快速且准确地学习适当的突触权重，而无需复杂布线。
• 在保持生物可解释性的同时，在ImageNet上实现接近标准反向传播的性能。

提出的方法

• 引入一种称为“权重镜像”的神经电路，使反馈路径能够学习突触权重，而无需将前向权重回传。
• 改编并修改Kolen-Pollack（1994）算法，使反馈权重可通过局部、生物可解释的更新方式学习。
• 初始使用随机反馈权重，但可通过权重镜像机制进行校正，该机制基于前向权重动态追踪并调整反馈权重。
• 采用局部学习规则，基于局部误差信号和前向权重信息更新反馈权重，避免全局权重传输。
• 通过闭环机制实现前向与反馈权重更新的同步，使深层网络中反馈权重能够快速且准确收敛。
• 系统在反馈路径中无需知晓前向权重，因此具有生物可解释性。

实验结果

研究问题

• RQ1 能否在不依赖权重传输的情况下显著改进反馈对齐，使其更具生物可解释性？
• RQ2 像权重镜像这样的局部电路机制，能否在深层网络中实现准确的反馈权重学习？
• RQ3 在大规模视觉识别任务中，该方法与反馈对齐和符号对称性相比性能如何？
• RQ4 该方法在避免生物不可行机制的前提下，能在多大程度上接近标准反向传播的性能？
• RQ5 改进的Kolen-Pollack算法能否有效扩展到用于视觉识别的大规模深层网络？

主要发现

• 所提方法在ImageNet视觉识别任务上优于标准反馈对齐和符号对称性方法。
• 该方法实现的性能几乎与标准反向传播（当前深度学习的黄金标准）相当。
• 权重镜像实现了无需权重传输或复杂布线的快速且准确的反馈权重学习。
• 该算法在大型网络中仍保持高性能，展现出良好的可扩展性和鲁棒性。
• 改进的Kolen-Pollack机制仅依赖局部信息，即可实现反馈权重的快速且准确收敛。
• 该系统在ImageNet上实现了无权重传输深度学习算法中的最先进性能。