[论文解读] Two Routes to Scalable Credit Assignment without Weight Symmetry

Daniel Kunin, Aran Nayebi+4 more|arXiv (Cornell University)|Feb 28, 2020

Advanced Memory and Neural Computing参考文献 32被引用 16

一句话总结

本文提出了两种无需权重对称性的可扩展信用分配的生物上合理路径：(1) 一种基于正则化权重对齐的鲁棒局部学习规则，可在无需调参的情况下在不同架构间良好迁移；(2) 非局部的‘权重估计’规则，其性能与反向传播相当，并对噪声更新具有高度鲁棒性。关键贡献在于识别出可在深层网络中保持高性能的可扩展、神经上合理的反向传播替代方案。

ABSTRACT

The neural plausibility of backpropagation has long been disputed, primarily for its use of non-local weight transport $-$ the biologically dubious requirement that one neuron instantaneously measure the synaptic weights of another. Until recently, attempts to create local learning rules that avoid weight transport have typically failed in the large-scale learning scenarios where backpropagation shines, e.g. ImageNet categorization with deep convolutional networks. Here, we investigate a recently proposed local learning rule that yields competitive performance with backpropagation and find that it is highly sensitive to metaparameter choices, requiring laborious tuning that does not transfer across network architecture. Our analysis indicates the underlying mathematical reason for this instability, allowing us to identify a more robust local learning rule that better transfers without metaparameter tuning. Nonetheless, we find a performance and stability gap between this local rule and backpropagation that widens with increasing model depth. We then investigate several non-local learning rules that relax the need for instantaneous weight transport into a more biologically-plausible "weight estimation" process, showing that these rules match state-of-the-art performance on deep networks and operate effectively in the presence of noisy updates. Taken together, our results suggest two routes towards the discovery of neural implementations for credit assignment without weight symmetry: further improvement of local rules so that they perform consistently across architectures and the identification of biological implementations for non-local learning mechanisms.

研究动机与目标

• 解决反向传播在神经网络中对权重传输的生物不现实性问题。
• 识别出可扩展的、局部的学习规则，避免非局部权重传输，同时在深层网络中保持性能。
• 探索通过权重估计放松对即时权重传输需求的非局部学习机制。
• 评估这些规则在不同架构和噪声更新下的鲁棒性与可迁移性。
• 评估功能性神经响应数据是否能区分训练网络中不同信用分配机制。

提出的方法

• 将信用分配形式化为一个约束优化问题，其中前向与反向权重通过正则化实现动态对齐。
• 引入一个统一框架，使用可分解为几何基元的正则化项，实现对学习规则的系统性探索。
• 提出一种基于对称对齐（SA）的局部学习规则，利用未绑定前向与反向权重之间的正则化生成伪梯度。
• 设计非局部学习规则，以‘权重估计’过程替代精确权重传输，利用反馈权重近似转置。
• 通过引入噪声更新训练模型以测试鲁棒性，在相同噪声条件下比较SA与反向传播的表现。
• 使用偏最小二乘回归（PLS回归）将学习到的表征与灵长类视觉皮层响应（V4、IT）进行对比，评估生物合理性。

实验结果

研究问题

• RQ1 能否设计一种局部学习规则，在无需元参数调优的情况下，在多种深度网络架构中实现与反向传播相媲美性能？
• RQ2 为何现有局部规则（如反馈对齐与权重镜像）无法扩展至深层网络？其不稳定性背后的数学特性是什么？
• RQ3 能否通过估计反向权重而非精确传输实现最先进的性能与鲁棒性？非局部学习规则是否可行？
• RQ4 在噪声梯度更新下，对称对齐（SA）的鲁棒性与反向传播相比如何？
• RQ5 灵长类视觉皮层的功能性神经响应数据能否区分训练网络中不同信用分配机制？

主要发现

• 所提出的对称对齐（SA）规则在ImageNet上使用ResNet-18实现了具有竞争力的性能，并且在无需元参数调优的情况下在多种架构间表现出稳健的泛化能力。
• SA在噪声梯度更新下显著优于反向传播，即使在梯度受高斯噪声污染的情况下仍能保持性能。
• 非局部权重估计规则在深层网络中实现了最先进的性能，且在噪声更新下表现出高度稳定性，表明其是反向传播的可行生物替代方案。
• 除反馈对齐外，所有有效学习规则对灵长类V4与IT神经响应的预测精度相近，表明功能性数据可能无法在训练良好的网络中区分不同学习机制。
• 研究发现SA与反向传播之间的性能差距随模型深度增加而扩大，凸显了局部学习规则仍面临的关键挑战。
• 为支持未来在生物上合理信用分配方面的研究，本文发布了用于大规模训练任意架构与学习规则的开源TensorFlow库。