[论文解读] The dynamics of learning with feedback alignment.

Maria Refinetti, Stéphane d’Ascoli+2 more|arXiv (Cornell University)|Nov 24, 2020

Neural Networks and Applications参考文献 32被引用 8

一句话总结

本文提出了一种理论，解释了反馈对齐（Feedback Alignment, FA）在训练深度网络时成功与失败的原因。该理论识别出一种两阶段学习过程——对齐阶段随后是记忆阶段——该过程打破了损失景观中的退化现象，有利于梯度对齐度高的解。关键洞见是，对齐矩阵的条件数决定了训练的成功与否，从而解释了FA在卷积网络上失败的原因。

ABSTRACT

Direct Feedback Alignment (DFA) is emerging as an efficient and biologically plausible alternative to the ubiquitous backpropagation algorithm for training deep neural networks. Despite relying on random feedback weights for the backward pass, DFA successfully trains state-of-the-art models such as Transformers. On the other hand, it notoriously fails to train convolutional networks. An understanding of the inner workings of DFA to explain these diverging results remains elusive. Here, we propose a theory for the success of DFA. We first show that learning in shallow networks proceeds in two steps: an alignment phase, where the model adapts its weights to align the approximate gradient with the true gradient of the loss function, is followed by a memorisation phase, where the model focuses on fitting the data. This two-step process has a degeneracy breaking effect: out of all the low-loss solutions in the landscape, a network trained with DFA naturally converges to the solution which maximises gradient alignment. We also identify a key quantity underlying alignment in deep linear networks: the conditioning of the alignment matrices. The latter enables a detailed understanding of the impact of data structure on alignment, and suggests a simple explanation for the well-known failure of DFA to train convolutional neural networks. Numerical experiments on MNIST and CIFAR10 clearly demonstrate degeneracy breaking in deep non-linear networks and show that the align-then-memorize process occurs sequentially from the bottom layers of the network to the top.

研究动机与目标

• 理解为何直接反馈对齐（Direct Feedback Alignment, DFA）在训练Transformer时成功，但在卷积神经网络中失败。
• 识别驱动DFA在深度网络中收敛到特定解的潜在机制。
• 解释梯度对齐在决定DFA训练成功与失败中的作用。
• 描述数据结构与网络架构如何影响对齐矩阵的条件数。
• 为DFA训练动力学中的退化打破提供一个理论框架。

提出的方法

• 提出一种两阶段学习过程：首先将近似梯度与真实梯度对齐，随后进入数据记忆阶段。
• 通过分析浅层与深层线性网络，识别对齐矩阵条件数在决定DFA训练成功中的作用。
• 提出一个理论框架，将对齐矩阵的条件数与DFA收敛到低损失解的能力联系起来。
• 在MNIST和CIFAR10上进行数值实验，验证从底层到顶层层的对齐-记忆过程的顺序出现。
• 使用梯度对齐度量指标，量化训练过程中近似梯度与真实梯度之间的对齐程度。
• 采用矩阵条件数分析，解释DFA在卷积网络中失败的原因是由于对齐矩阵条件数较差。

实验结果

研究问题

• RQ1 为何反馈对齐能够成功训练Transformer，却无法训练卷积神经网络？
• RQ2 DFA在深度网络中收敛到特定解的背后动力学过程是什么？
• RQ3 梯度对齐在训练过程中如何演变，其在决定模型性能方面起到什么作用？
• RQ4 哪些结构或架构因素决定了深度网络中对齐矩阵的条件数？
• RQ5 对齐-记忆过程在不同网络层之间以多大程度上按顺序发生？

主要发现

• DFA训练过程分为两个明显阶段：初始对齐阶段，模型将自身近似梯度与真实梯度对齐；随后进入专注于拟合数据的记忆阶段。
• 损失景观中的退化现象由对齐过程打破，从而倾向于选择最大化梯度对齐度的解。
• 在深层线性网络中，对齐矩阵的条件数是决定DFA能否成功训练网络的关键因素。
• 在MNIST和CIFAR10上的数值实验表明，对齐-记忆过程在深层非线性网络中从低层到高层按顺序发生。
• DFA在卷积网络中失败的原因在于对齐矩阵条件数较差，从而阻碍了有效的梯度对齐。
• 该理论基于数据结构与逐层动力学，为DFA在不同架构中表现差异提供了机制性解释。