[论文解读] Random orthogonal additive filters: a solution to the vanishing/exploding gradient of deep neural networks

Andrea Ceni|arXiv (Cornell University)|Oct 3, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出了一种新型深度神经网络架构——随机正交加性滤波器（roaFNN 和 roaRNN），通过正交滤波和激活值的残差式相加，从数学上防止梯度消失或梯度爆炸。该方法通过输入-输出雅可比矩阵的解析界确保梯度流动稳定，从而实现50,000层前馈网络和10,000步循环序列的训练，具备超快收敛速度和最先进性能。

ABSTRACT

Since the recognition in the early nineties of the vanishing/exploding (V/E) gradient issue plaguing the training of neural networks (NNs), significant efforts have been exerted to overcome this obstacle. However, a clear solution to the V/E issue remained elusive so far. In this manuscript a new architecture of NN is proposed, designed to mathematically prevent the V/E issue to occur. The pursuit of approximate dynamical isometry, i.e. parameter configurations where the singular values of the input-output Jacobian are tightly distributed around 1, leads to the derivation of a NN's architecture that shares common traits with the popular Residual Network model. Instead of skipping connections between layers, the idea is to filter the previous activations orthogonally and add them to the nonlinear activations of the next layer, realising a convex combination between them. Remarkably, the impossibility for the gradient updates to either vanish or explode is demonstrated with analytical bounds that hold even in the infinite depth case. The effectiveness of this method is empirically proved by means of training via backpropagation an extremely deep multilayer perceptron of 50k layers, and an Elman NN to learn long-term dependencies in the input of 10k time steps in the past. Compared with other architectures specifically devised to deal with the V/E problem, e.g. LSTMs for recurrent NNs, the proposed model is way simpler yet more effective. Surprisingly, a single layer vanilla RNN can be enhanced to reach state of the art performance, while converging super fast; for instance on the psMNIST task, it is possible to get test accuracy of over 94% in the first epoch, and over 98% after just 10 epochs.

研究动机与目标

• 解决自1990年代以来长期困扰深度神经网络训练的梯度消失/爆炸问题。
• 设计一种深度网络架构，从理论上保证即使在无限深度下梯度动态也保持稳定。
• 在不依赖批量归一化或梯度裁剪等启发式方法的前提下实现这种稳定性。
• 在极深前馈网络和循环网络上验证该架构的有效性。
• 提供一种理论基础坚实、结构简单的替代方案，以取代如 ResNets 或 LSTMs 等复杂架构。

提出的方法

• 提出一种新型前馈网络（roaFNN），其中每一层计算非线性激活与前一层输出正交滤波结果的凸组合。
• 使用随机半正交矩阵 $O_l$ 对前一层输出进行滤波并相加，确保输入-输出雅可比矩阵具有等距性质。
• 引入一个可学习的标量超参数 $\rho$，用于控制非线性分量与滤波分量之间的平衡。
• 推导出输入-输出雅可比矩阵最大奇异值的解析界，证明在温和条件下梯度稳定性。
• 将相同原理应用于循环网络（roaRNN），实现长期依赖任务的反向传播时间传播。
• 利用矩阵范数不等式和半正交矩阵的等距性质，证明雅可比矩阵的范数保持有界。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络架构，使得梯度消失或爆炸在数学上不可能发生，即使在无限深度下？
• RQ2 如何通过前一激活值的正交滤波来稳定深层网络中的梯度动态？
• RQ3 一种简单且无门控的架构能否在长期序列学习中超越 LSTMs 或 ResNets 等复杂模型？
• RQ4 随机正交矩阵与结构化矩阵（如单位矩阵）相比，对训练稳定性和性能有何影响？
• RQ5 正交加性滤波的使用是否隐式正则化了损失曲面并改善泛化性能？

主要发现

• 所提出的 roaFNN 架构通过输入-输出雅可比矩阵的解析界，即使在无限深度极限下也能防止梯度消失与爆炸。
• 成功训练了一个50,000层的前馈网络，证明了该方法的可扩展性。
• roaRNN 模型在 psMNIST 上仅用一个训练周期即达到超过94%的测试准确率，十轮后超过98%，优于标准 RNN 和 LSTM。
• 仅用单层普通 RNN 并引入 roaRNN 机制，即在长期依赖任务上达到最先进性能。
• 该方法的简洁性与高效性超越了依赖可学习门控或跳跃连接的复杂架构（如 LSTMs 和 ResNets）。
• 实证结果表明，随机正交滤波可能隐式正则化损失曲面，从而改善训练动力学。