[论文解读] Volume-preserving Neural Networks: A Solution to the Vanishing Gradient Problem.

Gordon Macdonald, Andrew Godbout+2 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Neural Network Applications参考文献 6被引用 5

一句话总结

本文提出了体积保持神经网络（VPNNs），一种通过旋转、置换、行列式为1的对角变换以及激活函数确保所有隐藏层保持体积不变的深度学习架构，从而维持梯度稳定。该方法可防止梯度消失或梯度爆炸，实现更快、更准确的训练，并在各层中保持一致的学习率，如在标准数据集上的实验所示。

ABSTRACT

We propose a novel approach to addressing the vanishing (or exploding) gradient problem in deep neural networks. We construct a new architecture for deep neural networks where all layers (except the output layer) of the network are a combination of rotation, permutation, diagonal, and activation sublayers which are all volume preserving. This control on the volume forces the gradient (on average) to maintain equilibrium and not explode or vanish. Volume-preserving neural networks train reliably, quickly and accurately and the learning rate is consistent across layers in deep volume-preserving neural networks. To demonstrate this we apply our volume-preserving neural network model to two standard datasets.

研究动机与目标

• 解决深度神经网络中的梯度消失和梯度爆炸问题。
• 开发一种在反向传播过程中保持梯度平衡的神经网络架构。
• 确保在深层网络中所有层的学习率保持一致。
• 在标准基准数据集上展示可靠且高效的训练性能。

提出的方法

• 该架构仅使用体积保持操作：旋转、置换、行列式为1的对角矩阵以及非线性激活函数。
• 每一层均由若干子层组合而成，各子层在输入空间中单独保持体积不变。
• 每层的雅可比行列式被约束为绝对值为1，以确保体积保持。
• 由于前向传播具有体积保持特性，反向传播的梯度得以保持尺度。
• 通过强制保持相空间体积守恒，避免了梯度爆炸或消失。
• 输出层是唯一非体积保持的组件，从而允许最终的分类或回归。

实验结果

研究问题

• RQ1 体积保持层是否能稳定深层网络中的梯度？
• RQ2 保持体积保持是否能实现各层间学习率的一致性？
• RQ3 与标准深度网络相比，VPNNs 是否能实现更快、更准确的训练？
• RQ4 在标准基准数据集上，VPNNs 在收敛性和准确性方面表现如何？

主要发现

• VPNNs 在训练过程中成功防止了梯度消失和梯度爆炸。
• 与标准深度网络相比，网络训练速度更快且准确率更高。
• 所有层的学习率保持一致，无需对各层进行单独调参。
• 该方法在标准数据集上表现出可靠的收敛性，证实了其鲁棒性。