[论文解读] On the Importance of Consistency in Training Deep Neural Networks

Chengxi Ye, Yezhou Yang+2 more|arXiv (Cornell University)|Aug 2, 2017

Model Reduction and Neural Networks参考文献 10被引用 7

一句话总结

本文识别出深度神经网络训练中的三个一致性问题——训练速度不一致、输入与残差之间的尺度不一致，以及残差传播不一致，并提出一种二阶优化方法来解决这些问题。通过利用曲率信息并引入一种新型的ModU归一化层，该方法稳定了训练过程，减少了梯度消失问题，并实现了更深、更稳定的网络，同时在MNIST数据集上提升了收敛速度与性能。

ABSTRACT

We explain that the difficulties of training deep neural networks come from a syndrome of three consistency issues. This paper describes our efforts in their analysis and treatment. The first issue is the training speed inconsistency in different layers. We propose to address it with an intuitive, simple-to-implement, low footprint second-order method. The second issue is the scale inconsistency between the layer inputs and the layer residuals. We explain how second-order information provides favorable convenience in removing this roadblock. The third and most challenging issue is the inconsistency in residual propagation. Based on the fundamental theorem of linear algebra, we provide a mathematical characterization of the famous vanishing gradient problem. Thus, an important design principle for future optimization and neural network design is derived. We conclude this paper with the construction of a novel contractive neural network.

研究动机与目标

• 识别并解决阻碍深度神经网络训练的三个核心一致性问题：速度不一致、尺度不一致以及残差传播不一致。
• 证明二阶优化方法在深层网络中相比一阶方法能提供更优的收敛性与稳定性。
• 利用线性代数，特别是线性代数基本定理，对梯度消失问题进行数学表征。
• 设计一种新型的收缩神经网络架构，采用ModU归一化，确保全局收缩性与更优的训练动态。
• 提供一种直观且轻量级的二阶训练方法，可轻松集成至现有的SGD框架中。

提出的方法

• 提出一种简单、轻量级的二阶方法，通过在随机梯度下降中增加一行代码，利用曲率信息提升收敛速度。
• 引入ModU归一化层，强制层输出保持单位范数，确保信号在各层间稳定传播。
• 利用二阶信息分析并解决层输入与残差之间的尺度不一致问题，实现更稳定的优化。
• 应用线性代数基本定理，将梯度消失问题表征为残差反向传播矩阵中的零空间问题。
• 采用RMS归一化与梯度能量分布分析，可视化并量化各层的误差减少与信息损失。
• 通过将ModU归一化与权重衰减结合，构建收缩网络，在MNIST上实现全局范数上界为0.27，表明具有全局收缩性。

实验结果

研究问题

• RQ1 各层间训练速度不一致如何影响深层网络的优化？二阶方法能否缓解此问题？
• RQ2 层输入与残差之间尺度不一致的成因是什么？二阶优化如何帮助解决该问题？
• RQ3 深层网络中梯度消失问题的数学根源是什么？能否通过线性代数进行形式化表征？
• RQ4 结合新型归一化层（ModU）与二阶优化，能否实现更深、更稳定、更准确的网络？
• RQ5 不同激活函数与网络架构如何影响深层网络中误差减少与信息损失之间的权衡？

主要发现

• 所提出的二阶方法通过利用曲率信息，显著提升了训练速度与收敛性，实现了更快、更稳定的优化。
• ModU归一化层确保了在MNIST上，整个网络的范数上界为0.27，表明具有全局收缩性与稳定性，即使在深层的10层网络中亦然。
• 在充分训练下，更深的网络表现出更强的误差减少能力，但这一优势被梯度衰减的加剧所抵消，尤其在深层网络中更为明显。
• ReLU激活函数相比ModU，导致更快的误差减少与信息损失，而ModU表现出更平坦的梯度能量曲线，具备更好的稳定性。
• 梯度消失问题在数学上被表征为残差传播矩阵中的零空间问题，其根源在于线性代数基本定理。
• 二阶优化与ModU归一化相结合，使得能够训练出既稳定又高度可训练的深层网络，成功克服了长期存在的训练不稳定性问题。