[论文解读] Stable ResNet

Soufiane Hayou, Eugenio Clerico+4 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Neural Network Applications参考文献 41被引用 6

一句话总结

本文提出Stable ResNet，一种新型残差网络架构，可在训练过程中稳定梯度，并在深度趋近无穷时仍保持表达能力。通过引入可学习的缩放机制来修改残差连接，该模型避免了梯度爆炸，同时保持了表示能力，从而在深度神经网络中实现了更优的稳定性和性能。

ABSTRACT

Deep ResNet architectures have achieved state of the art performance on many tasks. While they solve the problem of gradient vanishing, they might suffer from gradient exploding as the depth becomes large (Yang et al. 2017). Moreover, recent results have shown that ResNet might lose expressivity as the depth goes to infinity (Yang et al. 2017, Hayou et al. 2019). To resolve these issues, we introduce a new class of ResNet architectures, called Stable ResNet, that have the property of stabilizing the gradient while ensuring expressivity in the infinite depth limit.

研究动机与目标

• 解决非常深的残差网络中的梯度爆炸问题，这是深度学习中的一个已知难题。
• 解决随着深度趋近无穷时ResNets表达能力下降的问题。
• 设计一种残差架构，使其在深度趋近无穷时仍能保持梯度稳定性和表示能力。
• 提供一种理论基础扎实、可训练的架构，以提升泛化能力和训练稳定性。

提出的方法

• 在残差连接中引入可学习的缩放因子，以控制梯度流动。
• 修改残差块，引入参数化的归一化方法，以稳定激活值和梯度。
• 设计架构，使梯度范数在深度增加时保持有界。
• 使用具有自适应缩放的残差连接，可基于网络深度和训练动态进行动态调整。
• 通过受控的梯度传播，确保网络在无限深度极限下仍具有表达能力。
• 通过引入带有可学习参数的残差块形式化架构，以稳定恒等映射。

实验结果

研究问题

• RQ1 随着深度增加，残差网络能否在梯度爆炸方面实现稳定？
• RQ2 在无限深度极限下，ResNets的表达能力是否会下降？
• RQ3 能否设计一种残差架构，在任意深度下同时保持梯度稳定性和高表示能力？
• RQ4 为确保非常深网络中梯度有界且表达能力得以保留，需要哪些架构修改？

主要发现

• 所提出的Stable ResNet架构通过可学习缩放因子控制残差连接，有效防止了梯度爆炸。
• 即使深度趋近无穷，该模型仍能保持梯度有界，确保训练稳定。
• Stable ResNet在无限深度极限下保持了表达能力，避免了标准ResNets中观察到的表示能力崩溃。
• 该架构使非常深的网络能够实现稳定训练，而不会出现梯度消失或爆炸。
• 理论分析证实，在所提出的设计下，梯度范数保持有界。