[论文解读] Why ResNet Works? Residuals Generalize

Fengxiang He, Tongliang Liu+1 more|arXiv (Cornell University)|Apr 2, 2019

Advanced Neural Network Applications参考文献 50被引用 5

一句话总结

本文对残差网络（ResNets）为何在复杂架构下仍能良好泛化提供了理论分析。结果表明，当总参数量和非线性单元数量固定时，残差连接并不会使假设空间的复杂度高于链式网络。关键贡献在于为ResNet推导出一个$\mathcal{O}(1/\sqrt{N})$阶的一般化界，该界依赖于权重重矩阵范数的乘积，从而为权重衰减作为正则化技术提供了理论依据。

ABSTRACT

Residual connections significantly boost the performance of deep neural networks. However, there are few theoretical results that address the influence of residuals on the hypothesis complexity and the generalization ability of deep neural networks. This paper studies the influence of residual connections on the hypothesis complexity of the neural network in terms of the covering number of its hypothesis space. We prove that the upper bound of the covering number is the same as chain-like neural networks, if the total numbers of the weight matrices and nonlinearities are fixed, no matter whether they are in the residuals or not. This result demonstrates that residual connections may not increase the hypothesis complexity of the neural network compared with the chain-like counterpart. Based on the upper bound of the covering number, we then obtain an $\mathcal O(1 / \sqrt{N})$ margin-based multi-class generalization bound for ResNet, as an exemplary case of any deep neural network with residual connections. Generalization guarantees for similar state-of-the-art neural network architectures, such as DenseNet and ResNeXt, are straight-forward. From our generalization bound, a practical implementation is summarized: to approach a good generalization ability, we need to use regularization terms to control the magnitude of the norms of weight matrices not to increase too much, which justifies the standard technique of weight decay.

研究动机与目标

• 为了理解为何深度神经网络中的残差连接尽管可能增加模型复杂度，仍能实现良好的泛化性能。
• 通过覆盖数分析残差连接对假设空间复杂度的影响。
• 基于覆盖数与权重重矩阵范数的乘积，推导出ResNet的一般化界。
• 为广泛使用的权重衰减正则化技术提供理论依据。
• 将泛化分析扩展至其他基于残差的架构，如DenseNet和ResNeXt。

提出的方法

• 作者提出一种茎蔓（stem-vine）框架来建模带有残差连接的深度神经网络，将主干路径（茎）与残差跳跃连接分离。
• 推导出假设空间覆盖数的上界，表明在总参数量和非线性单元数量固定的前提下，无论权重重矩阵位于残差路径还是主干路径，覆盖数均保持不变。
• 利用标准统计学习理论技术，通过覆盖数上界推导出Rademacher复杂度的上界。
• 为ResNet建立了一个$\mathcal{O}(1/\sqrt{N})$阶的基于边缘的多分类一般化界，其中$N$为训练样本数量。
• 一般化界依赖于所有权重重矩阵的$L_2$范数的乘积，表明控制该乘积可改善泛化性能。
• 通过相同的覆盖数与一般化界原理，将理论框架扩展至DenseNet和ResNeXt等其他残差架构。

实验结果

研究问题

• RQ1 添加残差连接是否会增加深度神经网络的假设空间复杂度？
• RQ2 在总参数量相同的情况下，ResNet的假设空间覆盖数与链式深度网络相比如何？
• RQ3 能否为ResNet推导出一个能解释其优异泛化性能的一般化界？
• RQ4 权重重矩阵范数在残差网络泛化误差中起什么作用？
• RQ5 所提出的理论如何为权重衰减在训练深度残差网络中的有效性提供理论支持？

主要发现

• 当总权重重矩阵数量和非线性单元数量固定时，残差网络的假设空间覆盖数上界与对应链式网络相同。
• 残差连接不会增加假设空间的复杂度，这与‘跳跃连接增加模型容量’的直觉相悖。
• 为ResNet推导出一个$\mathcal{O}(1/\sqrt{N})$阶的一般化界，其中$N$为训练样本数量。
• 一般化界依赖于所有权重重矩阵的$L_2$范数的乘积，表明范数越大，泛化性能越差。
• 理论分析为使用权重衰减作为正则化技术提供了依据，因为其可通过控制权重重矩阵范数来改善泛化性能。
• 该一般化界可通过对少量修改推广至其他残差架构，如DenseNet和ResNeXt。