[论文解读] Study of Residual Networks for Image Recognition

Mohammad Sadegh Ebrahimi, Hossein Karkeh Abadi|arXiv (Cornell University)|Apr 21, 2018

Advanced Neural Network Applications被引用 12

一句话总结

本研究在 Tiny ImageNet 数据集上评估了残差网络（ResNets）在图像分类任务中的表现，结果表明，由于跳跃连接有效缓解了梯度消失问题，ResNets 相较于同等结构的普通卷积神经网络（ConvNets）实现了更高的准确率和更快的训练速度。然而，这些模型表现出更高的过拟合现象，通过使用 Dropout 和随机数据增强技术得以缓解，其中最佳 ResNet 的验证准确率达到 49%，而更深的普通 ConvNet 仅达到 36%。

ABSTRACT

Deep neural networks demonstrate to have a high performance on image classification tasks while being more difficult to train. Due to the complexity and vanishing gradient problem, it normally takes a lot of time and more computational power to train deeper neural networks. Deep residual networks (ResNets) can make the training process faster and attain more accuracy compared to their equivalent neural networks. ResNets achieve this improvement by adding a simple skip connection parallel to the layers of convolutional neural networks. In this project we first design a ResNet model that can perform the image classification task on the Tiny ImageNet dataset with a high accuracy, then we compare the performance of this ResNet model with its equivalent Convolutional Network (ConvNet). Our findings illustrate that ResNets are more prone to overfitting despite their higher accuracy. Several methods to prevent overfitting such as adding dropout layers and stochastic augmentation of the training dataset has been studied in this work.

研究动机与目标

• 评估残差网络（ResNets）与普通卷积神经网络（ConvNets）在 Tiny ImageNet 数据集上的性能表现。
• 探究尽管准确率更高，ResNets 为何仍存在过拟合现象及其成因与严重程度。
• 评估正则化技术（如 Dropout 和随机数据增强）在缓解 ResNets 过拟合方面的有效性。
• 比较 ResNets 与其对应普通 ConvNet 在训练动态（包括损失和准确率曲线）方面的差异。
• 确定在小规模图像分类任务且数据有限的情况下，ResNets 的最优网络结构配置。

提出的方法

• 基于 He 等人（2016）提出的残差块结构设计 ResNet 架构，通过跳跃连接将输入直接加到残差块的输出上。
• 实现多个参数量和深度不同的 ResNet 变体（12 至 21 层），并使用 64×64 的 Tiny ImageNet 数据集进行训练。
• 构建与 ResNet 深度和宽度完全相同的普通 ConvNet 模型，作为性能比较的基线。
• 通过在训练过程中随机裁剪和翻转图像，应用随机数据增强以提升泛化能力。
• 在最后的全连接层中集成 Dropout 层，其丢弃概率设为 p = 0.7，以减少过拟合。
• 所有模型均使用 Torch 深度学习框架在 GPU 加速下训练相同数量的训练轮次。

实验结果

研究问题

• RQ1 在 Tiny ImageNet 数据集上，ResNets 与同等结构的普通 ConvNets 在准确率和训练速度方面有何差异？
• RQ2 ResNets 相较于普通 ConvNets 的过拟合程度如何？导致该现象的主要因素是什么？
• RQ3 Dropout 和随机数据增强在缓解 ResNet 模型过拟合方面效果如何？
• RQ4 当网络结构较浅时，ResNets 的性能是否会下降？若是，原因是什么？
• RQ5 在小规模数据集上，ResNets 的哪些结构选择能实现准确率与泛化能力的最佳平衡？

主要发现

• 表现最佳的 ResNet（Net 1）在验证集上达到 49% 的准确率，训练集准确率为 72%，显著优于其对应的普通 ConvNet（Net 6）的 36% 验证准确率和 43% 训练准确率。
• ResNets 的训练速度比同等结构的 ConvNets 快 up to 13%，且在训练过程中损失和准确率曲线均显示出更快的收敛速度。
• 最佳 ResNet 的训练与验证准确率差距为 23%，表明存在明显的过拟合现象，而普通 ConvNet 的差距仅为 7%。
• 在应用 Dropout 和随机数据增强后，最佳 ResNet 的过拟合差距从 30% 降低至 23%，表明过拟合得到部分缓解。
• 参数更少、深度更浅的 ResNet（Net 3）将过拟合差距减少至 16%，但导致验证准确率相比最佳 ResNet 下降了 3%。
• 对于极浅的网络（7 层和 9 层），ResNets 的表现反而劣于普通 ConvNets，表明当网络深度不足时，残差连接可能对性能产生负面影响。