[论文解读] Some Improvements on Deep Convolutional Neural Network Based Image Classification

Andrew Howard|arXiv (Cornell University)|Dec 19, 2013

Advanced Neural Network Applications参考文献 7被引用 225

一句话总结

本文针对图像分类任务，对深度卷积神经网络进行了改进，重点聚焦于通过额外的训练变换实现数据增强、通过数据增强实现推理时的集成预测，以及使用更高分辨率输入的多尺度推理。所提出的方法在未使用外部数据的情况下，将 ImageNet 上的 top-5 错误率降低至 13.55%，相较于去年冠军模型实现了超过 20% 的相对改进。

ABSTRACT

We investigate multiple techniques to improve upon the current state of the art deep convolutional neural network based image classification pipeline. The techiques include adding more image transformations to training data, adding more transformations to generate additional predictions at test time and using complementary models applied to higher resolution images. This paper summarizes our entry in the Imagenet Large Scale Visual Recognition Challenge 2013. Our system achieved a top 5 classification error rate of 13.55% using no external data which is over a 20% relative improvement on the previous year's winner.

研究动机与目标

• 通过内部数据和模型优化，提升深度卷积神经网络在图像分类任务中的性能。
• 通过训练期间的广泛数据增强，减少过拟合并提升泛化能力。
• 通过使用增强输入生成多个预测结果，提升推理时的预测鲁棒性。
• 通过更高分辨率图像处理，提升特征表示能力和分类准确率。
• 仅使用内部数据，在 ImageNet Large Scale Visual Recognition Challenge 2013 中实现最先进性能。

提出的方法

• 在训练期间应用额外的图像变换，如随机裁剪、颜色失真和水平翻转，以增加数据多样性。
• 在推理时使用数据增强，从同一输入图像生成多个预测结果，然后对结果进行平均或集成。
• 采用在不同图像尺度上训练的互补模型，使用更高分辨率输入以捕捉更精细的特征。
• 结合多种架构和训练策略的模型，以提升整体鲁棒性和准确率。
• 使用随机梯度下降和学习率衰减进行训练，配合批量归一化和 ReLU 激活函数。
• 采用多尺度推理策略，对同一张图像在多个分辨率下进行分类，并融合结果以提升最终预测性能。

实验结果

研究问题

• RQ1 在训练期间的数据增强在多大程度上能提升深度卷积神经网络在图像分类任务中的泛化能力？
• RQ2 推理时的数据增强在多大程度上能提升预测准确率和鲁棒性？
• RQ3 将应用于不同图像分辨率的模型预测结果进行组合，能否提升分类性能？
• RQ4 在不使用外部数据的情况下，互补模型在降低 top-5 错误率方面的有效性如何？
• RQ5 仅使用内部数据和架构优化，所能实现的最大性能提升是多少？

主要发现

• 该系统在仅使用内部训练数据的情况下，于 ImageNet 验证集上实现了 13.55% 的 top-5 错误率。
• 相较于去年冠军模型，top-5 错误率相对降低了超过 20%。
• 推理时的数据增强显著提升了预测的鲁棒性和准确率，通过为每个输入生成多个预测结果实现。
• 使用更高分辨率图像的多尺度推理有助于更好的特征学习，并改善了分类结果。
• 数据增强、推理时集成和多尺度处理的结合，使该方法在 2013 年 ImageNet 挑战赛中达到最先进性能。
• 该方法在不依赖外部数据集的情况下展现出强大的泛化能力，凸显了内部数据增强和模型集成的有效性。