[论文解读] The Effectiveness of Data Augmentation in Image Classification using Deep Learning

Luis Perez, Jason Wang|arXiv (Cornell University)|Dec 13, 2017

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 2,535

一句话总结

论文比较传统数据增强、GAN 基于风格迁移和神经增强策略在 Tiny ImageNet 与 MNIST 的小型二分类子集上的图像分类任务，揭示在某些情况下神经增强可超越传统方法。

ABSTRACT

In this paper, we explore and compare multiple solutions to the problem of data augmentation in image classification. Previous work has demonstrated the effectiveness of data augmentation through simple techniques, such as cropping, rotating, and flipping input images. We artificially constrain our access to data to a small subset of the ImageNet dataset, and compare each data augmentation technique in turn. One of the more successful data augmentations strategies is the traditional transformations mentioned above. We also experiment with GANs to generate images of different styles. Finally, we propose a method to allow a neural net to learn augmentations that best improve the classifier, which we call neural augmentation. We discuss the successes and shortcomings of this method on various datasets.

研究动机与目标

• 研究在数据有限时，不同数据增强技术如何影响图像分类。
• 在二分类设置中比较传统增强、基于 GAN 的风格迁移和神经增强。
• 评估学习得到的增强是否能够减少过拟合并提升跨数据集的泛化能力。

提出的方法

• 在 Tiny ImageNet 和 MNIST 的二分类子集上训练一个小型卷积神经网络（SmallNet）。
• 应用传统仿射变换（平移、缩放、旋转、翻转、颜色/色调变化）来生成增广数据。
• 使用 CycleGAN 风格的风格迁移来创建带风格化版本的图像以用于增广。
• 开发一个增广网络（AugNet），给定同一类别的两张图像，输出用于输入分类器的增广图像。
• 使用综合损失进行训练：分类损失加上增广损失（内容或风格）或不使用增广损失，并比较结果。
• 使用 Adam 优化器，在 40 轮中测量验证精度来评估所有增广方法。

实验结果

研究问题

• RQ1 在小型二分类数据集上，传统、基于 GAN 的和神经增强方法在提高验证准确率方面有何差异？
• RQ2 带有内容损失或风格损失的神经增强是否优于传统增广或基于 GAN 的方法？
• RQ3 神经增强方法在不同数据集上是否表现稳健（犬对猫、犬对金鱼、MNIST）？

主要发现

数据集（配对）	增广方式	验证准确度
犬对金鱼	无	0.855
犬对金鱼	传统	0.890
犬对金鱼	GANs	0.865
犬对金鱼	神经 + 无损失	0.915
犬对金鱼	神经 + 内容损失	0.900
犬对金鱼	神经 + 风格	0.890
犬对金鱼	对照	0.840
犬对猫	无	0.705
犬对猫	传统	0.775
犬对猫	GANs	0.720
犬对猫	神经 + 无损失	0.765
犬对猫	神经 + 内容损失	0.770
犬对猫	神经 + 风格	0.740
犬对猫	对照	0.710
MNIST 0s vs 8s	无	0.972
MNIST 0s vs 8s	神经 + 无损失	0.975
MNIST 0s vs 8s	神经 + 内容损失	0.968
MNIST 0s vs 8s	(no style for grayscale)	-

• 传统增广相对于无增广可提升验证准确性（如犬对金鱼：0.855 提升至 0.890）。
• 基于 GAN 的增广在某些情况下相对于无增广有适度提升，但并非普遍有益（如犬对金鱼：0.865）。
• 无增广损失的神经增强在犬对金鱼任务上达到最佳验证准确性（0.915）。
• 带内容损失或风格损失的神经增强在犬对猫和犬对金鱼任务中通常与最佳的神经/无损失设置相当或略差。
• MNIST 的神经增强对无增广有小幅提升（0.975 对 0.972）。
• 神经增强可以作为正则化器，帮助减轻过拟合，然而增益取决于数据集和架构。