[论文解读] RandAugment: Practical data augmentation with no separate search.

Ekin D. Cubuk, Barret Zoph+2 more|arXiv (Cornell University)|Sep 30, 2019

Advanced Neural Network Applications参考文献 51被引用 183

一句话总结

RandAugment 提出了一种实用的、无需搜索的数据增强方法，直接在目标模型和数据集上优化数据增强策略，无需代理任务。该方法在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet（85.0% 的 top-1 准确率）上实现了最先进性能，超越了以往的自学习方法（如 AutoAugment），同时可根据模型和数据集规模动态调节正则化强度。

ABSTRACT

Recent work has shown that data augmentation has the potential to significantly improve the generalization of deep learning models. Recently, learned augmentation strategies have led to state-of-the-art results in image classification and object detection. While these strategies were optimized for improving validation accuracy, they also led to state-of-the-art results in semi-supervised learning and improved robustness to common corruptions of images. One obstacle to a large-scale adoption of these methods is a separate search phase which significantly increases the training complexity and may substantially increase the computational cost. Additionally, due to the separate search phase, these learned augmentation approaches are unable to adjust the regularization strength based on model or dataset size. Learned augmentation policies are often found by training small models on small datasets and subsequently applied to train larger models. In this work, we remove both of these obstacles. RandAugment may be trained on the model and dataset of interest with no need for a separate proxy task. Furthermore, due to the parameterization, the regularization strength may be tailored to different model and dataset sizes. RandAugment can be used uniformly across different tasks and datasets and works out of the box, matching or surpassing all previous learned augmentation approaches on CIFAR-10, CIFAR-100, SVHN, and ImageNet. On the ImageNet dataset we achieve 85.0% accuracy, a 0.6% increase over the previous state-of-the-art and 1.0% increase over baseline augmentation. On object detection, RandAugment leads to 1.0-1.3% improvement over baseline augmentation, and is within 0.3% mAP of AutoAugment on COCO. Finally, due to its interpretable hyperparameter, RandAugment may be used to investigate the role of data augmentation with varying model and dataset size.

研究动机与目标

• 消除在自学习数据增强中对单独代理搜索阶段的需求，从而降低训练复杂度和计算成本。
• 实现基于模型和数据集规模的正则化强度自动适应，克服在小型代理上训练的固定策略的局限性。
• 开发一种统一、即插即用的增强策略，在无需重新训练或重新配置的情况下，有效适用于多样化任务和数据集。
• 在图像分类和目标检测中提升泛化能力和鲁棒性，同时通过单一直观的超参数保持可解释性。
• 通过调节与模型和数据集规模相关的正则化强度，系统性地研究数据增强的影响。

提出的方法

• RandAugment 使用一种简单且固定的参数化方式：对每张输入图像随机应用 N 种可能增强操作中的 K 种，其中 K 是可调超参数。
• 增强操作从预定义的搜索空间中均匀随机选择，无需强化学习或神经架构搜索。
• 策略直接在目标模型和数据集上进行训练，使用标准训练循环，无需代理任务或单独的搜索阶段。
• 正则化强度由超参数 K 控制，K 决定每张图像应用的增强操作数量，可针对不同模型或数据集规模进行调优。
• 该方法利用随机增强选择的不变性，确保在不同训练设置下性能一致。
• 它使用可微分的搜索空间，操作以相等概率应用，从而避免使用梯度优化。

实验结果

研究问题

• RQ1 是否可以在不经过单独搜索阶段的情况下，直接在目标模型和数据集上有效学习数据增强策略？
• RQ2 与需要复杂搜索的自学习策略相比，简单的随机增强选择能否实现最先进性能？
• RQ3 数据增强的正则化强度如何随模型和数据集规模变化？是否可以实现动态调节？
• RQ4 单一、可解释的超参数（K）是否能有效控制多样化任务和数据集中的增强强度？
• RQ5 在标准基准上，无需搜索的随机增强策略是否优于或至少匹配基于强化学习的方法（如 AutoAugment）？

主要发现

• 在 ImageNet 上，RandAugment 达到 85.0% 的 top-1 准确率，相比之前最先进方法提升 0.6%，相比标准基线增强方法提升 1.0%。
• 在 CIFAR-10、CIFAR-100 和 SVHN 上，RandAugment 的性能与所有先前自学习增强方法持平或更优。
• 在 COCO 目标检测任务中，RandAugment 相比基线增强方法将 mAP 提升 1.0–1.3%，且与 AutoAugment 的差距在 0.3% mAP 以内。
• 该方法消除了单独搜索阶段的需求，降低了训练复杂度，实现了在目标模型和数据集上的直接训练。
• 超参数 K 提供了对正则化强度的可解释控制，使能够系统研究不同模型和数据集规模下增强效果的影响。
• RandAugment 在多样化任务和数据集上即开即用，无需为不同设置重新配置或重新训练。