[论文解读] UniformAugment: A Search-free Probabilistic Data Augmentation Approach

Tom Ching LingChen, Ava Khonsari+4 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Neural Network Applications参考文献 20被引用 39

一句话总结

UniformAugment 提出了一种完全无需搜索的数据增强方法，通过从一个连续的、近似不变的空间中均匀采样增强参数，在没有策略搜索的情况下，与以往基于搜索的增强方法相比，取得具有竞争力的结果。

ABSTRACT

Augmenting training datasets has been shown to improve the learning effectiveness for several computer vision tasks. A good augmentation produces an augmented dataset that adds variability while retaining the statistical properties of the original dataset. Some techniques, such as AutoAugment and Fast AutoAugment, have introduced a search phase to find a set of suitable augmentation policies for a given model and dataset. This comes at the cost of great computational overhead, adding up to several thousand GPU hours. More recently RandAugment was proposed to substantially speedup the search phase by approximating the search space by a couple of hyperparameters, but still incurring non-negligible cost for tuning those. In this paper we show that, under the assumption that the augmentation space is approximately distribution invariant, a uniform sampling over the continuous space of augmentation transformations is sufficient to train highly effective models. Based on that result we propose UniformAugment, an automated data augmentation approach that completely avoids a search phase. In addition to discussing the theoretical underpinning supporting our approach, we also use the standard datasets, as well as established models for image classification, to show that UniformAugment's effectiveness is comparable to the aforementioned methods, while still being highly efficient by virtue of not requiring any search.

研究动机与目标

• 将数据增强作为深度模型中图像分类的关键正则化手段来推动研究。
• 提出一个理论驱动、无需搜索的增强策略，在近似不变的增强空间下。
• 证明在训练时对连续增强参数进行均匀采样即可在没有搜索阶段的情况下达到具有竞争力的准确率。
• 展示 UA 在 CIFAR-10、CIFAR-100 和 ImageNet 上对常见架构的有效性。

提出的方法

• 将增强 formalize 成一组对数据分布近似不变的变换。
• 用对连续参数空间的均匀采样替代对增强策略的离散搜索。
• 对每个输入应用固定数量的增强操作，每个操作从预定义集合中均匀抽取，且其概率与幅度从 Uniform(0,1) 抽取。
• 在训练中边进行采样的增强，边使用标准 SGD 最小化经验风险。
• 在标准基准测试中将 UA 与 AutoAugment、Fast AutoAugment、Population Based Augmentation、RandAugment 进行对比。

实验结果

研究问题

• RQ1 在没有搜索阶段的情况下，来自连续、近似不变增强空间的均匀采样是否能获得具有竞争力的性能？
• RQ2 增强范围（默认/窄/宽）和增强操作数量（NumOps）如何影响 UA 的有效性？
• RQ3 在 CIFAR-10、CIFAR-100 和 ImageNet 上，使用常见架构时，UA 的性能能否达到或超过基于搜索的增强方法？

主要发现

• UA 在 CIFAR-10、CIFAR-100 和 ImageNet 上达到与基于搜索的方法相当的准确率，同时无需搜索时间。
• 实验表明，通过对连续参数进行均匀采样，可以有效地探索近似不变的增强空间。
• 改变增强范围显示相关工作中使用的默认范围能产生合适的不变空间；过窄或过宽的范围都会降低性能。
• NumOps 在大约 2 时在多样性与将增强保持在一个连贯分布之间取得良好平衡；非常高的 NumOps 会降低性能。
• 在 ImageNet 上，UA 相对于基线降低了错误率，并且在 AA、FAA、RA 上达到相同或略有提升的结果，且没有任何搜索开销。