[论文解读] Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules

Daniel E. Ho, Eric Liang+3 more|arXiv (Cornell University)|May 14, 2019

Advanced Neural Network Applications参考文献 47被引用 176

一句话总结

本文介绍了 Population-Based Augmentation (PBA)，通过 Population Based Training 学习非静态的增强调度，以匹配 AutoAugment 的性能但计算量大大降低。PBA 在 CIFAR-10/100 和 SVHN 上实现了具有竞争力的结果，GPU小时数约减少1000倍。

ABSTRACT

A key challenge in leveraging data augmentation for neural network training is choosing an effective augmentation policy from a large search space of candidate operations. Properly chosen augmentation policies can lead to significant generalization improvements; however, state-of-the-art approaches such as AutoAugment are computationally infeasible to run for the ordinary user. In this paper, we introduce a new data augmentation algorithm, Population Based Augmentation (PBA), which generates nonstationary augmentation policy schedules instead of a fixed augmentation policy. We show that PBA can match the performance of AutoAugment on CIFAR-10, CIFAR-100, and SVHN, with three orders of magnitude less overall compute. On CIFAR-10 we achieve a mean test error of 1.46%, which is a slight improvement upon the current state-of-the-art. The code for PBA is open source and is available at https://github.com/arcelien/pba.

研究动机与目标

• 将数据增强作为正则化手段进行动机阐述，并识别从大规模搜索空间中筛选有效增强策略的挑战。
• 提出一种轻量、基于调度的增强搜索方法以提升泛化能力。
• 在计算成本方面相较于先前的 AutoAugment 方法进行降低，同时保持或提升准确性。
• 展示 PBA 在 CIFAR-10、CIFAR-100 和 SVHN 上的有效性，并提供可重复性所需的开源代码。

提出的方法

• 将增强策略搜索形式化为超参数调度学习问题。
• 使用 Population Based Training (PBT) 联合优化增强参数与模型训练，产生随时间变化的增强调度 f(x,t)。
• 采用包含 15 种操作的增强策略模板，每种操作有两个超参数（概率和幅度）以及每个操作的两个拷贝。
• 定义一个操作序列应用，单个批次限定为 0–2 种操作，并通过结构化的探索函数来扰动超参数。
• 与固定策略（AutoAugment 风格）及随机基线进行对比，以评估调度相对于静态增强的价值。

实验结果

研究问题

• RQ1 是否学习非静态增强调度比固定增强策略带来更好的泛化？
• RQ2 PBA 在 CIFAR-10、CIFAR-100 和 SVHN 上的性能与效率相较 AutoAugment 与随机基线如何？
• RQ3 增强调度对计算成本和可扩展性有何影响？
• RQ4 PBA 对搜索过程和调度长度的超参数敏感性有多大？

主要发现

• PBA 在 CIFAR-10、CIFAR-100 和 SVHN 上达到与 AutoAugment 相当的性能，且 GPU 计算量约减少 1000 倍。
• 在 CIFAR-10 上，PBA 的平均测试误差为 1.46%，相较于当时的 state-of-the-art 具有轻微提升。
• 学习一个调度需要的 GPU 小时数显著少于 AutoAugment，约 5 小时在 Titan XP，而 AutoAugment 需要数千 GPU 小时。
• 学习调度显著优于固定策略或静态分布，若采用固定策略，在若干模型上的准确率下降约 10%。
• PBA 在不同数据集和模型族中表现出鲁棒性，在 CIFAR-10/100 和 SVHN 上利用学习得到的调度实现具有竞争力的结果。