[论文解读] OnlineAugment: Online Data Augmentation with Less Domain Knowledge

Zhiqiang Tang, Yunhe Gao+4 more|ArXiv.org|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用 4

一句话总结

OnlineAugment 提出了一种在线、元学习的数据增强框架，通过联合训练三个可学习的神经网络——A-STN、D-VAE 和 P-VAE——在训练过程中生成自适应的、领域无关的增强数据。与离线方法不同，它根据模型状态动态调整增强策略，在性能上与 AutoAugment 相当，并在与离线策略结合时进一步提升了最先进模型的性能。

ABSTRACT

Data augmentation is one of the most important tools in training modern deep neural networks. Recently, great advances have been made in searching for optimal augmentation policies in the image classification domain. However, two key points related to data augmentation remain uncovered by the current methods. First is that most if not all modern augmentation search methods are offline and learning policies are isolated from their usage. The learned policies are mostly constant throughout the training process and are not adapted to the current training model state. Second, the policies rely on class-preserving image processing functions. Hence applying current offline methods to new tasks may require domain knowledge to specify such kind of operations. In this work, we offer an orthogonal online data augmentation scheme together with three new augmentation networks, co-trained with the target learning task. It is both more efficient, in the sense that it does not require expensive offline training when entering a new domain, and more adaptive as it adapts to the learner state. Our augmentation networks require less domain knowledge and are easily applicable to new tasks. Extensive experiments demonstrate that the proposed scheme alone performs on par with the state-of-the-art offline data augmentation methods, as well as improving upon the state-of-the-art in combination with those methods. Code is available at https://github.com/zhiqiangdon/online-augment .

研究动机与目标

• 解决离线数据增强的局限性，后者依赖于固定的手动设计策略，且需要昂贵的预训练或超参数搜索。
• 通过用可学习的神经网络替代传统图像处理操作，减少对领域特定知识的依赖，实现增强操作的可学习化。
• 在训练过程中根据当前学习模型的状态实现数据增强的在线自适应，提升泛化能力和训练效率。
• 构建一个与现有离线方法正交的统一框架，支持联合使用以进一步提升性能。
• 通过在医学图像分割任务上的应用，证明该方法在图像分类之外也具备泛化能力，显著提升了在具有挑战性的数据集上的鲁棒性。

提出的方法

• 引入三种可学习的增强网络：A-STN（仿射空间变换网络）、D-VAE（形变变分自编码器）和 P-VAE（扰动变分自编码器），在不依赖预定义图像操作的前提下生成多样化的增强数据。
• 采用元学习目标，端到端地联合训练增强网络与目标模型，以促进在训练步骤间的泛化能力。
• 对增强网络应用对抗训练，以防止过拟合并提升生成增强数据的鲁棒性。
• 使用任务特定的正则化损失，引导增强网络学习有意义且保持类别不变的变换。
• 结合元学习与对抗训练，使增强网络能够根据当前模型状态自适应地调整变换幅度。
• 在主训练循环中实时训练增强网络，消除了对独立离线策略搜索或预训练的需求。

实验结果

研究问题

• RQ1 在线自适应数据增强是否能在图像分类任务中超越或补充最先进离线增强策略（如 AutoAugment）？
• RQ2 可学习的增强网络在多大程度上能减少设计数据增强操作时对领域知识的依赖？
• RQ3 元学习与对抗训练的结合如何提升在线数据增强的泛化能力和鲁棒性？
• RQ4 在线数据增强能否有效迁移至非分类任务，如医学图像分割？
• RQ5 在训练过程中动态调整增强幅度是否能带来更好的模型收敛性和性能？

主要发现

• 仅使用 OnlineAugment 时，在 CIFAR-10（2.4% 错误率）、CIFAR-100（16.6%）和 ImageNet（22.5%）上的测试错误率已与 AutoAugment 相当，展现出强大的独立性能。
• 当与 AutoAugment 结合使用时，OnlineAugment 将测试错误率进一步降低至 CIFAR-10 的 2.0%、CIFAR-100 的 16.3% 和 ImageNet 的 22.0%，创下新的最先进结果。
• 在 LiTS 肝脏与肿瘤分割数据集上，OnlineAugment 实现了 73.35% 的平均 Dice 分数，显著优于 RandAugment（71.51%），尤其是在结合空间与形变增强时。
• A-STN 和 D-VAE 模块生成了多样化且自适应的增强数据，其增强幅度在训练过程中动态演化，随着模型收敛而减小，表明具备动态适应能力。
• 该方法在肿瘤分割任务上的性能提升大于肝脏分割任务，表明其生成的样本更具挑战性且信息量更高，更受益于自适应增强。
• A-STN 与 D-VAE 的组合取得了最佳性能，证明所提出的模块具有互补性，并在不同类型的增强中展现出良好的泛化能力。