[论文解读] Style Augmentation: Data Augmentation via Style Randomization

Philip T. Jackson, Amir Atapour–Abarghouei+3 more|arXiv (Cornell University)|Sep 14, 2018

Topic Modeling参考文献 36被引用 91

一句话总结

通过快速、随机风格迁移管线通过对纹理、颜色和对比度进行随机化来引入风格增强；提高对领域偏移的鲁棒性，且可以与传统数据增强互补。

ABSTRACT

We introduce style augmentation, a new form of data augmentation based on random style transfer, for improving the robustness of convolutional neural networks (CNN) over both classification and regression based tasks. During training, our style augmentation randomizes texture, contrast and color, while preserving shape and semantic content. This is accomplished by adapting an arbitrary style transfer network to perform style randomization, by sampling input style embeddings from a multivariate normal distribution instead of inferring them from a style image. In addition to standard classification experiments, we investigate the effect of style augmentation (and data augmentation generally) on domain transfer tasks. We find that data augmentation significantly improves robustness to domain shift, and can be used as a simple, domain agnostic alternative to domain adaptation. Comparing style augmentation against a mix of seven traditional augmentation techniques, we find that it can be readily combined with them to improve network performance. We validate the efficacy of our technique with domain transfer experiments in classification and monocular depth estimation, illustrating consistent improvements in generalization.

研究动机与目标

• 通过引入一种快速、领域无关的数据增强技术，激发并解决 CNN 的领域偏置和过拟合问题。
• 提出在保持形状和内容的前提下对纹理/颜色/对比度进行随机化的风格增强。
• 评估风格增强对图像分类、跨域分类和单目深度估计的影响。
• 为从业者开源一个 PyTorch 实现。

提出的方法

• 使用一个实时神经艺术风格化网络（ Ghiasi et al. 2017 ）对输入进行变换。
• 用从 Painter By Numbers 的嵌入拟合的多元正态分布中采样的 100 维风格嵌入 z 来替代风格预测器。
• 在风格迁移过程中对特征图使用以 z 为条件的条件实例归一化进行调制。
• 通过 alpha 在随机风格嵌入与输入自身风格之间引入受控插值，以调整增强强度。
• 在多种任务和架构中，单独以及与传统增强相结合的情况下评估增强效果。
• 提供超参数研究以选择增强比率和强度。

实验结果

研究问题

• RQ1 在没有目标域数据的情况下，风格增强是否能改善对未见域的泛化？
• RQ2 随机风格迁移能否作为一种实用的、领域无关的跨任务数据增强策略（包括分类、领域转移、深度估计）？
• RQ3 风格增强如何与传统增强相互作用以提升性能？
• RQ4 风格增强的实际训练成本和实现注意事项有哪些？

主要发现

• 风格增强在跨领域基准上对多种架构均取得显著的准确性提升。
• 在 STL-10 上，单独的风格增强提高了收敛性和最终准确性，将其与七种传统增强结合可实现 8.5% 的准确性提升。
• 在 Office 跨域分类中，风格增强通常优于或补充传统增强，组合使用可达到最高的最终准确性。
• 在单目深度估计中，用风格增强训练的模型对真实世界数据的泛化能力优于仅使用传统增强的模型。
• 风格增强总体上在 ImageNet 上降低了性能，与纹理偏见相符合，即移除纹理线索可能降低大规模数据集的准确性。
• 该方法的训练时间开销适中（例如，对 STL-10 在最佳增强比率下约增加 ~6%）。
• 该方法与现有增强方法互补，可以作为一种简单的、领域无关的策略来缓解领域偏差。