[论文解读] You Only Cut Once: Boosting Data Augmentation with a Single Cut

Junlin Han, Pengfei Fang+6 more|arXiv (Cornell University)|Jan 28, 2022

Advanced Neural Network Applications被引用 11

一句话总结

本文提出 You Only Cut Once (YOCO)，一种无参数的数据增强方法，该方法沿高度或宽度方向将图像分割为两个相等部分，对每部分独立应用增强操作，然后重新组合。YOCO 通过提升局部与全局特征多样性，在图像分类、对比自监督预训练以及低层次视觉任务中均显著提升性能，且在不增加任何计算成本的前提下，始终优于标准的图像级增强方法。

ABSTRACT

We present You Only Cut Once (YOCO) for performing data augmentations. YOCO cuts one image into two pieces and performs data augmentations individually within each piece. Applying YOCO improves the diversity of the augmentation per sample and encourages neural networks to recognize objects from partial information. YOCO enjoys the properties of parameter-free, easy usage, and boosting almost all augmentations for free. Thorough experiments are conducted to evaluate its effectiveness. We first demonstrate that YOCO can be seamlessly applied to varying data augmentations, neural network architectures, and brings performance gains on CIFAR and ImageNet classification tasks, sometimes surpassing conventional image-level augmentation by large margins. Moreover, we show YOCO benefits contrastive pre-training toward a more powerful representation that can be better transferred to multiple downstream tasks. Finally, we study a number of variants of YOCO and empirically analyze the performance for respective settings. Code is available at GitHub.

研究动机与目标

• 为解决图像级数据增强的局限性，即可能不足以促使模型从部分信息中识别物体。
• 探究在片段级别（而非图像级别）进行增强是否能提升模型的泛化能力与鲁棒性。
• 开发一种简单、即插即用的增强策略，以提升特征多样性，同时不引入超参数或计算开销。
• 在包括 ImageNet、CIFAR 和低层次视觉任务（如去雨、超分辨率）在内的多种任务、架构与数据集上评估 YOCO。

提出的方法

• YOCO 将单张输入图像沿高度或宽度方向均分为两部分。
• 每部分独立执行相同的数据增强操作，如颜色抖动、水平翻转或 Cutout。
• 将增强后的两部分重新拼接为一张完整图像，用于模型训练。
• 每张样本随机选择切割方向（高度或宽度），在不增加参数的前提下引入多样性。
• YOCO 作为即插即用模块，可无缝集成至现有增强流水线中。
• 方法在图像级与片段级增强策略之间进行对比评估，并对切割比例与增强组合进行消融实验。

实验结果

研究问题

• RQ1 与标准图像级数据增强相比，YOCO 如何提升模型的泛化能力与鲁棒性？
• RQ2 YOCO 在何种情况下最有效？在何种条件下可能导致性能下降？
• RQ3 为何 YOCO 能够增强表征学习？它引入了何种归纳偏置？
• RQ4 YOCO 是否可普遍应用于不同视觉任务，包括低层次与高层次视觉任务？
• RQ5 YOCO 是否能提升自监督对比预训练及下游微调性能？

主要发现

• 在 CIFAR-10 和 CIFAR-100 上，YOCO 在 12 种测试增强方法中的 11 种上表现更优，性能提升超过图像级增强方法。
• 在 ImageNet 上，YOCO 在六项评估指标上均优于图像级增强：泛化能力、部分图像识别、校准性、对抗鲁棒性、噪声鲁棒性以及分布偏移鲁棒性。
• 在 MoCo v2 和 SimSiam 的对比自监督预训练中，YOCO 学习到更具表现力的表征，显著提升了下游分类、目标检测与实例分割任务的迁移性能。
• 在图像去雨任务中，YOCO 在 Rain100L 基准上将 PSNR 提升 0.73 dB，证明其在低层次视觉任务中的有效性。
• 在超分辨率任务中，YOCO 在多个数据集（DIV2K、Set14、Urban100 等）的合成与真实场景下，性能与图像级增强相当或略有超越。
• YOCO 无显著计算开销，且无需超参数调优，是现有训练流水线的免费、即插即用增强方案。