[论文解读] Negative Data Augmentation

Abhishek Sinha, Kumar Ayush+4 more|arXiv (Cornell University)|Feb 9, 2021

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 8

一句话总结

本文提出负样本数据增强（NDA），通过在分布内数据上应用结构化变换（如拼图、裁剪）生成分布外（OOD）样本。通过将这些OOD样本作为弱监督信号，NDA提升了生成对抗网络（GAN）训练与对比自监督表示学习，实现在图像生成、异常检测以及下游视觉任务（如分类与动作识别）上的最先进性能。

ABSTRACT

Data augmentation is often used to enlarge datasets with synthetic samples generated in accordance with the underlying data distribution. To enable a wider range of augmentations, we explore negative data augmentation strategies (NDA)that intentionally create out-of-distribution samples. We show that such negative out-of-distribution samples provide information on the support of the data distribution, and can be leveraged for generative modeling and representation learning. We introduce a new GAN training objective where we use NDA as an additional source of synthetic data for the discriminator. We prove that under suitable conditions, optimizing the resulting objective still recovers the true data distribution but can directly bias the generator towards avoiding samples that lack the desired structure. Empirically, models trained with our method achieve improved conditional/unconditional image generation along with improved anomaly detection capabilities. Further, we incorporate the same negative data augmentation strategy in a contrastive learning framework for self-supervised representation learning on images and videos, achieving improved performance on downstream image classification, object detection, and action recognition tasks. These results suggest that prior knowledge on what does not constitute valid data is an effective form of weak supervision across a range of unsupervised learning tasks.

研究动机与目标

• 通过利用关于数据‘不应是什么’的先验知识，解决无监督学习中有效归纳偏置的缺乏问题。
• 形式化一种新的数据增强策略，通过生成分布外样本，帮助模型理解数据分布的边界。
• 通过将负样本作为弱监督信号，改进生成建模与自监督表示学习。
• 从理论与实证两方面验证NDA可提升模型在多样化视觉任务中的泛化能力与性能。

提出的方法

• 定义一个负样本数据分布 $\overline{p}$，其支撑集与真实数据分布 $p_{\text{data}}$ 不相交，通过破坏结构一致性的变换（如拼图、裁剪）实现。
• 在GAN训练中将NDA样本作为额外的虚假数据，使判别器学习区分真实数据、标准增强数据与NDA生成的OOD样本。
• 提出一种改进的GAN目标函数，使生成器倾向于避免生成与NDA输出相似的样本，从而提升生成质量。
• 将NDA适配至对比自监督学习，通过在模型（如MoCo-v2与DPC）中强制分布内样本与NDA样本的表示互斥。
• 使用标准数据增强技术（如mixup、cutout）作为NDA策略，对图像或视频帧一致应用，以生成OOD样本。
• 理论分析表明，在满足有效NDA假设的前提下，优化改进后的GAN目标函数在无限数据极限下仍能恢复真实数据分布。

实验结果

研究问题

• RQ1 通过结构化变换生成的分布外样本能否作为无监督学习的有效归纳偏置？
• RQ2 在无条件与条件图像生成中，引入负样本数据增强是否能提升生成模型（如GAN）的质量？
• RQ3 NDA能否增强图像与视频中的自监督表示学习，从而提升下游任务性能？
• RQ4 在性能与泛化能力方面，NDA相较于标准数据增强与其他对比学习目标有何差异？
• RQ5 针对不同学习目标，何种类型的数据变换能产生最有效的NDA策略？

主要发现

• 采用NDA训练的模型在图像生成、图像翻译与异常检测任务上达到最先进性能，显著优于无NDA的基线模型。
• 在CIFAR-10上，NDA将Inception Score从91.20提升至91.66，FID从12.85降至12.51，表明生成样本质量与多样性均获提升。
• 在对比自监督学习（MoCo-v2）中，采用拼图与裁剪增强的NDA将ImageNet-100 top-1准确率从69.41%提升至70.01%。
• 在Pascal VOC目标检测任务中，使用mixup NDA的MoCo将AP从38.47提升至38.72，AP50从65.99提升至66.23，AP75从38.81提升至39.16。
• 在DPC视频表征学习中，采用拼图与cutmix增强的NDA使UCF101 top-1准确率从61.35%提升至64.54%，HMDB51从45.31%提升至48.43%。
• NDA在多个基准上均提升性能，且计算开销无显著增加，证明其高效性与广泛适用性。