[论文解读] On the Importance of Visual Context for Data Augmentation in Scene Understanding

Nikita Dvornik, Julien Mairal+1 more|arXiv (Cornell University)|Sep 6, 2018

Advanced Neural Network Applications参考文献 61被引用 7

一句话总结

本文提出了一种上下文感知的数据增强方法，用于场景理解任务（如目标检测和语义分割）。通过使用基于CNN的上下文模型预测物体在场景中合适的位置，该方法显著提升了模型的泛化能力，尤其在低数据设置下表现突出，在仅提供边界框的情况下，于PASCAL VOC和COCO基准上实现了最先进性能提升。

ABSTRACT

Performing data augmentation for learning deep neural networks is known to be important for training visual recognition systems. By artificially increasing the number of training examples, it helps reducing overfitting and improves generalization. While simple image transformations can already improve predictive performance in most vision tasks, larger gains can be obtained by leveraging task-specific prior knowledge. In this work, we consider object detection, semantic and instance segmentation and augment the training images by blending objects in existing scenes, using instance segmentation annotations. We observe that randomly pasting objects on images hurts the performance, unless the object is placed in the right context. To resolve this issue, we propose an explicit context model by using a convolutional neural network, which predicts whether an image region is suitable for placing a given object or not. In our experiments, we show that our approach is able to improve object detection, semantic and instance segmentation on the PASCAL VOC12 and COCO datasets, with significant gains in a limited annotation scenario, i.e. when only one category is annotated. We also show that the method is not limited to datasets that come with expensive pixel-wise instance annotations and can be used when only bounding boxes are available, by employing weakly-supervised learning for instance masks approximation.

研究动机与目标

• 为解决数据增强中随机物体放置带来的局限性，该局限性会损害细粒度场景理解任务（如检测与分割）的性能。
• 开发一种利用视觉上下文生成更真实训练样本的方法，以提升模型泛化能力。
• 证明显式上下文建模在低数据设置下的数据增强中至关重要。
• 证明无需昂贵的像素级标注，仅通过边界框标注即可实现弱监督掩码近似，从而有效支持上下文感知数据增强。

提出的方法

• 训练一个卷积神经网络（上下文模型），根据周围视觉上下文预测特定图像区域放置给定物体类别可能性的高低。
• 通过评估周围场景是否在语义上适合该物体，来评估候选物体放置位置的合理性。
• 仅在上下文模型判定为合适的位置才将物体粘贴到图像中，确保空间与语义上的合理性。
• 当缺乏像素级标注时，利用弱监督学习从边界框标注近似生成物体掩码。
• 通过生成具有真实物体放置的合成训练图像，将该方法集成到现有训练流程中。
• 在PASCAL VOC12和COCO数据集上，使用多种架构（包括BlitzNet300）对方法进行评估。

实验结果

研究问题

• RQ1 与随机放置相比，显式建模视觉上下文是否能显著提升目标检测与分割任务中的数据增强性能？
• RQ2 当仅有少量标注样本可用时，所提方法是否能实现显著的性能提升？
• RQ3 是否可能在无需昂贵像素级实例标注的前提下，有效实现上下文感知数据增强？
• RQ4 用于训练上下文模型的数据量如何影响检测与分割模型的最终性能？
• RQ5 仅从边界框进行弱监督掩码生成，是否足以支持有效的上下文感知数据增强？

主要发现

• 在PASCAL VOC12数据集上，仅使用10%的训练数据训练上下文模型，即可实现66.1%的检测mAP和65.1%的分割mIoU，表明在监督有限的情况下仍具有强大性能。
• 性能在约75%的上下文建模数据量处趋于平稳，表明超过某一数据阈值后收益递减。
• 该方法在低数据设置下表现显著提升，尤其在仅标注一个类别时，证明其在少样本学习场景下的有效性。
• 该方法在COCO数据集上也提升了检测与分割性能，证实其有效性不仅限于PASCAL VOC基准。
• 当仅使用5%的数据进行训练时，方法性能退化至接近基线水平，证实上下文建模需要足够数据才能有效发挥作用。
• 该方法在弱监督设置下泛化良好，仅使用边界框标注进行掩码近似即可实现性能提升。