[论文解读] ObjectAug: Object-level Data Augmentation for Semantic Image Segmentation

Jiawei Zhang, Yanchun Zhang+1 more|arXiv (Cornell University)|Jan 30, 2021

Advanced Neural Network Applications参考文献 38被引用 5

一句话总结

ObjectAug 通过使用分割掩码将图像解耦为对象和背景，对每个对象独立应用缩放、旋转和位移等变换进行对象级数据增强，并通过图像修复技术恢复伪影，从而实现语义图像分割的对象级数据增强。该方法通过提升边界泛化能力和实现类别感知增强，显著改善了分割性能，在基准数据集上相比图像级方法（如 CutMix 和 CutOut）实现了最高达 0.9% 的 mIoU 提升。

ABSTRACT

Semantic image segmentation aims to obtain object labels with precise boundaries, which usually suffers from overfitting. Recently, various data augmentation strategies like regional dropout and mix strategies have been proposed to address the problem. These strategies have proved to be effective for guiding the model to attend on less discriminative parts. However, current strategies operate at the image level, and objects and the background are coupled. Thus, the boundaries are not well augmented due to the fixed semantic scenario. In this paper, we propose ObjectAug to perform object-level augmentation for semantic image segmentation. ObjectAug first decouples the image into individual objects and the background using the semantic labels. Next, each object is augmented individually with commonly used augmentation methods (e.g., scaling, shifting, and rotation). Then, the black area brought by object augmentation is further restored using image inpainting. Finally, the augmented objects and background are assembled as an augmented image. In this way, the boundaries can be fully explored in the various semantic scenarios. In addition, ObjectAug can support category-aware augmentation that gives various possibilities to objects in each category, and can be easily combined with existing image-level augmentation methods to further boost performance. Comprehensive experiments are conducted on both natural image and medical image datasets. Experiment results demonstrate that our ObjectAug can evidently improve segmentation performance.

研究动机与目标

• 为解决图像级数据增强在对象边界泛化能力差的问题，因其固定了对象与背景的耦合关系。
• 通过独立增强单个对象并保持语义一致性，提升分割的鲁棒性。
• 支持类别感知增强，以缓解训练数据中的类别不平衡问题。
• 与现有图像级增强技术无缝集成，以进一步提升性能。

提出的方法

• 使用真实语义分割掩码将输入图像分解为单个对象和背景。
• 对每个对象独立应用标准增强技术（如缩放、旋转、位移），同时保持其语义类别。
• 使用图像修复技术恢复由对象增强引入的像素级伪影，确保视觉一致性。
• 将增强后的对象和背景重新组合为具有多样化空间排列的新图像，保持语义一致性。
• 通过选择性地对特定对象类别应用变换，支持类别感知增强。
• 将 ObjectAug 与现有图像级增强方法（如 CutOut、CutMix）结合，进一步提升模型泛化能力。

实验结果

研究问题

• RQ1 与图像级增强相比，对象级数据增强是否能通过更好地泛化对象边界来提升语义分割性能？
• RQ2 类别感知增强对罕见或难以分割类别的模型性能有何影响？
• RQ3 ObjectAug 与现有图像级增强策略结合后，能在多大程度上进一步提升分割精度？
• RQ4 缩放比例、旋转角度和位移距离等超参数在多大程度上影响 ObjectAug 的性能？

主要发现

• 在 Cityscapes 数据集上，将 ObjectAug 应用于 DeepLab V3+ 时，mIoU 分别提升了 1.5%（MobileNet）、1.3%（ResNet-50）和 0.9%（ResNet-101）。
• 在 CRAG 医疗图像数据集上，ObjectAug 在 FCN、U-Net、PSPNet 和 DeepLab V3 等多种架构上实现了 2.6%–3.3% 的 mIoU 提升。
• 在 Cityscapes 上，ObjectAug 相较于 CutOut 和 CutMix 分别实现了 0.8% 和 0.6% 的 mIoU 提升，几乎使它们的性能增益翻倍。
• 在 CRAG 数据集上，ObjectAug 相较于 CutOut 和 CutMix 分别实现了 0.9% 和 0.7% 的 mIoU 提升，表明其在不同领域间具有强大的泛化能力。
• 超参数消融实验表明，在缩放比例 M_z=1.2、旋转角度 M_r=15°、位移距离 M_s=5 时性能最优，对应概率为 [0.2, 0.2, 0.1]。
• 基于困难样本排序的类别感知增强比基于稀有性排序的增强方法额外提升了 0.8% 的性能，表明其对困难区域的影响更大。