[论文解读] Objectness-Aware One-Shot Semantic Segmentation

Yinan Zhao, Brian Price+2 more|arXiv (Cornell University)|Apr 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用 5

一句话总结

该论文提出了一种感知对象性的少样本语义分割模型，通过利用预训练的对象性模块，在仅提供一个新类别标注样本的情况下提升分割精度。通过将对象性预测与少样本学习相结合，该方法在 PASCAL-5i 上实现了 57.9% 的 mIoU，在 COCO-20i 上实现了 22.6%，优于现有基线模型。

ABSTRACT

While deep convolutional neural networks have led to great progress in image semantic segmentation, they typically require collecting a large number of densely-annotated images for training. Moreover, once trained, the model can only make predictions in a pre-defined set of categories. Therefore, few-shot image semantic segmentation has been explored to learn to segment from only a few annotated examples. In this paper, we tackle the challenging one-shot semantic segmentation problem by taking advantage of objectness. In order to capture prior knowledge of object and background, we first train an objectness segmentation module which generalizes well to unseen categories. Then we use the objectness module to predict the objects present in the query image, and train an objectness-aware few-shot segmentation model that takes advantage of both the object information and limited annotations of the unseen category to perform segmentation in the query image. Our method achieves a mIoU score of 57.9% and 22.6% given only one annotated example of an unseen category in PASCAL-5i and COCO-20i, outperforming related baselines overall.

研究动机与目标

• 解决少样本语义分割模型在训练过程中需要大规模标注数据集的局限性。
• 在仅有一个标注样本的情况下，提升对新类别、未见类别的分割性能。
• 利用对象性先验——即关于对象存在与位置的知识——以增强少样本泛化能力。
• 开发一个统一框架，将对象性预测与少样本分割相结合，以提升精度。

提出的方法

• 在大规模数据集上预训练一个独立的对象性分割模块，用于检测和定位对象及背景。
• 在少样本分割之前，使用对象性模块预测查询图像中的对象提议。
• 训练一种感知对象性的少样本分割模型，使其关注对象区域，并利用新类别的有限标注。
• 通过融合来自对象性预测和支持图像的特征，以优化查询图像中的分割掩码。
• 该框架采用双分支网络结构，结合注意力机制对齐支持图像与查询图像的特征，同时利用对象性引导。
• 该方法在 PASCAL-5i 和 COCO-20i 上进行端到端训练，损失函数针对对象性和分割精度进行了优化。

实验结果

研究问题

• RQ1 当仅有一个新类别样本时，对象性先验是否能提升少样本语义分割的性能？
• RQ2 整合对象性预测如何影响模型检测和分割新类别对象的能力？
• RQ3 与标准的少样本分割方法相比，使用预训练的对象性模块是否能带来更好的未见类别泛化能力？
• RQ4 对象性引导在多大程度上减少了语义分割中对大规模密集标注的需求？

主要发现

• 所提方法在仅提供每个新类别一个标注样本的 PASCAL-5i 基准上，实现了 57.9% 的平均交并比（mIoU）。
• 在 COCO-20i 数据集上，该方法使用单个支持样本实现了 22.6% 的 mIoU，优于现有基线模型。
• 整合对象性先验显著提升了分割精度，尤其在小尺寸或模糊对象上表现更优。
• 预训练的对象性模块能很好地泛化到未见类别，减少了对新类别进行大量微调的需求。