[论文解读] Semantic Amodal Segmentation

Yan Zhu, Yuandong Tian+2 more|arXiv (Cornell University)|Sep 4, 2015

Advanced Neural Network Applications参考文献 41被引用 9

一句话总结

本文提出语义非模态分割（semantic amodal segmentation），这是一种新的视觉识别任务，要求标注图像中物体的可见与被遮挡区域，以及部分深度排序。基于两个大规模数据集（500张来自BSDS，5,000张来自COCO），作者使用扩展的模态分割网络的深度学习模型建立了强基准，能够预测非模态掩码与深度顺序，在成对深度排序任务中准确率超过80%，在严重遮挡条件下也取得了显著性能提升。

ABSTRACT

Common visual recognition tasks such as classification, object detection, and semantic segmentation are rapidly reaching maturity, and given the recent rate of progress, it is not unreasonable to conjecture that techniques for many of these problems will approach human levels of performance in the next few years. In this paper we look to the future: what is the next frontier in visual recognition? We offer one possible answer to this question. We propose a detailed image annotation that captures information beyond the visible pixels and requires complex reasoning about full scene structure. Specifically, we create an amodal segmentation of each image: the full extent of each region is marked, not just the visible pixels. Annotators outline and name all salient regions in the image and specify a partial depth order. The result is a rich scene structure, including visible and occluded portions of each region, figure-ground edge information, semantic labels, and object overlap. We create two datasets for semantic amodal segmentation. First, we label 500 images in the BSDS dataset with multiple annotators per image, allowing us to study the statistics of human annotations. We show that the proposed full scene annotation is surprisingly consistent between annotators, including for regions and edges. Second, we annotate 5000 images from COCO. This larger dataset allows us to explore a number of algorithmic ideas for amodal segmentation and depth ordering. We introduce novel metrics for these tasks, and along with our strong baselines, define concrete new challenges for the community.

研究动机与目标

• 定义并研究一种新的视觉识别任务——语义非模态分割，其中物体的可见部分与被遮挡部分均被标注。
• 通过在500张BSDS图像上评估标注者间的一致性，探究非模态分割是否为一个一致且定义良好的标注任务。
• 构建一个大规模、高质量的5,000张COCO图像数据集，包含非模态掩码与深度排序，用于算法评估。
• 开发用于非模态掩码质量与成对深度排序的新型评估指标。
• 训练并基准化强大的深度学习基线模型，用于非模态分割与深度预测，为社区设立新挑战。

提出的方法

• 标注者手动勾勒图像中每个显著区域的完整范围，包括被遮挡部分，并分配语义标签与部分深度顺序。
• 构建两个数据集：一个包含500张来自BSDS的图像，由多名标注者标注，用于研究一致性；另一个包含5,000张COCO图像，由专业标注者标注并实施质量控制。
• 提出用于非模态掩码质量（如平均召回率）与成对深度排序准确率的新型评估指标。
• 将现有的模态分割网络（如SharpMask）扩展为两种非模态变体：AmodalMask（直接预测非模态掩码）与ExpandMask（从模态掩码扩展而来）。
• 使用二分类方法训练深度网络进行深度排序：给定两个重叠掩码，预测哪个在前，输入特征来自边界框、掩码或图像块。
• 通过迁移学习，使用在COCO上预训练的模态分割网络初始化模型，并在非模态训练集上进行微调。

实验结果

研究问题

• RQ1 非模态分割在人类标注者之间是否具有一致性，特别是在被遮挡区域与图形-背景边界处？
• RQ2 深度学习模型是否能有效预测非模态掩码，使其在严重遮挡下仍具有良好的泛化能力，超越模态分割模型的表现？
• RQ3 学习到的模型在重叠物体之间的正确深度排序预测中能达到何种程度？掩码质量如何影响该性能？
• RQ4 与合成数据增强相比，使用真实非模态标注数据在模型泛化能力与性能方面有何差异？
• RQ5 语义标签对非模态标注的质量与一致性有何影响？

主要发现

• 非模态分割的标注者间一致性出人意料地高，区域与边缘的一致性甚至超过原始BSDS数据集。
• 非模态分割基线模型（AmodalMask与ExpandMask）在严重遮挡条件下显著优于其模态对应模型。
• 使用真实非模态训练数据的性能优于合成数据增强，尽管后者仍逊于真实数据，但优于模态基线模型。
• 成对深度排序模型（OrderNet M+I）在生成掩码上的准确率约为80%，在真实掩码上达到90%，展现出强大的泛化能力。
• 掩码质量显著影响深度排序性能，真实掩码与预测掩码之间的IoU匹配度越高，深度预测准确率也越高。
• 人类在非模态分割任务上的表现仍显著优于当前模型性能，表明未来研究面临重大开放挑战。