[论文解读] Proposal-free Network for Instance-level Object Segmentation

Xiaodan Liang, Yunchao Wei+4 more|arXiv (Cornell University)|Sep 9, 2015

Advanced Neural Network Applications参考文献 17被引用 105

一句话总结

该论文提出了一种无需提议框的网络（PFN），用于实例级目标分割，直接预测每个像素的实例位置和类别数量，从而实现无需区域提议生成的端到端训练。通过聚类具有相似预测实例位置的像素，PFN在PASCAL VOC 2012数据集上实现了58.7%的AP^r（IoU阈值为0.5），显著优于先前的最先进方法。

ABSTRACT

Instance-level object segmentation is an important yet under-explored task. The few existing studies are almost all based on region proposal methods to extract candidate segments and then utilize object classification to produce final results. Nonetheless, generating accurate region proposals itself is quite challenging. In this work, we propose a Proposal-Free Network (PFN ) to address the instance-level object segmentation problem, which outputs the instance numbers of different categories and the pixel-level information on 1) the coordinates of the instance bounding box each pixel belongs to, and 2) the confidences of different categories for each pixel, based on pixel-to-pixel deep convolutional neural network. All the outputs together, by using any off-the-shelf clustering method for simple post-processing, can naturally generate the ultimate instance-level object segmentation results. The whole PFN can be easily trained in an end-to-end way without the requirement of a proposal generation stage. Extensive evaluations on the challenging PASCAL VOC 2012 semantic segmentation benchmark demonstrate that the proposed PFN solution well beats the state-of-the-arts for instance-level object segmentation. In particular, the $AP^r$ over 20 classes at 0.5 IoU reaches 58.7% by PFN, significantly higher than 43.8% and 46.3% by the state-of-the-art algorithms, SDS [9] and [16], respectively.

研究动机与目标

• 解决不依赖区域提议方法的实例级目标分割挑战。
• 通过消除复杂的预处理和后处理阶段，简化分割流程。
• 仅使用像素级深度卷积特征，实现端到端训练。
• 在遮挡、杂乱和复杂场景中提升性能，这些场景中基于提议的方法常会失效。

提出的方法

• 网络为每个像素预测其所属实例边界框的坐标以及各类别的置信度分数。
• 输出每类别的实例数量，以在推理阶段指导聚类。
• 使用现成的谱聚类算法对像素级实例位置预测结果进行聚类，生成目标实例掩码。
• 通过结合类别分类和实例位置回归的多任务损失函数，实现端到端训练。
• 该框架避免了区域提议生成，降低了计算成本并简化了流程。
• 该方法利用全局上下文信息提升定位能力，尤其在遮挡或杂乱场景中表现更优。

实验结果

研究问题

• RQ1 是否可以在不生成区域提议的情况下实现实例级目标分割，同时保持高精度？
• RQ2 在像素级预测上进行端到端训练，与多阶段基于提议的流水线相比有何差异？
• RQ3 精确的像素级实例位置预测对最终分割性能的影响有多大？
• RQ4 像谱聚类这样的简单后处理方法，能否有效从预测位置中恢复实例掩码？
• RQ5 该方法在重叠遮挡和小目标实例等挑战性情况下的表现如何？

主要发现

• PFN在PASCAL VOC 2012数据集上实现了58.7%的AP^r（IoU阈值为0.5），显著优于先前最先进方法SDS（43.8%）和[16]（46.3%）。
• 消融实验表明，PFN与使用真实实例位置的上限性能（64.7%）之间存在显著差距，证实了准确实例位置预测的关键作用。
• 该方法在存在严重遮挡、背景杂乱和多样化目标外观的复杂场景中表现良好。
• 可视化结果表明，PFN能有效区分并分割被遮挡和小尺寸的目标实例。
• 失败案例主要出现在极端遮挡或极小目标实例中，表明此类场景仍有改进空间。
• 该框架计算效率高，且由于无需区域提议和复杂后处理，比基于提议的方法更简洁。