[论文解读] Simple Does It: Weakly Supervised Instance and Semantic Segmentation

Anna Khoreva, Rodrigo Benenson+3 more|arXiv (Cornell University)|Mar 24, 2016

Machine Learning and Data Classification参考文献 45被引用 33

一句话总结

该论文提出了一种仅使用边界框标注的弱监督实例分割与语义分割方法，通过类似GrabCut的算法生成高质量训练标签，且无需修改分割网络的训练过程。该方法在语义分割和实例分割任务上均达到了全监督模型约95%的性能，为弱监督学习设立了新的最先进水平。

ABSTRACT

Semantic labelling and instance segmentation are two tasks that require particularly costly annotations. Starting from weak supervision in the form of bounding box detection annotations, we propose a new approach that does not require modification of the segmentation training procedure. We show that when carefully designing the input labels from given bounding boxes, even a single round of training is enough to improve over previously reported weakly supervised results. Overall, our weak supervision approach reaches ~95% of the quality of the fully supervised model, both for semantic labelling and instance segmentation.

研究动机与目标

• 通过仅利用边界框标注作为弱监督，降低像素级分割的高标注成本。
• 在不修改分割网络训练过程的前提下，提升弱监督语义分割与实例分割的性能。
• 探究递归训练与框引导分割技术在去噪训练标签中的有效性。
• 为弱监督实例分割建立首个最先进结果。
• 证明：通过精心设计的边界框标签生成方法，可在极少架构改动下实现与全监督性能相当的效果。

提出的方法

• 使用GrabCut+从边界框标注生成伪分割掩码，无需修改分割网络即可生成高质量训练标签。
• 采用递归训练策略，利用前一轮的预测结果优化下一轮的监督信号，从而降低标签噪声。
• 提出一种改进的DeepLab网络（DeepLab_BOX），将边界框作为额外输入通道，以指导实例级分割。
• 采用多阶段训练策略：首先通过GrabCut+生成伪标签，然后在这些标签上训练分割网络。
• 使用VOC12和VOC12+COCO数据集，结合边界框标注，在弱监督设置下进行模型训练与评估。
• 避免使用CRF后处理，转而依赖鲁棒的标签生成与网络设计以实现高性能。

实验结果

研究问题

• RQ1 仅使用边界框标注是否可以实现高质量的语义分割，且无需修改分割网络的训练过程？
• RQ2 当与框引导的伪标签生成结合时，递归训练在弱监督分割中的有效性如何？
• RQ3 类似GrabCut的算法能否生成足够准确的训练标签，以接近全监督性能？
• RQ4 是否可能在弱监督实例分割中实现最先进结果？
• RQ5 当使用相同网络架构时，弱监督与全监督分割之间的性能差距是多少？

主要发现

• 所提方法在语义分割和实例分割任务上均达到全监督模型约95%的性能。
• 弱监督的DeepLab_BOX在VOC12+COCO数据集上达到46.4 mAPr@0.5和18.5 mAPr@0.75，而全监督设置下为49.4和23.7。
• 该方法在弱监督语义分割任务上设立了新的最先进水平，优于此前采用递归训练或EM方法的模型。
• 首次在弱监督实例分割中报告了具有竞争力的结果，性能达到全监督水平的约95%。
• 与简单框填充或椭圆拟合相比，GrabCut+生成的伪标签显著更优，使mAPr提升10-15%。
• 仅使用框监督的递归训练（Box^i）表现良好，但仍逊于无需网络修改的标签生成方法（M∩G+）。