[论文解读] Weakly Supervised Semantic Labelling and Instance Segmentation

Anna Khoreva, Rodrigo Benenson+3 more|arXiv (Cornell University)|Mar 24, 2016

Advanced Neural Network Applications参考文献 9被引用 12

一句话总结

该论文提出了一种基于边界框标注的递归弱监督训练方法，用于语义分割和实例分割，通过卷积神经网络迭代优化预测结果。该方法即使在基于矩形框初始化的情况下，也能达到全监督模型约95%的性能，显著优于以往的弱监督方法。

ABSTRACT

Semantic labelling and instance segmentation are two tasks that require particularly costly annotations. Starting from weak supervision in the form of bounding box detection annotations, we propose to recursively train a convnet such that outputs are improved after each iteration. We explore which aspects affect the recursive training, and which is the most suitable box-guided segmentation to use as initialisation. Our results improve significantly over previously reported ones, even when using rectangles as rough initialisation. Overall, our weak supervision approach reaches ~95% of the quality of the fully supervised model, both for semantic labelling and instance segmentation.

研究动机与目标

• 通过利用边界框标注的弱监督，解决语义分割和实例分割的高标注成本问题。
• 开发一种递归训练框架，通过极少的监督实现模型预测的逐步优化。
• 评估不同基于框的分割方法作为弱监督训练初始值的影响。
• 仅使用边界框级别的标注，实现接近全监督模型的性能。

提出的方法

• 该方法使用卷积神经网络（convnet）进行递归训练，通过边界框提供的弱监督在每次迭代中优化预测结果。
• 初始分割预测通过基于框的分割方法（如基于矩形框的提议）生成，以启动训练过程。
• 模型通过利用前一轮迭代生成的伪标签，逐步提升预测性能，从而减少对标注数据的依赖。
• 采用递归训练循环，每轮迭代通过自我优化提升特征学习能力和分割精度。
• 该方法评估了多种初始化策略，以确定弱监督训练中最有效的起始点。

实验结果

研究问题

• RQ1 基于边界框监督的递归训练如何影响语义分割和实例分割的性能？
• RQ2 哪种基于框的分割初始化方法在弱监督设置下表现最佳？
• RQ3 弱监督结合边界框能在多大程度上接近全监督模型的性能？
• RQ4 哪些因素影响递归训练过程的收敛性和性能提升？

主要发现

• 所提出的递归训练方法在语义分割和实例分割任务中均达到了全监督模型约95%的性能。
• 即使从基于矩形框的初始化开始，也观察到显著的性能提升，表明对粗粒度监督具有强鲁棒性。
• 递归优化过程在各轮迭代中持续提升分割质量，表明自监督机制有效。
• 初始基于框的分割方法的选择显著影响最终性能，部分方法明显优于其他方法。