[论文解读] One-Shot Instance Segmentation

Claudio Michaelis, Ivan Ustyuzhaninov+2 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Neural Network Applications参考文献 99被引用 68

一句话总结

本文提出 Siamese Mask R-CNN，通过将单个参考图像与测试场景进行匹配来执行一次性实例分割，从而在不重新训练的情况下实现对新类别的检测与分割。它在 MS-COCO 上建立了基线，并分析了将检测定位于参考类别的挑战，同时分割在此过程中的可靠性更高。

ABSTRACT

We tackle the problem of one-shot instance segmentation: Given an example image of a novel, previously unknown object category, find and segment all objects of this category within a complex scene. To address this challenging new task, we propose Siamese Mask R-CNN. It extends Mask R-CNN by a Siamese backbone encoding both reference image and scene, allowing it to target detection and segmentation towards the reference category. We demonstrate empirical results on MS Coco highlighting challenges of the one-shot setting: while transferring knowledge about instance segmentation to novel object categories works very well, targeting the detection network towards the reference category appears to be more difficult. Our work provides a first strong baseline for one-shot instance segmentation and will hopefully inspire further research into more powerful and flexible scene analysis algorithms. Code is available at: https://github.com/bethgelab/siamese-mask-rcnn

研究动机与目标

• 定义一次性实例分割任务，并阐明其对真实世界场景理解的实际意义。
• 开发一种模型，在仅给定单个参考图像的条件下，能够检测并分割新颖对象类别。
• 在 MS-COCO 上对接近训练类别和新颖类别进行评估，以建立强基线。

提出的方法

• 将 Siamese 主干与 Mask R-CNN 集成，以在共享特征空间中对参考图像和查询图像进行编码。
• 通过对参考特征取平均、对场景特征取绝对差、将其连接到场景特征，并应用 1x1 卷积以产生与任务相关的特征来实现基于相似性的匹配。
• 用二进制的匹配/不匹配判定替代 Mask R-CNN 的 80 类分类，并使用单一类别无关的边界框和掩码头。
• 在 MS-COCO 上进行 episodic 训练，在一个不相交的 ImageNet 子集上对主干进行预训练，并在四个训练/测试分割中使用随机参考选择进行评估。

实验结果

研究问题

• RQ1 基于度量学习的方法是否能够在复杂场景中实现对新类别的一次性检测与分割？
• RQ2 相较于对训练类别的学习，Siamese 扩展的 Mask R-CNN 对未见类别的迁移能力有多强？
• RQ3 在一次性实例分割中将检测定向到参考类别时，主要瓶颈是什么？
• RQ4 参考数量（shots）如何影响新颖类别的性能？
• RQ5 场景混乱对一次性实例分割性能有何影响？

主要发现

• 单个参考的一次性对象检测在训练类别上的 mAP50 为 37.6%，实例分割的 mAP50 为 34.9%；使用五个参考时分别提升到 41.3% 和 38.4%。
• 对于训练中未见的新颖类别，一次性 mAP50 的检测为 16.3%，分割为 14.5%；五次参考分别提升到 18.5% 和 16.7%。
• 该模型在边界框和掩码质量方面表现强劲，但难以始终将目标定位到正确的参考类别，表明对训练类别存在过拟合。
• 在实例更密集、场景更混乱的情况下性能下降，突显在拥挤环境中的鲁棒性需求。
• 该方法为一次性实例分割提供了稳健的基线，并展示了在不重新训练的情况下对未见类别的泛化能力。