[论文解读] Weak-shot Semantic Segmentation via Dual Similarity Transfer

Junjie Chen, Li Niu+4 more|arXiv (Cornell University)|Oct 5, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 SimFormer，一种用于弱样本语义分割的双相似性迁移框架，通过利用基础类别的像素级标注和新类别的图像级标签，实现从基础类别到新类别的提议-像素相似性迁移，并蒸馏与类别无关的像素-像素相似性，从而在无需完整监督的情况下实现精确的掩码预测，在 COCO-Stuff-10K 和 ADE20K 上达到最先进性能。

ABSTRACT

Semantic segmentation is an important and prevalent task, but severely suffers from the high cost of pixel-level annotations when extending to more classes in wider applications. To this end, we focus on the problem named weak-shot semantic segmentation, where the novel classes are learnt from cheaper image-level labels with the support of base classes having off-the-shelf pixel-level labels. To tackle this problem, we propose SimFormer, which performs dual similarity transfer upon MaskFormer. Specifically, MaskFormer disentangles the semantic segmentation task into two sub-tasks: proposal classification and proposal segmentation for each proposal. Proposal segmentation allows proposal-pixel similarity transfer from base classes to novel classes, which enables the mask learning of novel classes. We also learn pixel-pixel similarity from base classes and distill such class-agnostic semantic similarity to the semantic masks of novel classes, which regularizes the segmentation model with pixel-level semantic relationship across images. In addition, we propose a complementary loss to facilitate the learning of novel classes. Comprehensive experiments on the challenging COCO-Stuff-10K and ADE20K datasets demonstrate the effectiveness of our method. Codes are available at https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation.

研究动机与目标

• 通过利用更便宜的图像级标签来学习新类别，解决语义分割中像素级掩码的高标注成本问题。
• 克服先前方法需要背景类别掩码或在现成数据集中排除新类别的局限性。
• 为现实世界应用中的数据集扩展开发一种实用且可扩展的框架。
• 通过相似性迁移和结构正则化提升新类别的掩码质量。

提出的方法

• 将 MaskFormer 适配为将语义分割解耦为提议分类和提议分割两个子任务。
• 将基础类别的提议-像素相似性迁移至新类别，实现在无真实掩码的情况下进行掩码预测。
• 从基础类别中学习并蒸馏与类别无关的像素-像素相似性，以正则化图像间的语义关系。
• 引入互补损失，通过鼓励正确分配新类别提议来增强掩码学习。
• 使用可学习的相似性网络（SimNet）估计参考图像与查询图像之间的像素级相似性。
• 应用知识蒸馏，将基础类别的像素-像素相似性迁移至新类别，提升泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 仅依赖图像级监督，从基础类别迁移提议-像素相似性是否能有效预测新类别的掩码？
• RQ2 从基础类别中学习的与类别无关的像素-像素相似性是否能提升新类别的分割质量与泛化能力？
• RQ3 在弱样本设置下，双相似性迁移与单监督或基线少样本方法相比表现如何？
• RQ4 互补损失对新类别掩码学习和模型鲁棒性的影响是什么？
• RQ5 当扩展到更多新类别或在真实世界数据集扩展场景中，该方法的泛化能力如何？

主要发现

• SimFormer 在 COCO-Stuff-10K 和 ADE20K 上达到最先进性能，优于现有弱样本和少样本方法。
• 仅互补损失在 COCO-Stuff-10K 上即提升 mIoU 1.8%，证明其在引导新类别掩码学习方面的有效性。
• 双相似性迁移（提议-像素与像素-像素）相比基线方法在 COCO-Stuff-10K 上带来 3.2% 的 mIoU 提升。
• 模型对超参数 β 和 γ 具备鲁棒性，在合理取值范围内性能保持稳定。
• 可视化结果表明，迁移后的像素-像素相似性能够捕捉图像间有意义的语义关系，即使对小尺寸或细粒度物体亦然。
• 失败案例揭示了在细粒度类别上提议分类的局限性以及对小物体弱监督的不足，表明在注意力机制和定位能力方面仍有改进空间。