[论文解读] Weakly-supervised Salient Instance Detection

Xin Tian, Ke Xu+3 more|arXiv (Cornell University)|Sep 29, 2020

Visual Attention and Saliency Detection参考文献 50被引用 12

一句话总结

本文提出了首个弱监督显著实例检测（SID）方法WSID-Net，该方法仅使用图像级别类别标签和计数（subitizing）标签，而无需像素级标注。该方法采用三分支网络结构，包含显著性检测、边界划分和中心点检测分支，并通过边界增强模块和一种新颖的基于中心点的计数损失进行增强，实现了在基准数据集上的最先进性能，mAP达到61.9%，F-measure达到47.2%。

ABSTRACT

Existing salient instance detection (SID) methods typically learn from pixel-level annotated datasets. In this paper, we present the first weakly-supervised approach to the SID problem. Although weak supervision has been considered in general saliency detection, it is mainly based on using class labels for object localization. However, it is non-trivial to use only class labels to learn instance-aware saliency information, as salient instances with high semantic affinities may not be easily separated by the labels. We note that subitizing information provides an instant judgement on the number of salient items, which naturally relates to detecting salient instances and may help separate instances of the same class while grouping different parts of the same instance. Inspired by this insight, we propose to use class and subitizing labels as weak supervision for the SID problem. We propose a novel weakly-supervised network with three branches: a Saliency Detection Branch leveraging class consistency information to locate candidate objects; a Boundary Detection Branch exploiting class discrepancy information to delineate object boundaries; and a Centroid Detection Branch using subitizing information to detect salient instance centroids. This complementary information is further fused to produce salient instance maps. We conduct extensive experiments to demonstrate that the proposed method plays favorably against carefully designed baseline methods adapted from related tasks.

研究动机与目标

• 为解决显著实例检测（SID）领域中缺乏弱监督方法的问题，传统方法通常需要昂贵的像素级标注。
• 探究计数（subitizing）信息是否可作为有效的弱监督信号，用于区分同一类别的不同实例，并将单个实例的各个部分关联起来。
• 设计一种统一的深度学习框架，仅使用图像级别标签联合学习显著性、边界和实例中心点。
• 通过利用类别一致性、类别差异性和实例计数之间的互补信号，提升实例级别的显著性检测性能。

提出的方法

• 提出WSID-Net，一种三分支网络：显著性检测分支利用类别一致性来定位候选目标，边界检测分支利用类别差异性来优化目标边界，中心点检测分支利用计数信号来检测实例中心。
• 提出一种新颖的基于中心点的计数损失（$\mathcal{L}_{\mathcal{SU}}$），通过回归中心点位置来促使模型正确预测显著实例的数量。
• 采用边界增强（BE）模块，通过多尺度特征聚合来提升边界定位的准确性。
• 使用双重注意力（DA）模块，通过建模长距离依赖关系和空间上下文信息来增强特征表示。
• 通过可学习的融合模块将三个分支的预测结果进行融合，生成最终的显著实例图。
• 仅使用图像级别类别标签和计数标签进行端到端训练，避免了对像素级掩码的依赖。

实验结果

研究问题

• RQ1 当仅有类别标签时，计数信息是否能有效引导实例感知的显著性检测？
• RQ2 如何结合来自类别标签和计数标签的弱监督信号，以检测并分离出单个显著实例？
• RQ3 具有专门用于显著性、边界和中心点的多分支架构是否能提升实例检测性能？
• RQ4 所提出的模块——边界增强模块和双重注意力模块——在边界准确性和实例分离方面分别贡献了多少？

主要发现

• 所提出的WSID-Net在标准SID基准数据集上实现了61.9%的mAP和47.2%的F-measure，优于所有弱监督基线方法以及最先进全监督方法。
• 消融实验表明，每个组件（BE模块、DA模块和$\mathcal{L}_{\mathcal{SU}}$）均对性能有逐步提升作用，完整模型展现出最高性能增益。
• 定性结果表明，WSID-Net能够成功分离同一类别的不同实例，并在复杂场景中准确划分边界。
• 得益于计数监督，该方法在具有高语义相似性的挑战性案例中也表现出良好的泛化能力，能够实现实例计数。
• 失败案例通常出现在显著性检测分支因复杂背景而未能准确定位显著区域时，表明其性能对初始显著性预测质量存在依赖。