[论文解读] Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation

Qi Yao, Xiaojin Gong|arXiv (Cornell University)|Oct 12, 2019

Advanced Neural Network Applications参考文献 46被引用 10

一句话总结

本文提出了一种显著性引导的自注意力网络（SGAN），用于弱监督和半监督语义分割，通过整合类无关的显著性图与类特定的注意力线索，引导自注意力机制并防止激活的错误扩散。该方法在PASCAL VOC 2012和COCO数据集上实现了最先进性能，在弱监督设置下达到64.2%的mIoU，并通过用部分标注替换先验，在半监督设置中展现出强大的泛化能力。

ABSTRACT

Weakly supervised semantic segmentation (WSSS) using only image-level labels can greatly reduce the annotation cost and therefore has attracted considerable research interest. However, its performance is still inferior to the fully supervised counterparts. To mitigate the performance gap, we propose a saliency guided self-attention network (SGAN) to address the WSSS problem. The introduced self-attention mechanism is able to capture rich and extensive contextual information but may mis-spread attentions to unexpected regions. In order to enable this mechanism to work effectively under weak supervision, we integrate class-agnostic saliency priors into the self-attention mechanism and utilize class-specific attention cues as an additional supervision for SGAN. Our SGAN is able to produce dense and accurate localization cues so that the segmentation performance is boosted. Moreover, by simply replacing the additional supervisions with partially labeled ground-truth, SGAN works effectively for semi-supervised semantic segmentation as well. Experiments on the PASCAL VOC 2012 and COCO datasets show that our approach outperforms all other state-of-the-art methods in both weakly and semi-supervised settings.

研究动机与目标

• 为缩小全监督与弱监督语义分割之间的性能差距，减少对昂贵像素级标注的依赖。
• 缓解弱监督下自注意力机制中注意力错误扩散至背景或其他物体区域的问题，尤其是当判别性部分错误激活背景或其它物体区域时。
• 通过融合类无关的显著性先验与类特定的注意力线索，提升种子定位质量，实现更精确且密集的物体定位。
• 通过将显著性与注意力先验替换为部分真实分割掩码，使同一架构能够有效泛化至半监督学习。

提出的方法

• 将自注意力机制整合进弱监督分割框架，以捕捉长距离上下文依赖关系。
• 使用类无关的显著性图作为空间先验，约束注意力传播，防止其扩散至背景区域。
• 引入类特定的注意力线索作为额外监督，减少前景物体之间的类别间注意力混淆。
• 采用双分支网络结构，包含一个种子分割分支与一个图像分类分支，通过加权损失函数联合训练分类与种子监督任务。
• 在自注意力模块内自适应融合显著性与注意力先验，以提升定位精度。
• 通过在相同训练框架中用部分真实分割掩码替换显著性与注意力先验，实现半监督学习。

实验结果

研究问题

• RQ1 自注意力机制是否能在不引发对背景或其它类别错误扩散的前提下，有效捕捉弱监督语义分割中的长距离上下文？
• RQ2 在缺乏密集监督的情况下，类无关的显著性图在多大程度上能提升基于注意力的定位可靠性？
• RQ3 类特定的注意力线索在多大程度上能减少类别间注意力混淆并提升种子质量？
• RQ4 通过将先验替换为部分标注，能否有效将同一架构在弱监督下训练的模型适配至半监督学习？

主要发现

• 所提出的SGAN在PASCAL VOC 2012验证集上实现了64.2%的mIoU，优于所有先前的最先进方法。
• 完整SGAN模型在种子质量上达到73.0的F-measure，显著优于基线模型（61.5）及其他变体，表明其在种子定位精度与召回率方面表现更优。
• 消融实验表明，同时结合显著性与类特定注意力线索可获得最高mIoU（64.2%），证明两类先验具有互补优势。
• 种子损失的最优权重因子λ = 0.15，此时分割性能最佳，当λ过高或过低时mIoU均下降。
• 该方法对显著性检测器的选择具有鲁棒性，在S-Net、DSS与DHSNet上分别达到64.2%、64.0%与63.7%的mIoU，表明对显著性质量的敏感度较低。
• SGAN通过将先验替换为部分真实分割掩码，有效泛化至半监督学习，在无需架构修改的情况下保持了强劲性能。