[论文解读] Weak-shot Semantic Segmentation by Transferring Semantic Affinity and Boundary

Siyuan Zhou, Li Niu+3 more|arXiv (Cornell University)|Oct 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 6

一句话总结

本文提出 RETAB，一种新颖的弱样本语义分割方法，通过将完全标注的基类别中的类别无关语义亲和力与边界知识迁移至新类别，仅使用图像级标签即可提升新类别的分割性能。通过利用基类别的像素级标注训练边界网络与混合监督亲和力网络，RETAB 采用边界感知的两阶段传播机制对类激活图（CAM）进行优化，在 PASCAL VOC 2012 上实现了最先进性能，新类别 mIoU 达到完全监督上限的 83.7–97.5%。

ABSTRACT

Weakly-supervised semantic segmentation (WSSS) with image-level labels has been widely studied to relieve the annotation burden of the traditional segmentation task. In this paper, we show that existing fully-annotated base categories can help segment objects of novel categories with only image-level labels, even if base categories and novel categories have no overlap. We refer to this task as weak-shot semantic segmentation, which could also be treated as WSSS with auxiliary fully-annotated categories. Recent advanced WSSS methods usually obtain class activation maps (CAMs) and refine them by affinity propagation. Based on the observation that semantic affinity and boundary are class-agnostic, we propose a method under the WSSS framework to transfer semantic affinity and boundary from base to novel categories. As a result, we find that pixel-level annotation of base categories can facilitate affinity learning and propagation, leading to higher-quality CAMs of novel categories. Extensive experiments on PASCAL VOC 2012 dataset prove that our method significantly outperforms WSSS baselines on novel categories.

研究动机与目标

• 解决弱监督语义分割（WSSS）在缺乏任何像素级标注的情况下难以泛化至新类别的问题。
• 探究是否可利用完全标注的基类别知识，提升仅具有图像级监督的新类别分割性能。
• 提出一种新范式——弱样本语义分割，即利用基类别的标注作为辅助监督，以增强新类别的分割性能。
• 开发一种方法，将基类别中的类别无关语义亲和力与边界信息迁移至新类别，以改善 CAM 优化。

提出的方法

• 在基类别样本上使用真实分割标签训练边界网络，以预测语义边界，进而用于识别置信与非置信像素，以改善亲和力学习。
• 采用混合监督方式训练亲和力网络，结合基类别样本的真实标签与新类别样本的 CAM，学习像素对之间的语义亲和力。
• 采用两阶段传播策略，整合学习到的语义边界与亲和力，以优化初始 CAM，提升响应扩展与边界定位能力。
• 置信度感知的亲和力学习将边界像素视为非置信，非边界像素视为置信，从而降低新类别中亲和力估计的噪声。
• 边界感知的随机游走传播利用迁移的边界与学习到的亲和力，生成更精确的伪分割掩码。
• 将框架集成至现有 WSSS 基线模型（如 PSA、SEAM、CPN）中，通过用 RETAB 的两阶段传播替代标准随机游走，同时保持原始网络结构不变。

实验结果

研究问题

• RQ1 类别无关的语义亲和力与边界知识能否有效从完全标注的基类别迁移至仅具有图像级标签的新类别，以提升其分割性能？
• RQ2 从基类别迁移边界与亲和力信息是否能带来更准确、更具边界感知能力的 CAM 优化？
• RQ3 与标准 WSSS 基线及朴素弱样本基线相比，所提出的 RETAB 方法在新类别上的分割性能如何？
• RQ4 RETAB 在基类别图像背景中出现的新类别，或仅具备有限基类别标注的新类别上，其泛化能力如何？

主要发现

• RETAB 在新类别上的表现显著优于标准 WSSS 基线，在 PASCAL VOC 2012 上 mIoU 达到完全监督上限（Fully Oracle）的 83.7–97.5%。
• 该方法在基类别上恢复了 97.7–100% 的完全监督性能，证明了知识迁移的有效性。
• 可视化结果表明，RETAB 生成的伪分割掩码比标准随机游走更贴合物体边界，尤其在复杂或细粒度区域表现更优。
• 消融实验表明，边界迁移与亲和力学习均对性能提升有显著贡献，其中边界感知传播尤为有效。
• RETAB 在基图像背景中出现的新类别上泛化良好，仅通过一次自训练步骤即可实现性能提升。
• 即使仅提供少量基样本，该方法仍保持高效，展现出强大的少样本迁移数据效率。