[论文解读] Weakly Supervised Semantic Segmentation by Pixel-to-Prototype Contrast

Ye Du, Zehua Fu+2 more|arXiv (Cornell University)|Oct 14, 2021

Advanced Neural Network Applications参考文献 74被引用 11

一句话总结

本文提出一种弱监督语义分割方法，通过像素到原型的对比学习缩小图像级分类与像素级分割之间的监督差距。通过原型-based 对比学习实现跨视图特征一致性与类内紧凑性，该方法提升了初始伪掩码质量，并在不修改主干网络或增加推理成本的前提下，使 PASCAL VOC 2012 上的 mIoU 提升高达 6.13%。

ABSTRACT

Though image-level weakly supervised semantic segmentation (WSSS) has achieved great progress with Class Activation Maps (CAMs) as the cornerstone, the large supervision gap between classification and segmentation still hampers the model to generate more complete and precise pseudo masks for segmentation. In this study, we propose weakly-supervised pixel-to-prototype contrast that can provide pixel-level supervisory signals to narrow the gap. Guided by two intuitive priors, our method is executed across different views and within per single view of an image, aiming to impose cross-view feature semantic consistency regularization and facilitate intra(inter)-class compactness(dispersion) of the feature space. Our method can be seamlessly incorporated into existing WSSS models without any changes to the base networks and does not incur any extra inference burden. Extensive experiments manifest that our method consistently improves two strong baselines by large margins, demonstrating the effectiveness. Specifically, built on top of SEAM, we improve the initial seed mIoU on PASCAL VOC 2012 from 55.4% to 61.5%. Moreover, armed with our method, we increase the segmentation mIoU of EPS from 70.8% to 73.6%, achieving new state-of-the-art.

研究动机与目标

• 解决弱监督语义分割（WSSS）中图像级分类与像素级分割之间的监督差距问题。
• 通过引入像素级监督信号，提升基于 CAM 的初始伪掩码质量。
• 在不修改主干网络的前提下，实现对 SEAM 和 EPS 等强基线模型的一致性能提升。
• 构建一种对比学习框架，以实现跨视图的特征一致性与类内紧凑性。

提出的方法

• 提出统一的像素到原型对比学习公式，将像素拉向其正向原型，同时推离负向原型。
• 将原型定义为每种类别的代表性嵌入，从 CAM 中激活最高的像素中估计得出。
• 同时在视图之间（跨视图）和每个视图内部（视图内）执行对比学习，以正则化特征空间的一致性与紧凑性。
• 引入半硬原型挖掘与困难像素采样，以减少来自过度或不足激活 CAM 区域的噪声对比。
• 通过轻量级投影头将该方法集成到现有 WSSS 框架中，无需修改主干网络，也无需增加推理成本。
• 使用空间变换（缩放、翻转、旋转、平移）生成多个视图，以实现跨视图对比。

实验结果

研究问题

• RQ1 像素到原型的对比学习是否能有效缩小图像级 WSSS 中的监督差距？
• RQ2 跨视图与视图内对比学习如何协同提升伪掩码质量与分割性能？
• RQ3 在不改变网络架构的前提下，该方法在多大程度上可提升 SOTA 的 WSSS 模型（如 SEAM 和 EPS）？
• RQ4 该方法对超参数选择（如原型数量 K）的鲁棒性如何？

主要发现

• 在 PASCAL VOC 2012 上，该方法将 SEAM 的初始种子 mIoU 从 55.4% 提升至 61.5%，提升 6.13%。
• 应用于 EPS 时，该方法将分割 mIoU 从 70.8% 提升至 73.6%，达到新的 SOTA 性能。
• 消融实验证实，每个组件——跨原型对比、跨 CAM 对比、视图内对比、原型挖掘与困难像素采样——均对性能提升有显著贡献。
• 该方法对 K 的选择具有鲁棒性，最优性能出现在 K=32 时，在训练集上达到 61.54% 的 mIoU。
• 引入多种空间变换（缩放、翻转、旋转、平移）带来边际增益，当全部使用时达到最佳结果 61.63% mIoU。