[论文解读] PCAMs: Weakly Supervised Semantic Segmentation Using Point Supervision

R. Austin McEver, B. S. Manjunath|arXiv (Cornell University)|Jul 10, 2020

Advanced Neural Network Applications参考文献 48被引用 11

一句话总结

本文提出PCAMs，一种仅使用点级标注的弱监督语义分割新方法，通过点监督训练类别激活图，并利用IRNet对激活图进行精炼以生成伪分割标签。该方法在PASCAL VOC 2012数据集上达到最先进性能，优于使用更强监督信号（如边界框和草图）的方法。

ABSTRACT

Current state of the art methods for generating semantic segmentation rely heavily on a large set of images that have each pixel labeled with a class of interest label or background. Coming up with such labels, especially in domains that require an expert to do annotations, comes at a heavy cost in time and money. Several methods have shown that we can learn semantic segmentation from less expensive image-level labels, but the effectiveness of point level labels, a healthy compromise between all pixels labelled and none, still remains largely unexplored. This paper presents a novel procedure for producing semantic segmentation from images given some point level annotations. This method includes point annotations in the training of a convolutional neural network (CNN) for producing improved localization and class activation maps. Then, we use another CNN for predicting semantic affinities in order to propagate rough class labels and create pseudo semantic segmentation labels. Finally, we propose training a CNN that is normally fully supervised using our pseudo labels in place of ground truth labels, which further improves performance and simplifies the inference process by requiring just one CNN during inference rather than two. Our method achieves state of the art results for point supervised semantic segmentation on the PASCAL VOC 2012 dataset \cite{everingham2010pascal}, even outperforming state of the art methods for stronger bounding box and squiggle supervision.

研究动机与目标

• 通过利用点级标注作为实际替代方案，解决语义分割中像素级标注的高昂成本问题。
• 通过将点标注整合到类别激活图训练中，提升弱监督语义分割中的定位精度。
• 开发一种方法，仅使用稀疏且低成本的点标注，即可实现接近全监督模型的性能。
• 通过在点监督激活图生成的伪标签上训练单一全监督网络，简化推理过程。

提出的方法

• 使用点监督训练CNN以生成点对比激活图（PCAMs），其中每个点的类别标签引导特征图中的定位。
• 利用IRNet通过转移矩阵建模语义相似性，对PCAMs进行精炼，实现空间位置间的标签传播。
• 通过阈值化和后处理操作，从精炼后的PCAMs生成伪语义分割标签。
• 使用伪标签作为真实标签，训练全监督语义分割网络（如DeepLabv3+），实现端到端推理，仅依赖单一网络。
• 采用ResNet-50主干网络进行特征提取，并应用标准训练协议，包括学习率、权重衰减和优化器设置。
• 通过上采样与类别相关权重向量融合，从最后一个卷积层生成最终热力图。

实验结果

研究问题

• RQ1 与图像级监督相比，点监督是否能显著提升弱监督语义分割中的定位性能？
• RQ2 将点级标注整合到类别激活图训练中，对提升特征定位效果有多有效？
• RQ3 精炼后的PCAMs能否生成高质量的伪分割标签，使全监督网络达到最先进性能？
• RQ4 所提方法是否优于使用更强监督信号（如边界框或草图）的现有方法？

主要发现

• PCAMs在PASCAL VOC 2012验证集上达到87.1%的平均交并比（mIOU），超越了点监督下的先前最先进方法。
• 该方法优于使用草图监督的最先进方法（Tang et al., 2021），甚至超过近期基于边界框监督的方法（Song et al., 2022）。
• 与标准CAMs相比，精炼后的PCAMs性能提升达11.1%，而精炼前仅提升8.4%。
• 在伪标签上训练的最终模型性能达到全监督模型的89.9%，表明其在极低监督下具备强大的泛化能力。
• 定性对比显示，该方法显著减少了误报并提升了边界对齐效果，与全监督模型表现相近。