[论文解读] Threshold Matters in WSSS: Manipulating the Activation for the Robust and Accurate Segmentation Model Against Thresholds

Minhyun Lee, Dongseob Kim+1 more|arXiv (Cornell University)|Mar 30, 2022

Advanced Neural Network Applications被引用 8

一句话总结

本文将弱监督语义分割（WSSS）中的关键瓶颈识别为分类激活图（CAM）后的全局阈值处理，而非稀疏物体覆盖问题。提出一种激活操控网络（AMN），通过逐像素分类与标签条件化机制，减少前景激活不平衡并增大前景-背景激活差距，从而生成对阈值选择不敏感的鲁棒且高精度伪掩码，实现PASCAL VOC 2012上的70.7% mIoU和MS COCO 2014上的44.7% mIoU新SOTA性能。

ABSTRACT

Weakly-supervised semantic segmentation (WSSS) has recently gained much attention for its promise to train segmentation models only with image-level labels. Existing WSSS methods commonly argue that the sparse coverage of CAM incurs the performance bottleneck of WSSS. This paper provides analytical and empirical evidence that the actual bottleneck may not be sparse coverage but a global thresholding scheme applied after CAM. Then, we show that this issue can be mitigated by satisfying two conditions; 1) reducing the imbalance in the foreground activation and 2) increasing the gap between the foreground and the background activation. Based on these findings, we propose a novel activation manipulation network with a per-pixel classification loss and a label conditioning module. Per-pixel classification naturally induces two-level activation in activation maps, which can penalize the most discriminative parts, promote the less discriminative parts, and deactivate the background regions. Label conditioning imposes that the output label of pseudo-masks should be any of true image-level labels; it penalizes the wrong activation assigned to non-target classes. Based on extensive analysis and evaluations, we demonstrate that each component helps produce accurate pseudo-masks, achieving the robustness against the choice of the global threshold. Finally, our model achieves state-of-the-art records on both PASCAL VOC 2012 and MS COCO 2014 datasets.

研究动机与目标

• 探究WSSS中的性能瓶颈是否源于CAM覆盖稀疏，或源于CAM后使用全局阈值。
• 分析为何全局阈值无法在不同图像间泛化，因其最优阈值因图像而异。
• 开发一种方法，生成高质量且对阈值不敏感的伪掩码，无需逐图像调整阈值。
• 仅使用图像级标签，通过操控激活图以减少不平衡并增大前景-背景差距，实现WSSS的SOTA性能。

提出的方法

• 提出一种激活操控网络（AMN），通过逐像素分类损失学习生成两级激活（前景为1，背景为0）。
• 引入标签条件化模块，强制伪掩码输出与真实图像级标签匹配，对非目标类别错误激活进行惩罚。
• 利用逐像素分类，同时惩罚高度判别性区域，并促进同一物体中判别性较弱的部分。
• 在经操控的激活图上应用全局阈值，由于激活差距增大，确保在不同阈值下性能一致。
• 分三阶段训练模型：预训练分类器，使用逐像素损失与标签条件化训练AMN，最后微调分割头。
• 在分类器中使用全局平均池化（GAP），但通过激活操控抵消其平均效应，避免对阈值敏感。

实验结果

研究问题

• RQ1 WSSS中的性能瓶颈是否源于CAM覆盖稀疏，或源于CAM后使用全局阈值？
• RQ2 为何全局阈值无法在图像间泛化，其最优阈值如何随图像变化？
• RQ3 能否通过操控激活图以减少不平衡并增大前景-背景差距，实现对阈值不敏感的伪掩码？
• RQ4 逐像素分类损失与标签条件化模块是否能协同提升伪掩码质量与鲁棒性？
• RQ5 所提出的AMN方法是否在PASCAL VOC 2012与MS COCO 2014等标准WSSS基准上实现SOTA性能？

主要发现

• CAM的最优阈值在图像间差异显著，在PASCAL VOC 2012训练集上分布广泛，表明全局阈值并非最优。
• 全局阈值可能导致掩码过于稀疏或过于密集，取决于图像内容，显示出其不稳定性。
• 所提出的AMN方法在PASCAL VOC 2012上达到70.7% mIoU（使用MS COCO预训练主干网络），创下图像级监督WSSS新SOTA。
• 在MS COCO 2014上，AMN实现44.7% mIoU，同样为新SOTA，证实其在大规模基准上的有效性。
• 该方法显著提升了以往困难类别（如“餐桌”从37.5%提升至53.8% mIoU，“电视”从54.9%提升至57.5% mIoU）的性能，证明对激活不平衡具有鲁棒性。
• 定性结果表明，模型实现完整物体覆盖并减少边界错误，尤其在复杂或视觉模糊物体上表现更优。