[论文解读] SSA: Semantic Structure Aware Inference for Weakly Pixel-Wise Dense Predictions without Cost

Yanpeng Sun, Zechao Li|arXiv (Cornell University)|Nov 5, 2021

Advanced Neural Network Applications参考文献 42被引用 9

一句话总结

本文提出语义结构感知推理（SSA），一种无需参数的改进方法，通过在推理阶段利用CNN主干网络多个阶段的语义结构信息，提升类激活图（CAMs）在弱监督像素级密集预测中的性能。无需训练或额外参数，SSA通过结构化特征优化提升CAM质量，在弱监督目标定位与语义分割基准上均达到最先进性能。

ABSTRACT

The pixel-wise dense prediction tasks based on weakly supervisions currently use Class Attention Maps (CAM) to generate pseudo masks as ground-truth. However, the existing methods typically depend on the painstaking training modules, which may bring in grinding computational overhead and complex training procedures. In this work, the semantic structure aware inference (SSA) is proposed to explore the semantic structure information hidden in different stages of the CNN-based network to generate high-quality CAM in the model inference. Specifically, the semantic structure modeling module (SSM) is first proposed to generate the class-agnostic semantic correlation representation, where each item denotes the affinity degree between one category of objects and all the others. Then the structured feature representation is explored to polish an immature CAM via the dot product operation. Finally, the polished CAMs from different backbone stages are fused as the output. The proposed method has the advantage of no parameters and does not need to be trained. Therefore, it can be applied to a wide range of weakly-supervised pixel-wise dense prediction tasks. Experimental results on both weakly-supervised object localization and weakly-supervised semantic segmentation tasks demonstrate the effectiveness of the proposed method, which achieves the new state-of-the-art results on these two tasks.

研究动机与目标

• 解决现有CAM增强方法需额外训练、参数或复杂超参数调优的局限性。
• 在不增加训练成本的前提下，提升弱监督像素级密集预测任务中类激活图（CAMs）的质量。
• 利用深层CNN特征图中隐藏的跨类别特征相关性（即语义结构信息），挖掘多主干阶段的语义结构信息。
• 开发一种即插即用的推理时模块，实现对任意基于CNN模型的CAM通用增强。
• 在弱监督目标定位与语义分割任务上实现最先进性能，且计算开销极低。

提出的方法

• 使用标准预训练图像分类网络生成初始CAM。
• 在多个主干网络阶段应用无参数的语义结构建模（SSM）模块，计算不同类别之间的类无关语义相关性表征。
• SSM计算每个类别与其他所有类别之间的亲和度分数，捕捉特征图中的结构化关系。
• 利用结构化表征通过点积操作对初始CAM进行优化，提升空间完整性与定位精度。
• 将不同阶段生成的优化CAM进行融合，输出最终高质量CAM。
• 整个过程仅在推理阶段执行，无需微调或引入额外参数。

实验结果

研究问题

• RQ1 能否在不训练或更新参数的前提下，利用深层CNN特征图中的语义结构信息提升CAM质量？
• RQ2 在不同主干阶段整合多尺度语义结构信息，如何影响弱监督密集预测中的CAM优化？
• RQ3 无参数、仅推理的模块能否在弱监督目标定位与语义分割任务中超越现有依赖训练的CAM增强方法？
• RQ4 所提方法是否能在无需任务特定超参数调优的前提下，泛化至不同主干架构与数据集？
• RQ5 语义结构的使用在多大程度上提升了弱监督语义分割中伪掩码的覆盖范围与准确性？

主要发现

• 在CUB-200-2011数据集上，使用InceptionV3的CAM + SSA达到44.9%的top-1错误率与25.5%的top-5错误率，优于先前SOTA方法。
• 在同一数据集上，使用VGG16的CAM + SSA达到44.9%的top-1错误率与29.1%的top-5错误率，优于基线CAM及其他SOTA方法。
• 使用VGG16时，SPA + SSA达到38.1%的top-1错误率与19.4%的top-5错误率，显著优于SPA+SCG与IRNet。
• 在PASCAL VOC 2012数据集上，IRNet + SSA在验证集上达到67.4%的mIoU，在测试集上达到67.9%的mIoU，优于所有基线方法，包括使用边界框监督的BoxSup与SDI。
• 消融实验表明，多阶段特征融合与SSM模块对性能提升至关重要，最佳结果在融合多个主干阶段表征时取得。