[论文解读] Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation

Tianfei Zhou, Meijie Zhang+2 more|arXiv (Cornell University)|Mar 17, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出区域语义对比与聚合（RCA），一种仅使用图像级标签的弱监督语义分割新方法。RCA 利用持续更新的伪区域记忆库，实现数据集级别的语义对比与聚合，显著提升目标定位与表征学习性能，在 PASCAL VOC 2012 上取得 73.2% 的新最先进 mIoU 分数，在 COCO 2014 上达到 72.8%。

ABSTRACT

Learning semantic segmentation from weakly-labeled (e.g., image tags only) data is challenging since it is hard to infer dense object regions from sparse semantic tags. Despite being broadly studied, most current efforts directly learn from limited semantic annotations carried by individual image or image pairs, and struggle to obtain integral localization maps. Our work alleviates this from a novel perspective, by exploring rich semantic contexts synergistically among abundant weakly-labeled training data for network learning and inference. In particular, we propose regional semantic contrast and aggregation (RCA) . RCA is equipped with a regional memory bank to store massive, diverse object patterns appearing in training data, which acts as strong support for exploration of dataset-level semantic structure. Particularly, we propose i) semantic contrast to drive network learning by contrasting massive categorical object regions, leading to a more holistic object pattern understanding, and ii) semantic aggregation to gather diverse relational contexts in the memory to enrich semantic representations. In this manner, RCA earns a strong capability of fine-grained semantic understanding, and eventually establishes new state-of-the-art results on two popular benchmarks, i.e., PASCAL VOC 2012 and COCO 2014.

研究动机与目标

• 解决在弱监督语义分割中，仅从稀疏图像级标签学习密集目标定位的挑战。
• 通过利用整个训练数据集的全局语义结构，克服单图或成对上下文建模的局限性。
• 通过从大量弱标注数据中挖掘丰富多样的上下文知识，提升特征表征学习与 CAM 基于的定位性能。
• 开发一种记忆增强框架，实现有效、可扩展且鲁棒的弱监督学习语义对比与聚合。

提出的方法

• RCA 引入一个区域记忆库，用于存储并持续更新来自所有训练图像的伪区域特征，捕捉数据集中多样的物体模式。
• 通过将记忆库中同类别的嵌入拉近、异类别的嵌入推开，实现语义对比，增强判别性表征学习。
• 通过非参数注意力机制实现语义聚合，为每张图像汇总相关记忆特征，将全局上下文知识融入局部表征。
• 利用粗粒度 CAM 预测生成每张图像的类别伪区域，进而在训练过程中计算对比与聚合信号。
• 该框架兼容标准分类主干网络，可无缝集成至现有弱监督分割流程中。
• 最终通过利用记忆库中聚合的上下文感知特征对 CAM 进行细化，生成最终的分割图，提升定位精度。

Figure 1 : The main idea promoted throughout the paper is that semantic contexts subserve localization of individual objects in WSSS. Our RCA thus performs dataset-level relation learning (c) to mine rich contextual knowledge from massive (ideally all) training samples, rather than from an individua

实验结果

研究问题

• RQ1 能否从大量弱标注数据中提取的数据集级别语义上下文，显著改善弱监督语义分割中的目标定位？
• RQ2 如何有效利用伪区域记忆库建模图像间语义关系，而无需密集监督？
• RQ3 数据集中跨区域的语义对比在多大程度上提升特征判别力与表征质量？
• RQ4 来自全局记忆库的语义聚合能否提升复杂场景中基于 CAM 定位的鲁棒性与准确性？
• RQ5 所提出的 RCA 框架是否在 PASCAL VOC 2012 和 COCO 2014 等标准基准上，仅使用图像级监督即达到最先进性能？

主要发现

• 当与 OAA++ 基线结合时，RCA 在 PASCAL VOC 2012 验证集上达到新的最先进 mIoU 73.2%，较基线提升 3.8%。
• 在 COCO 2014 验证集上，RCA 达到 72.8% 的 mIoU，较 EPS 基线提升 2.0%，较此前最先进方法提升 1.3%。
• 定性结果表明，该方法在小物体、尺度变化、遮挡和多实例等复杂情况下的泛化能力显著优越。
• 消融研究证实，语义对比与聚合两个组件均对性能提升有显著贡献，记忆库在捕捉长距离上下文依赖方面起关键作用。
• 所提出的 RCA 框架在多种主干网络（如 ResNet 和 VGG）与数据集上均持续优于现有方法，验证了其鲁棒性与可扩展性。
• RCA 生成的最终分割图显著优于中间的 CAM 预测结果，验证了聚合与精炼机制的有效性。

Figure 2 : Detailed illustration of regional semantic contrast and aggregation . See § 3 for more details.