[论文解读] TransFGU: A Top-down Approach to Fine-Grained Unsupervised Semantic Segmentation

Zhaoyuan Yin, Pichao Wang+5 more|arXiv (Cornell University)|Dec 2, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

TransFGU 提出了一种新颖的自顶向下无监督语义分割框架，利用自监督预训练视觉变换器（如 DINO）从 ImageNet 中提取高层语义先验，通过 Grad-CAM 将其映射到低层特征以生成伪标签，并通过自 bootstrapping 机制迭代优化分割结果。该方法在多个基准测试中取得了最先进性能，在细粒度、复杂场景分割任务中优于现有自底向上方法。

ABSTRACT

Unsupervised semantic segmentation aims to obtain high-level semantic representation on low-level visual features without manual annotations. Most existing methods are bottom-up approaches that try to group pixels into regions based on their visual cues or certain predefined rules. As a result, it is difficult for these bottom-up approaches to generate fine-grained semantic segmentation when coming to complicated scenes with multiple objects and some objects sharing similar visual appearance. In contrast, we propose the first top-down unsupervised semantic segmentation framework for fine-grained segmentation in extremely complicated scenarios. Specifically, we first obtain rich high-level structured semantic concept information from large-scale vision data in a self-supervised learning manner, and use such information as a prior to discover potential semantic categories presented in target datasets. Secondly, the discovered high-level semantic categories are mapped to low-level pixel features by calculating the class activate map (CAM) with respect to certain discovered semantic representation. Lastly, the obtained CAMs serve as pseudo labels to train the segmentation module and produce the final semantic segmentation. Experimental results on multiple semantic segmentation benchmarks show that our top-down unsupervised segmentation is robust to both object-centric and scene-centric datasets under different semantic granularity levels, and outperforms all the current state-of-the-art bottom-up methods. Our code is available at \url{https://github.com/damo-cv/TransFGU}.

研究动机与目标

• 解决自底向上无监督方法在处理具有视觉相似或高度可变物体的细粒度、复杂场景时的局限性。
• 通过引入可配置的聚类数（K）实现对无监督分割语义粒度的灵活控制。
• 通过学习的语义先验和类别激活图，弥合高层语义概念与低层像素特征之间的鸿沟。
• 通过利用自监督预训练和迭代伪标签优化，提升无监督设定下的分割精度。

提出的方法

• 利用 DINO 学习的视觉变换器特征，以自监督方式从 ImageNet 数据中提取鲁棒的高层语义先验。
• 采用基于聚类的方法，利用预训练特征的语义相似性，在目标数据集中发现潜在的语义类别。
• 通过 Grad-CAM 将高层语义表征投影到低层特征图，生成类别特定的激活图作为伪标签。
• 采用自 bootstrapping 机制，通过使用更新后的预测结果重新训练分割头，迭代优化伪标签质量。
• 引入前景-背景图块分离策略，以提升语义特征聚类的质量。
• 通过允许用户定义 K（所需语义类别的数量），支持灵活的语义粒度控制，实现细粒度或粗粒度分割。

实验结果

研究问题

• RQ1 使用预训练语义先验的自顶向下方法是否能在细粒度语义分割中超越自底向上的无监督方法？
• RQ2 基于 DINO 的自监督特征作为无监督像素级分类的语义先验，其有效性如何？
• RQ3 自监督预训练方法的选择（如 DINO 与 MoCoV3）在多大程度上影响下游分割性能？
• RQ4 前景感知的图块分离如何改善聚类质量和分割精度？
• RQ5 该方法是否能在不重新训练的情况下泛化到不同语义粒度级别？

主要发现

• 在 COCO-Stuff-171 上，TransFGU 的 mIoU 达到 11.93，在 Pascal-VOC 上达到 37.68（K=25），优于最先进自底向上的无监督方法。
• 该方法在不同语义粒度级别下，对以物体为中心（如 LIP）和以场景为中心（如 Cityscapes）的数据集均表现出鲁棒性。
• 使用 8x8 图块大小的 DINO 模型性能显著优于 16x16 图块（mIoU 分别为 11.93 和 9.43），凸显了先验模型中特征分辨率的重要性。
• 将 DINO 替换为 MoCoV3 导致性能急剧下降（mIoU=2.32），表明自监督预训练方法对语义先验质量具有决定性影响。
• 真实标签裁剪仅将 mIoU 从 11.93 略微提升至 12.16，表明滑动窗口裁剪已能捕获足够的语义信息。
• 移除前景先验后，COCO-Stuff-171 上的 mIoU 从 11.93 降至 9.52，证实其在提升聚类质量方面的重要性。