[论文解读] Prior Guided Feature Enrichment Network for Few-Shot Segmentation

Zhuotao Tian, Hengshuang Zhao+4 more|arXiv (Cornell University)|Aug 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用 48

一句话总结

PFENet 引入一个从高层次特征生成的训练-free 先验掩码，以及一个 Feature Enrichment Module 来自适应地将支持信息与查询特征融合，在 PASCAL-5i 和 COCO 上实现最先进的少样本分割，且无需额外的训练成本。

ABSTRACT

State-of-the-art semantic segmentation methods require sufficient labeled data to achieve good results and hardly work on unseen classes without fine-tuning. Few-shot segmentation is thus proposed to tackle this problem by learning a model that quickly adapts to new classes with a few labeled support samples. Theses frameworks still face the challenge of generalization ability reduction on unseen classes due to inappropriate use of high-level semantic information of training classes and spatial inconsistency between query and support targets. To alleviate these issues, we propose the Prior Guided Feature Enrichment Network (PFENet). It consists of novel designs of (1) a training-free prior mask generation method that not only retains generalization power but also improves model performance and (2) Feature Enrichment Module (FEM) that overcomes spatial inconsistency by adaptively enriching query features with support features and prior masks. Extensive experiments on PASCAL-5$^i$ and COCO prove that the proposed prior generation method and FEM both improve the baseline method significantly. Our PFENet also outperforms state-of-the-art methods by a large margin without efficiency loss. It is surprising that our model even generalizes to cases without labeled support samples. Our code is available at https://github.com/Jia-Research-Lab/PFENet/.

研究动机与目标

• 解决在少样本分割中对基类训练得到的高层特征过度依赖导致的泛化损失。
• 通过自适应特征强化来缓解查询和支持目标之间的空间不一致。
• 开发一个基于高层特征的训练无关先验掩码生成器，在不损害泛化性的情况下引导分割。
• 提出一个多尺度的 Feature Enrichment Module (FEM)，在各尺度上利用支持特征和先验来 refine 查询特征。
• 在标准基准上展示最先进的性能，采用高效模型并通过消融分析组件。

提出的方法

• 提出一个训练无关的先验生成方法，将 ImageNet 预训练的高层特征转换为像素级先验掩码 YQ，通过计算查询特征与支持特征之间的最大余弦相似性并对结果进行归一化。
• 开发一个 Feature Enrichment Module (FEM)：(i) 通过在多尺度上合并查询、支持和先验来进行跨源丰富；(ii) 通过自上而下的信息路径实现跨尺度交互，将细尺度信息传播到更粗的尺度；(iii) 将跨尺度的信息聚集到 refine 的查询特征上，并提供中间监督以指导学习。
• 将先验生成与 FEM 集成到 PFENet 体系结构中，共享一个骨干网络（ImageNet 预训练）来提取支持和查询的中层特征，并用高层特征生成先验。
• 使用 1x1 卷积降低通道数，采用多尺度池化来创建 FEM 输入，最后的分类头输出像素级预测。
• 用交叉熵损失进行训练，结合来自 FEM 各尺度的中间损失和最终损失，使用平衡系数进行权衡，同时不更新骨干参数。

实验结果

研究问题

• RQ1 一个训练无关的高层特征先验是否能够提高少样本分割对未见类别的泛化？
• RQ2 多尺度的 Feature Enrichment Module 是否能有效解决查询与支持样本之间的空间不一致？
• RQ3 高层先验和 FEM 如何协同工作以提升在标准少样本分割基准上的性能？
• RQ4 PFENet 是否能够在保持效率和泛化性的同时，在 PASCAL-5i 和 COCO 上超越现有方法？
• RQ5 该方法是否能够推广到有少量或无标记支持样本的设置？

主要发现

• PFENet 在 PASCAL-5i 和 COCO 上实现了最先进的结果，并且未带来效率损失。
• 训练无关的先验生成通过以与类无关的方式利用高层特征来提升分割精度，同时保持泛化性。
• FEM 相较于传统的多尺度结构（PPM、ASPP）提供了更优的增益，因为它实现了有条件的跨尺度与跨源交互。
• PFENet 在可学习参数很少的情况下表现出强劲的性能（基于 VGG 的模型低至 10.4M，基于 ResNet 的模型低至 10.8M）。
• 该模型在无标注支持样本的零样本类似情形中也显示出非平凡的性能，凸显先验与强化方法的鲁棒性。