[论文解读] Self-Guided and Cross-Guided Learning for Few-Shot Segmentation

Bingfeng Zhang, Jimin Xiao+1 more|arXiv (Cornell University)|Mar 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用 10

一句话总结

该论文提出了一种名为自引导与交叉引导学习（SCL）的新框架，用于少样本图像分割，通过引入自引导模块从标注的支持图像中提取主要和辅助支持向量，缓解了掩码全局平均池化（GAP）导致的信息丢失问题。此外，还引入了交叉引导模块，实现基于支持图像质量的预测自适应融合，从而在 PASCAL-5i（1-shot 时为 61.8% mIoU，5-shot 时为 62.9%）和 COCO-20i（1-shot 时为 37.0%，5-shot 时为 39.9%）上实现了最先进性能。

ABSTRACT

Few-shot segmentation has been attracting a lot of attention due to its effectiveness to segment unseen object classes with a few annotated samples. Most existing approaches use masked Global Average Pooling (GAP) to encode an annotated support image to a feature vector to facilitate query image segmentation. However, this pipeline unavoidably loses some discriminative information due to the average operation. In this paper, we propose a simple but effective self-guided learning approach, where the lost critical information is mined. Specifically, through making an initial prediction for the annotated support image, the covered and uncovered foreground regions are encoded to the primary and auxiliary support vectors using masked GAP, respectively. By aggregating both primary and auxiliary support vectors, better segmentation performances are obtained on query images. Enlightened by our self-guided module for 1-shot segmentation, we propose a cross-guided module for multiple shot segmentation, where the final mask is fused using predictions from multiple annotated samples with high-quality support vectors contributing more and vice versa. This module improves the final prediction in the inference stage without re-training. Extensive experiments show that our approach achieves new state-of-the-art performances on both PASCAL-5i and COCO-20i datasets.

研究动机与目标

• 解决少样本分割中掩码全局平均池化（GAP）的关键局限性，该方法因平均操作而丢弃了判别性信息。
• 通过自引导机制挖掘丢失的前景信息，缓解标准 GAP 在 1-shot 分割中导致的性能下降。
• 通过实现多张支持图像预测的自适应融合，提升多样本分割性能，其中高质量预测贡献更大。
• 设计一种交叉引导模块，在不需模型微调或架构修改的情况下提升推理阶段性能。
• 在标准少样本分割基准上实现最先进结果，证明其在不同主干网络上的泛化能力。

提出的方法

• 提出自引导模块（SGM），先使用原型对支持图像进行初始预测，再利用掩码 GAP 提取主要（被覆盖）和辅助（未被覆盖）的前景特征向量。
• 通过两个交叉熵损失进行 SGM 训练：$\mathcal{L}_{ce}^{s1}$ 用于监督初始预测，$\mathcal{L}_{ce}^{s2}$ 用于通过将支持图像视为查询来优化辅助向量。
• 在推理阶段聚合主要和辅助支持向量，以超越基于标准 GAP 的原型，提升查询图像的分割性能。
• 引入交叉引导模块（CGM），在推理过程中利用其他支持图像作为参考，评估每张支持图像的预测质量。
• 在推理阶段应用加权融合策略，使高质量支持图像的预测获得更大贡献，且无需重新训练模型。
• 将 SGM 输出的联合支持向量输入查询网络，实现更丰富的特征聚合，从而提升分割性能。

实验结果

研究问题

• RQ1 能否通过利用支持图像上的初始预测，恢复少样本分割中因掩码 GAP 而丢失的判别性信息？
• RQ2 如何有效表示支持图像中被覆盖和未被覆盖的前景区域，以提升分割精度？
• RQ3 在多样本分割中，对多个支持图像预测进行动态、质量感知的融合，是否优于简单的平均融合？
• RQ4 能否通过后推理模块在不微调模型或修改架构的情况下提升分割性能？
• RQ5 所提出的 SGM 和 CGM 在标准少样本分割基准上的性能提升程度如何？

主要发现

• 所提出的自引导模块（SGM）仅使用初始支持向量，即在 1-shot 分割中将 mIoU 提升 2.1%，FB-IoU 提升 4.1%。
• 在 PASCAL-5i 上，完整 SCL 框架在 5-shot 分割中达到 59.2% mIoU，相比使用平均融合的基线模型提升 3.3%。
• 当与 SGM 结合时，交叉引导模块（CGM）使 mIoU 提升 0.5%，证明其在推理阶段优化中的有效性。
• 同时使用 $v_{pri}$ 和 $v_{aux}$ 向量的 SGM 可实现 57.5% mIoU，显著优于单独使用任一向量或基线模型，证明二者具有互补性。
• 消融实验证实 $\mathcal{L}_{ce}^{s1}$ 和 $\mathcal{L}_{ce}^{s2}$ 均不可或缺：仅使用其一会导致 mIoU 下降 1.9%。
• 该方法在 PASCAL-5i（1-shot 时为 61.8% mIoU，5-shot 时为 62.9%）和 COCO-20i（1-shot 时为 37.0%，5-shot 时为 39.9%）上达到新的最先进水平，且推理过程中无需微调。