[论文解读] PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment

Kaixin Wang, Jun Hao Liew+3 more|arXiv (Cornell University)|Aug 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用 132

一句话总结

PANet 使用一种非参数原型基的度量学习方法用于小样本分割，并引入原型对齐正则化来对齐支持集和查询集原型，在 PASCAL-5i 和 MS COCO 上实现了最先进的结果。

ABSTRACT

Despite the great progress made by deep CNNs in image semantic segmentation, they typically require a large number of densely-annotated images for training and are difficult to generalize to unseen object categories. Few-shot segmentation has thus been developed to learn to perform segmentation from only a few annotated examples. In this paper, we tackle the challenging few-shot segmentation problem from a metric learning perspective and present PANet, a novel prototype alignment network to better utilize the information of the support set. Our PANet learns class-specific prototype representations from a few support images within an embedding space and then performs segmentation over the query images through matching each pixel to the learned prototypes. With non-parametric metric learning, PANet offers high-quality prototypes that are representative for each semantic class and meanwhile discriminative for different classes. Moreover, PANet introduces a prototype alignment regularization between support and query. With this, PANet fully exploits knowledge from the support and provides better generalization on few-shot segmentation. Significantly, our model achieves the mIoU score of 48.1% and 55.7% on PASCAL-5i for 1-shot and 5-shot settings respectively, surpassing the state-of-the-art method by 1.8% and 8.6%.

研究动机与目标

• 基于从支持图像学习的类别特定原型，开发一个小样本分割框架。
• 通过将原型提取与非参数度量学习分离来提升泛化能力。
• 在训练过程中利用原型对齐正则化来对齐来自支持集和查询集的原型。
• 展示对支持集较弱标注（scribbles、边界框）的鲁棒性。

提出的方法

• 使用共享骨干网络对支持图像和查询图像进行嵌入，以获得特征图。
• 通过对支持特征对每个类别和背景进行遮罩平均池化来计算类别原型。
• 在嵌入空间中使用固定缩放因子的余弦距离，将查询像素分配到最近的原型。
• 通过预测基于查询的掩模来重新分割支持图像并计算 PAR 损失，应用原型对齐正则化。
• 端到端训练，目标函数为 L_seg 加 PAR 损失项（L = L_seg + lambda * L_PAR）。
• 可选地将支持集扩展为较弱标注（scribbles、边界框）。

实验结果

研究问题

• RQ1 在没有重型解码器模块的情况下，非参数的、基于原型的度量学习方法是否也能实现具有竞争力的小样本分割？
• RQ2 在训练中强制对齐支持集原型和查询集原型是否会提升对未见类别的泛化？
• RQ3 在标准基准（PASCAL-5i、MS COCO）的1-shot和5-shot设置下，以及在较弱标注条件下，PANet 的表现如何？

主要发现

• PANet 在 PASCAL-5i 上的 1-shot mean-IoU 为 48.1%，5-shot mean-IoU 为 55.7%，超越了现有方法。
• 在 PASCAL-5i 的 5-shot mean-IoU 上，PANet 比现有最优方法高出最多 8.6%。
• 原型对齐正则化（PAR）带来更快的收敛和更紧密的支持与查询原型之间的对齐（原型之间的欧氏距离更低）。
• PANet 在 MS COCO 的 1-shot 和 5-shot 设置下取得顶尖性能，超越现有方法达到显著的优势。
• PANet 在支持集采用诸如 scribbles 或边界框等弱标注时仍然有效。