[论文解读] Prototype Refinement Network for Few-Shot Segmentation

Jinlu Liu, Yongqiang Qin|arXiv (Cornell University)|Feb 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用 23

一句话总结

本文提出原型精炼网络（PRNet），一种新颖的少样本分割方法，通过双向原型学习、支持集上的模型自适应以及无参原型融合机制，提升原型的代表性。PRNet在COCO-20i数据集的1-shot设置下，平均IoU达到SOTA水平，较之前方法提升13.1%。

ABSTRACT

Few-shot segmentation targets to segment new classes with few annotated images provided. It is more challenging than traditional semantic segmentation tasks that segment known classes with abundant annotated images. In this paper, we propose a Prototype Refinement Network (PRNet) to attack the challenge of few-shot segmentation. It firstly learns to bidirectionally extract prototypes from both support and query images of the known classes. Furthermore, to extract representative prototypes of the new classes, we use adaptation and fusion for prototype refinement. The step of adaptation makes the model to learn new concepts which is directly implemented by retraining. Prototype fusion is firstly proposed which fuses support prototypes with query prototypes, incorporating the knowledge from both sides. It is effective in prototype refinement without importing extra learnable parameters. In this way, the prototypes become more discriminative in low-data regimes. Experiments on PASAL-$5^i$ and COCO-$20^i$ demonstrate the superiority of our method. Especially on COCO-$20^i$, PRNet significantly outperforms existing methods by a large margin of 13.1\% in 1-shot setting.

研究动机与目标

• 解决少样本语义分割的挑战，即模型需在仅有少量标注支持图像的情况下泛化到新类别。
• 克服低数据环境下原型偏差与非代表性的问题，尤其针对数据稀缺与类内差异大的情况。
• 通过双向学习与精炼，利用支持图像与查询图像的知识，提升原型质量以用于分割。
• 设计一种高效、无参的精炼策略，在不增加模型复杂度的前提下提升原型判别能力。

提出的方法

• 双向原型学习：在训练过程中，通过深度特征上的掩码平均池化，从支持图像与查询图像中提取原型。
• 推理时的模型自适应：在少样本支持图像上微调特征提取器，以适应未见类别，提升原型的相关性。
• 两阶段原型融合：利用相似度图与自适应阈值α，将支持原型与查询图像导出的原型进行融合，以选择置信区域。
• 迭代精炼：执行两次融合——首次融合支持原型与初始查询原型，第二次融合至精炼后的查询原型——以逐步提升原型质量。
• 最近邻原型匹配：通过在特征空间中将每个像素分配给最近的原型，使用精炼后的原型作为最终表征进行图像分割。
• 自适应阈值处理：动态从相似度图中选择高置信区域，以指导原型提取与融合，增强方法鲁棒性。

实验结果

研究问题

• RQ1 能否通过同时从支持图像与查询图像中进行双向原型学习，提升少样本分割中原型的代表性？
• RQ2 在少样本支持集上进行模型自适应，在精炼未见类别原型方面效果如何？
• RQ3 无参融合机制能否显著提升原型质量与分割准确率？
• RQ4 所提出的精炼策略是否在不同少样本设置（如1-shot与5-shot）及不同数据集（如PASCAL-5i与COCO-20i）中具备泛化能力？
• RQ5 与现有仅支持1-way任务的方法相比，该方法在更高阶少样本分割（如2-way）中是否仍保持强性能？

主要发现

• 在COCO-20i数据集的1-shot设置下，PRNet相较之前方法在平均IoU上实现13.1%的绝对提升，创下新SOTA纪录。
• 在COCO-20i数据集上，PRNet使用ResNet-101时平均IoU达到33.37%，在5-shot设置下相较之前方法提升17.4%。
• 所提出的原型融合机制在不引入任何可学习参数的前提下提升性能，展现出高效性与有效性。
• 消融实验表明，采用平衡权重（ωs=0.5, ωq=0.5）的融合策略在平均IoU与二值IoU之间取得最优权衡。
• 在2-way少样本分割中，PRNet实现54.59%的平均IoU，优于仅报告1-way任务性能的方法，表明其在更高阶设置中具备强泛化能力。
• 该方法在PASCAL-5i与COCO-20i数据集上，对所有折数与主干网络（VGG、ResNet-50、ResNet-101）均持续优于基线模型。