[论文解读] Uncertainty-Aware Semi-Supervised Few Shot Segmentation

Soopil Kim, Philip Chikontwe+1 more|arXiv (Cornell University)|Oct 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 21被引用 6

一句话总结

本文提出了一种不确定性感知的半监督少样本分割方法，通过利用不确定性估计对未标记图像中的伪标签进行优化，从而改进基于原型的分割方法。在伪标签生成过程中过滤掉高不确定性预测，使模型能够学习到更鲁棒的前景和背景原型，在 PASCAL-5i 和 COCO-20i 基准上实现了最先进性能，且无需额外训练。

ABSTRACT

Few shot segmentation (FSS) aims to learn pixel-level classification of a target object in a query image using only a few annotated support samples. This is challenging as it requires modeling appearance variations of target objects and the diverse visual cues between query and support images with limited information. To address this problem, we propose a semi-supervised FSS strategy that leverages additional prototypes from unlabeled images with uncertainty guided pseudo label refinement. To obtain reliable prototypes from unlabeled images, we meta-train a neural network to jointly predict segmentation and estimate the uncertainty of predictions. We employ the uncertainty estimates to exclude predictions with high degrees of uncertainty for pseudo label construction to obtain additional prototypes based on the refined pseudo labels. During inference, query segmentation is predicted using prototypes from both support and unlabeled images including low-level features of the query images. Our approach is end-to-end and can easily supplement existing approaches without the requirement of additional training to employ unlabeled samples. Extensive experiments on PASCAL-$5^i$ and COCO-$20^i$ demonstrate that our model can effectively remove unreliable predictions to refine pseudo labels and significantly improve upon state-of-the-art performances.

研究动机与目标

• 为解决少样本分割中支持集数据有限的问题，即支持图像与查询图像之间外观差异和分布偏移导致性能下降。
• 通过利用未标记图像生成额外且可靠的原型，提升基于原型的少样本分割性能。
• 通过在伪标签优化过程中引入不确定性估计，减少半监督 FSS 中因噪声或过度自信的伪标签导致的性能下降。
• 实现端到端训练，将未标记数据无缝集成到模型中，无需额外学习或微调步骤。

提出的方法

• 模型通过在输出分布上假设为高斯分布的神经网络，联合预测分割掩码并估计每个像素的不确定性（方差）。
• 利用不确定性估计在从未标记图像生成伪标签的过程中过滤掉高不确定性预测，仅保留高置信度、低不确定性的预测。
• 将优化后的伪标签用于从未标记图像中提取额外的前景和背景原型，从而丰富原型集合。
• 在推理阶段，模型将支持集原型与新获取的未标记图像原型，以及低层次查询特征相结合，以提升分割精度。
• 不确定性估计模块被端到端集成到基础 FSS 模型中，支持即插即用，无需重新训练。
• 该方法使用一个优化模块 R，处理查询特征和伪标签化的未标记图像，以生成改进的原型。

Figure 1: Proposed uncertainty-aware FSS model training strategy. Blue box shows a detail of uncertainty estimation module.

实验结果

研究问题

• RQ1 不确定性估计能否提升从未标记图像生成的伪标签的可靠性？
• RQ2 在伪标签构建过程中过滤高不确定性预测，对学习到的原型质量和分割性能有何影响？
• RQ3 在不确定性感知优化下，从未标记数据中获取的额外原型是否能显著提升少样本分割性能？
• RQ4 所提出的方法是否能在不需额外训练的情况下，泛化到不同主干网络和基准数据集？

主要发现

• 在使用 ResNet-50 的 PASCAL-5i 上，该方法在 1-shot 时达到 31.1 的平均 IoU，5-shot 时达到 41.0，分别优于基线 PPNet* 的 +2.2% 和 +2.5%。
• 在 COCO-20i 上，模型在 1-shot 时达到 32.8 的平均 IoU，5-shot 时达到 43.9，创下新的 SOTA 结果，尤其在 5-shot 设置下表现突出。
• 该方法在 COCO-20i 上实现了最佳的 1-shot 二分类 IoU，表明其在处理困难正样本方面具有卓越性能。
• 定性结果表明，不确定性过滤有效抑制了错误激活（例如，将腿部误分类为前景），从而提升了伪标签质量。
• t-SNE 可视化结果证实，从未标记图像中学习到的原型在特征空间中具有更优的对齐性，从而改善了决策边界。
• 即使在未标记图像数量不断增加的情况下，模型仍表现出一致的性能提升，展现出对数据规模的强鲁棒性。

Figure 2: Overview of the proposed semi-supervised FSS inference strategy. Blue box shows a detail of refinement module.