[论文解读] Transferable Semi-supervised Semantic Segmentation

Huaxin Xiao, Yunchao Wei+3 more|arXiv (Cornell University)|Nov 18, 2017

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

该论文提出了一种可迁移的半监督语义分割框架，利用少数‘强类别’的像素级标注，实现仅使用图像级标签对‘弱类别’进行高性能分割。通过结合用于粗略标注迁移的标签迁移网络（L-Net）和用于对抗性优化的预测迁移网络（P-Net），该模型在PASCAL VOC 2012数据集上仅使用50%和0%的像素级标注类别时，分别达到了全监督性能的96.5%和89.4%。

ABSTRACT

The performance of deep learning based semantic segmentation models heavily depends on sufficient data with careful annotations. However, even the largest public datasets only provide samples with pixel-level annotations for rather limited semantic categories. Such data scarcity critically limits scalability and applicability of semantic segmentation models in real applications. In this paper, we propose a novel transferable semi-supervised semantic segmentation model that can transfer the learned segmentation knowledge from a few strong categories with pixel-level annotations to unseen weak categories with only image-level annotations, significantly broadening the applicable territory of deep segmentation models. In particular, the proposed model consists of two complementary and learnable components: a Label transfer Network (L-Net) and a Prediction transfer Network (P-Net). The L-Net learns to transfer the segmentation knowledge from strong categories to the images in the weak categories and produces coarse pixel-level semantic maps, by effectively exploiting the similar appearance shared across categories. Meanwhile, the P-Net tailors the transferred knowledge through a carefully designed adversarial learning strategy and produces refined segmentation results with better details. Integrating the L-Net and P-Net achieves 96.5% and 89.4% performance of the fully-supervised baseline using 50% and 0% categories with pixel-level annotations respectively on PASCAL VOC 2012. With such a novel transfer mechanism, our proposed model is easily generalizable to a variety of new categories, only requiring image-level annotations, and offers appealing scalability in real applications.

研究动机与目标

• 为解决因像素级标注稀缺而导致的语义分割模型可扩展性限制。
• 开发一种半监督学习框架，实现强标注类别与弱标注类别之间无重叠类别的跨类别泛化。
• 仅通过图像级监督，实现从少数标注良好的类别向大量新引入类别的有效知识迁移。
• 通过对抗性学习优化粗略预测，提升弱监督类别上的分割性能。
• 提升模型在现实场景中的适用性，以应对大规模数据集标注不切实际的挑战。

提出的方法

• L-Net通过基于外观相似性的方法，将强类别中的分割知识迁移至弱类别，生成与类别无关的粗略像素级图谱。
• 应用自扩散算法处理L-Net输出的局部语义种子，生成针对弱类别的精细化像素级标注。
• P-Net通过对抗性训练，学习强类别中预测分割与真实分割之间的结构匹配模式。
• P-Net通过最小化预测结果与真实标签之间的差异进行训练，提升细节准确性并减少L-Net引入的噪声。
• 两个网络联合训练：L-Net提供初始粗略标签，P-Net采用与类别无关的对抗策略对标签进行优化。
• 对P-Net输出应用CRF后处理，进一步优化边界一致性。

实验结果

研究问题

• RQ1 能否有效将少数强标注类别中的分割知识迁移至大量未见的弱标注类别？
• RQ2 当仅有少量类别具备像素级标注时，模型如何保持高分割精度？
• RQ3 能否利用对抗性训练优化可迁移的粗略预测，提升细节保真度？
• RQ4 所提方法在训练过程中未见的类别上是否具有良好泛化能力，尤其是视觉外观相似的类别？
• RQ5 在有限监督条件下，所提模型与当前最先进弱监督及全监督基线方法相比性能如何？

主要发现

• 当仅有50%的类别具备像素级标注时，所提模型在PASCAL VOC 2012上达到全监督基线性能的96.5%。
• 即使在0%像素级标注类别的情况下，模型仍达到全监督性能的89.4%，展现出强大的迁移能力。
• 该模型优于当前最先进弱监督方法，尤其在处理无任何先验标注的新类别时表现更优。
• L-Net在未见ImageNet类别上泛化良好，无需微调即可生成清晰且完整的分割掩码。
• P-Net显著提升了L-Net输出质量，有效减少噪声区域，并增强与真实标签的一致性。
• 总训练时间约为17小时，与现有弱监督方法相当，单张300×400图像的推理时间仅需0.2秒。