[论文解读] Semi-supervised semantic segmentation needs strong, varied perturbations

Geoff French, Samuli Laine+3 more|arXiv (Cornell University)|Jun 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用 162

一句话总结

本论文分析语义分割中一致性正则化为何会遇到困难，并展示在通用图像的 mean-teacher 框架下，强烈、多样化、基于掩码的增强（改编的 CutOut/CutMix）能实现最先进的半监督分割。

ABSTRACT

Consistency regularization describes a class of approaches that have yielded ground breaking results in semi-supervised classification problems. Prior work has established the cluster assumption - under which the data distribution consists of uniform class clusters of samples separated by low density regions - as important to its success. We analyze the problem of semantic segmentation and find that its' distribution does not exhibit low density regions separating classes and offer this as an explanation for why semi-supervised segmentation is a challenging problem, with only a few reports of success. We then identify choice of augmentation as key to obtaining reliable performance without such low-density regions. We find that adapted variants of the recently proposed CutOut and CutMix augmentation techniques yield state-of-the-art semi-supervised semantic segmentation results in standard datasets. Furthermore, given its challenging nature we propose that semantic segmentation acts as an effective acid test for evaluating semi-supervised regularizers. Implementation at: https://github.com/Britefury/cutmix-semisup-seg.

研究动机与目标

• 评估语义分割的数据分布及其对一致性正则化的影响。
• 确定像素级分割中低密度区域是否将类别分开。
• 开发并评估适用于分割的强扰动增强方法。
• 在 mean-teacher 框架中使用改编的 CutMix 展现最先进的半监督分割结果。

提出的方法

• 分析分割的补丁级数据密度以评估聚类假设的有效性。
• 为带有 mean teacher 模型的半监督分割改编 CutOut 和 CutMix 增强。
• 使用逐像素的一致性损失，将扰动输入上的预测与教师生成的目标进行比较。
• 采用丰富方差的增强策略，在不依赖低密度区域的情况下约束决策边界。
• 在 Cityscapes、扩增后的 Pascal VOC 和 ISIC 2017 上评估以比较扰动效果。

实验结果

研究问题

• RQ1 语义分割是否像标准分类那样呈现将类别分离的低密度区域，从而影响一致性正则化？
• RQ2 是否可以通过强烈、多样化、基于遮罩的增强在缺乏清晰低密度区域的情况下实现分割的有效半监督学习？
• RQ3 在自然图像和医学图像数据集上，相较于其他扰动，改编的 CutOut 和 CutMix 增强在半监督分割中的表现如何？

主要发现

• 语义分割缺乏清晰的低密度跨类区域，这给传统的一致性正则化带来挑战。
• 改编的 CutOut 和 CutMix 提供了强烈、多样化的扰动，在自然图像数据集上实现了最先进的半监督分割结果。
• 在 mean teacher 框架下，结合这些增强，在 Cityscapes 与扩增后的 Pascal VOC 上优于若干对抗性与标准增强基线。
• 在所测试的数据集中，CutMix 通常在所提出的扰动中带来最强的增益。
• ISIC 2017 的结果显示 CutMix 是在所测试方法中最可靠的半监督病变分割增益。