[论文解读] Semi-supervised semantic segmentation needs strong, high-dimensional perturbations

Geoff French, Timo Aila+3 more|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 17被引用 74

一句话总结

本文指出，语义类别之间缺乏低密度区域是半监督语义分割性能落后于分类任务的关键原因。它表明，强而高维的增强方法——尤其是经过适配的CutOut和CutMix版本——能够实现最先进性能，从而确立语义分割作为半监督学习正则化方法的严格基准。

ABSTRACT

Consistency regularization describes a class of approaches that have yielded ground breaking results in semi-supervised classification problems. Prior work has established the cluster assumption - under which the data distribution consists of uniform class clusters of samples separated by low density regions - as important to its success. We analyze the problem of semantic segmentation and find that its' distribution does not exhibit low density regions separating classes and offer this as an explanation for why semi-supervised segmentation is a challenging problem, with only a few reports of success. We then identify choice of augmentation as key to obtaining reliable performance without such low-density regions. We find that adapted variants of the recently proposed CutOut and CutMix augmentation techniques yield state-of-the-art semi-supervised semantic segmentation results in standard datasets. Furthermore, given its challenging nature we propose that semantic segmentation acts as an effective acid test for evaluating semi-supervised regularizers. Implementation at: this https URL.

研究动机与目标

• 调查为何半监督语义分割的性能落后于半监督分类任务。
• 分析语义分割的数据分布，并评估一致性正则化所依赖的聚类假设是否成立。
• 评估数据增强策略对半监督语义分割性能的影响。
• 提出语义分割可作为评估半监督正则化方法的严格基准。

提出的方法

• 作者分析了语义分割数据集的数据分布，发现类别之间缺乏显著的低密度区域，与聚类假设相矛盾。
• 他们将CutOut和CutMix增强技术进行适配，以生成适用于像素级分割任务的强高维扰动。
• 该方法在训练过程中应用这些增强，以强制模型在原始输入与扰动输入上的预测保持一致。
• 该方法使用标准的一致性正则化损失，以优化模型在增强样本与原始样本上的预测。
• 该框架在标准半监督语义分割基准上，采用标准训练协议进行评估。
• 实现代码已公开发布，以支持可复现性与进一步基准测试。

实验结果

研究问题

• RQ1 支撑半监督分类成功的核心假设——聚类假设——在语义分割中是否成立？
• RQ2 为何现有的一致性正则化方法在半监督语义分割中表现不佳？
• RQ3 像CutMix和CutOut这样的强高维数据增强方法能否克服语义分割中缺乏低密度区域的问题？
• RQ4 这些增强方法是否能实现半监督语义分割的最先进性能？
• RQ5 语义分割能否作为评估半监督学习正则化方法的稳健基准？

主要发现

• 语义分割的数据分布中，类别之间缺乏低密度区域，这破坏了聚类假设，从而解释了标准一致性正则化方法性能不佳的原因。
• 经适配的CutOut和CutMix增强方法显著提升了半监督语义分割的性能，在标准基准上实现了最先进结果。
• 这些增强方法的成功归因于其能够生成强而高维的扰动，从而增强模型的鲁棒性。
• 分割数据中缺乏低密度区域，使其成为评估半监督学习方法时更具挑战性且更有效的测试平台。
• 本文确立了语义分割可作为半监督正则化方法的严格酸性测试，因其具有高复杂度且缺乏有利的几何假设。