[论文解读] Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision

Xiaokang Chen, Yuhui Yuan+2 more|arXiv (Cornell University)|Jun 2, 2021

Advanced Neural Network Applications参考文献 38被引用 59

一句话总结

引入 cross pseudo supervision (CPS) 以在未标注数据上用相互伪标签训练两個独立初始化的分割网络，实现 Cityscapes 和 PASCAL VOC 2012 的半监督分割领域的最先进性能。

ABSTRACT

In this paper, we study the semi-supervised semantic segmentation problem via exploring both labeled data and extra unlabeled data. We propose a novel consistency regularization approach, called cross pseudo supervision (CPS). Our approach imposes the consistency on two segmentation networks perturbed with different initialization for the same input image. The pseudo one-hot label map, output from one perturbed segmentation network, is used to supervise the other segmentation network with the standard cross-entropy loss, and vice versa. The CPS consistency has two roles: encourage high similarity between the predictions of two perturbed networks for the same input image, and expand training data by using the unlabeled data with pseudo labels. Experiment results show that our approach achieves the state-of-the-art semi-supervised segmentation performance on Cityscapes and PASCAL VOC 2012. Code is available at https://git.io/CPS.

研究动机与目标

• 动机：利用带标签和无标签数据进行半监督语义分割。
• 提出一种简单的一致性正则化，通过两个独立初始化的网络之间的 cross pseudo supervision。
• 证明跨监督在使用伪标签扩展有效训练数据的同时，强制跨网络的一致性。
• 在 Cityscapes 和 PASCAL VOC 2012 的多种带标签/无标签划分下展示最先进的性能。

提出的方法

• 两個结构相同但初始化不同的分割网络处理同一输入。
• 每个网络输出概率/置信图；从这些输出推导出 one-hot 伪分割图。
• 跨伪监督损失以双向方式使用同伴网络的伪标签来监督另一网络。
• 损失包含对带标签数据的标准监督项，以及对带标签和未标注数据的跨伪监督项（L = Ls + lambda * Lcps）。
• 结合 CutMix 增强以生成混合输入及相应的混合伪标签用于训练。
• 讨论变体，如 cross probability consistency、mean-teacher，以及单网络伪监督以作比较。

Figure 1: Illustrating the architectures for (a) our approach cross pseudo supervision, (b) cross confidence consistency (e.g., a component of GCT [ 17 ] ), (c) mean teacher (used in CutMix-Seg [ 11 ] ), and (d) PseudoSeg [ 44 ] structure (similar to FixMatch [ 28 ] ). ‘ $\rightarrow$ ’ means forwar

实验结果

研究问题

• RQ1 两個独立初始化的分割网络是否能够提供互相监督的伪标签，以改进半监督语义分割？
• RQ2 跨伪监督是否在标准基准上优于现有的一致性方法或自训练方法？
• RQ3 将跨伪监督应用于带标签数据与未标注数据的影响，以及 CutMix 增强的效果？
• RQ4 CPS 如何与自训练相互作用，它们的结合能否进一步提升性能？

主要发现

• 在 Cityscapes 和 PASCAL VOC 2012 的多种标注比下，CPS 持续超过有监督基线。
• 将跨伪监督应用于未标注数据带来比仅对带标签数据应用更大的增益。
• 在报道的实验中，CPS 超越了 cross probability consistency 和 mean-teacher 基线。
• CutMix 增强了 CPS，在标注数据量较少时收益更大。
• 将 CPS 与自训练结合可比任一方法单独使用时获得更大提升。
• 即使在全监督条件下，CPS 仍可从训练中的未标注数据中获益。

Figure 6: Example qualitative results from PASCAL VOC $2012$ . (a) input, (b) ground truth, (c) supervised only, (d) ours (w/o CutMix Aug.), and (e) ours (w/ CutMix Aug.). All the approaches use DeepLabv $3$ + with ResNet- $101$ as the segmentation network.