[论文解读] Semi-Supervised Semantic Segmentation via Dynamic Self-Training and Class-Balanced Curriculum

Zhengyang Feng, Qianyu Zhou+4 more|arXiv (Cornell University)|Apr 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用 55

一句话总结

该论文提出了一种新型的半监督语义分割方法——动态自训练与类别平衡课程学习（DST-CBC），通过利用预测置信度的模型间差异来构建动态、抗噪声的损失函数，从而实现对所有未标记数据的高效且彻底的利用。在不采用对抗训练或网络架构修改的前提下，DST-CBC 在多个数据集上所有标记数据比例下均优于先前方法。

ABSTRACT

In this work, we propose a novel and concise approach for semi-supervised semantic segmentation. The major challenge of this task lies in how to exploit unlabeled data efficiently and thoroughly. Previous state-of-the-art methods utilize unlabeled data by GAN-based self-training or consistency regularization. However, these methods either suffer from noisy self-supervision and class-imbalance, resulting in a low unlabeled data utilization rate, or do not consider the apparent link between self-training and consistency regularization. Our method, Dynamic Self-Training and Class-Balanced Curriculum (DST-CBC), exploits inter-model disagreement by prediction confidence to construct a dynamic loss robust against pseudo label noise, enabling it to extend pseudo labeling to a class-balanced curriculum learning process. While we further show that our method implicitly includes consistency regularization. Thus, DST-CBC not only exploits unlabeled data efficiently, but also thoroughly utilizes $all$ unlabeled data. Without using adversarial training or any kind of modification to the network architecture, DST-CBC outperforms existing methods on different datasets across all labeled ratios, bringing semi-supervised learning yet another step closer to match the performance of fully-supervised learning for semantic segmentation. Our code and data splits are available at: this https URL .

研究动机与目标

• 解决半监督语义分割中因伪标签噪声和类别不平衡导致的未标记数据利用效率低下的问题。
• 通过隐式地利用一致性正则化来弥合自训练与一致性正则化之间的差距，方法是基于动态损失构建。
• 开发一种方法，无需架构修改或对抗训练，即可高效利用所有未标记数据。
• 在不同标记数据比例下提升性能，使半监督学习更接近全监督性能。

提出的方法

• DST-CBC 基于模型间差异和预测置信度构建动态损失，以减少伪标签中的噪声。
• 提出一种类别平衡的课程学习过程，按类别优先选择可靠的伪标签样本，提升训练稳定性。
• 通过利用前向传播中模型的一致性，隐式地实现一致性正则化，增强模型鲁棒性。
• 避免使用对抗训练，保持标准网络架构，确保兼容性与简洁性。
• 动态损失在训练过程中迭代更新，根据未标记数据预测的置信度和差异性自适应调整。
• 通过基于置信度的过滤逐步提升伪标签质量，使框架能够全面利用所有未标记样本。

实验结果

研究问题

• RQ1 如何在不引入噪声伪标签的前提下，高效且彻底地利用半监督语义分割中的未标记数据？
• RQ2 自训练与一致性正则化之间存在何种关系？能否在一个统一框架中隐式地利用这种关系？
• RQ3 将类别平衡的课程学习策略与动态自训练结合，是否能提升模型性能？
• RQ4 通过预测置信度衡量的模型间差异，如何增强对噪声伪标签的鲁棒性？
• RQ5 一种不依赖对抗训练或架构修改的方法，能否超越现有最先进方法？

主要发现

• DST-CBC 在多个基准数据集上所有标记数据比例下均达到最先进性能，显著优于先前方法。
• 该方法在不使用对抗训练或修改网络架构的前提下，超越了现有方法。
• 通过利用模型间差异和置信度，DST-CBC 显著降低了自训练过程中噪声伪标签的影响。
• 类别平衡的课程学习过程确保了低频类在训练中不会被忽略。
• 框架隐式地融入了一致性正则化，增强了模型鲁棒性，且无需显式设计。
• 所有未标记数据均得到有效利用，这从方法在不同标记数据比例下均能提升性能得到验证。