[论文解读] Robust Mutual Learning for Semi-supervised Semantic Segmentation

Pan Zhang, Bo Zhang+3 more|arXiv (Cornell University)|Jun 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 61被引用 12

一句话总结

该论文提出了一种鲁棒互学习（RML）框架，一种半监督语义分割方法，通过使用均值教师网络生成伪标签，并引入自校正机制，利用类别中心的内部特征距离来优化伪标签，从而缓解互学习中的模型耦合问题。RML在仅使用1/30标注数据的情况下，在Cityscapes数据集上实现了3.45% mIoU的性能提升，达到当前最先进水平。

ABSTRACT

Recent semi-supervised learning (SSL) methods are commonly based on pseudo labeling. Since the SSL performance is greatly influenced by the quality of pseudo labels, mutual learning has been proposed to effectively suppress the noises in the pseudo supervision. In this work, we propose robust mutual learning that improves the prior approach in two aspects. First, the vanilla mutual learners suffer from the coupling issue that models may converge to learn homogeneous knowledge. We resolve this issue by introducing mean teachers to generate mutual supervisions so that there is no direct interaction between the two students. We also show that strong data augmentations, model noises and heterogeneous network architectures are essential to alleviate the model coupling. Second, we notice that mutual learning fails to leverage the network's own ability for pseudo label refinement. Therefore, we introduce self-rectification that leverages the internal knowledge and explicitly rectifies the pseudo labels before the mutual teaching. Such self-rectification and mutual teaching collaboratively improve the pseudo label accuracy throughout the learning. The proposed robust mutual learning demonstrates state-of-the-art performance on semantic segmentation in low-data regime.

研究动机与目标

• 为解决互学习中的模型耦合问题，即学生网络收敛至学习同质化知识并传播共享错误。
• 通过结合同伴网络知识与模型自身内部知识，提升伪标签质量。
• 通过引入噪声训练和异构网络架构，降低对外部监督的依赖，增强低数据场景下的鲁棒性。
• 缩小半监督学习与全监督学习在语义分割任务中的性能差距。

提出的方法

• 提出两阶段训练策略：第一阶段采用间接互学习（IML），利用均值教师生成伪标签，避免学生模型之间的直接交互。
• 采用强数据增强、模型噪声（如Dropout、随机深度）以及异构网络架构（如CNN与Transformer）以降低模型耦合。
• 提出自校正机制，通过计算特征相对于类别中心的相对距离，实现基于类别的置信度估计，以优化伪标签。
• 将自校正与互教学习相结合，在训练过程中迭代提升伪标签的准确性。
• 采用加权损失函数，平衡一致性正则化与自校正，其中超参数λ控制两者之间的平衡。
• 采用两阶段训练流程：第一阶段使用IML结合噪声与架构异构性；第二阶段应用完整RML框架并引入自校正。

实验结果

研究问题

• RQ1 如何降低互学习中的模型耦合，以防止两个网络同时学习到相同且含噪的知识？
• RQ2 能否通过利用模型内部知识而非仅依赖同伴网络反馈，来改进伪标签的优化？
• RQ3 强数据增强、模型噪声与异构架构在促进知识差异学习方面发挥何种作用？
• RQ4 基于特征到中心距离的自校正机制，在半监督语义分割中能在多大程度上提升伪标签质量？
• RQ5 所提出的鲁棒互学习框架在低数据场景下与现有SOTA方法相比表现如何？

主要发现

• 在仅使用1/30标注数据的Cityscapes数据集中，RML的mIoU比之前SOTA方法高出3.45%，证明其在极端低数据场景下的卓越性能。
• 在仅使用1/8标注数据的PASCAL VOC 2012数据集中，RML性能达到全监督学习水平，凸显其数据效率优势。
• 两阶段RML框架在Cityscapes上相较监督基线模型总mIoU提升达7.62%，其中第二阶段对性能提升贡献显著。
• 在互学习中采用异构架构（Deeplabv2与SETR）可达到64.35% mIoU，显著优于同构架构互学习（Deeplabv2-Deeplabv2为61.53%），证明架构多样性具有显著有效性。
• 该方法对超参数λ具有强鲁棒性，当λ在1e-5至1e-3范围内变化时，mIoU波动小于0.2%，表明其对超参数不敏感且高度稳定。
• 自校正显著提升了伪标签质量，如图4所示，RML生成的伪标签比MeanTeacher与直接互学习方法更为清晰。