[论文解读] Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation

Sebastian Scherer, Robin Schön+1 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Neural Network Applications被引用 8

一句话总结

该论文提出了一种半监督语义分割框架，通过三种关键技术抑制伪标签噪声，从而提升性能：使用奶牛图案掩码的图像混合（CowMask）、基于置信度的伪标签加权，以及低置信度伪标签的消融。该方法在仅使用15张标注图像的情况下，在Cityscapes数据集上实现了SOTA性能，mIoU提升+13.5%，并可泛化至人体姿态估计任务。

ABSTRACT

Semi-supervised learning (SSL) can reduce the need for large labelled datasets by incorporating unlabelled data into the training. This is particularly interesting for semantic segmentation, where labelling data is very costly and time-consuming. Current SSL approaches use an initially supervised trained model to generate predictions for unlabelled images, called pseudo-labels, which are subsequently used for training a new model from scratch. Since the predictions usually do not come from an error-free neural network, they are naturally full of errors. However, training with partially incorrect labels often reduce the final model performance. Thus, it is crucial to manage errors/noise of pseudo-labels wisely. In this work, we use three mechanisms to control pseudo-label noise and errors: (1) We construct a solid base framework by mixing images with cow-patterns on unlabelled images to reduce the negative impact of wrong pseudo-labels. Nevertheless, wrong pseudo-labels still have a negative impact on the performance. Therefore, (2) we propose a simple and effective loss weighting scheme for pseudo-labels defined by the feedback of the model trained on these pseudo-labels. This allows us to soft-weight the pseudo-label training examples based on their determined confidence score during training. (3) We also study the common practice to ignore pseudo-labels with low confidence and empirically analyse the influence and effect of pseudo-labels with different confidence ranges on SSL and the contribution of pseudo-label filtering to the achievable performance gains. We show that our method performs superior to state of-the-art alternatives on various datasets. Furthermore, we show that our findings also transfer to other tasks such as human pose estimation. Our code is available at https://github.com/ChristmasFan/SSL_Denoising_Segmentation.

研究动机与目标

• 解决半监督语义分割中伪标签噪声带来的挑战，尽管标注成本降低，但模型性能仍会下降。
• 探究常见伪标签过滤策略的有效性，特别是基于置信度分数的过滤方法。
• 开发并评估一种新型损失加权机制，该机制根据模型反馈动态调整训练损失，以减少低置信度伪标签的影响。
• 证明所提出的噪声抑制技术在语义分割之外的其他视觉任务（如人体姿态估计）中的泛化能力。

提出的方法

• 提出CowMask，一种数据增强技术，通过将未标注图像与奶牛图案混合，生成多样化且真实的训练样本，从而减少对潜在错误伪标签的依赖。
• 提出基于置信度的伪标签加权方案（PLW），在训练过程中根据预测置信度动态分配伪标签样本的损失权重。
• 实现一种反馈驱动的损失函数，利用模型自身的预测结果在反向传播中确定每个伪标签的重要性，从而最小化错误标签的影响。
• 评估低置信度伪标签的消融，结果表明与加权训练相比，过滤这些标签带来的性能增益有限。
• 在统一的训练流程中结合CowMask、PLW和迭代优化，以提升模型的鲁棒性和准确性。
• 将该框架应用于语义分割和人体姿态估计，验证其在不同任务间的可迁移性。

实验结果

研究问题

• RQ1 基于置信度的伪标签过滤对半监督语义分割性能有何影响？是否能带来显著性能提升？
• RQ2 反馈驱动的、基于置信度的损失函数在多大程度上能减轻训练过程中噪声伪标签的负面影响？
• RQ3 使用多样化掩码（CowMask）进行图像混合在多大程度上能提升泛化能力并减少对易错伪标签的依赖？
• RQ4 所提出的噪声抑制框架是否能泛化到语义分割之外的其他密集预测任务，如人体姿态估计？
• RQ5 在低数据设置下，CowMask、PLW和迭代优化的组合能带来多大的性能增益？

主要发现

• 在Cityscapes数据集上，仅使用15张标注图像进行训练时，所提方法相比监督基线模型，mIoU提升+13.5%。
• 在仅使用1/16标注数据的情况下，该方法在Cityscapes上达到71.3%的mIoU，优于基线模型和朴素自训练方法。
• 在PASCAL VOC 2012上，该方法在1/16协议下mIoU提升+17.6%，表明在低数据设置下具有强大性能。
• 基于置信度的损失（PLW）对性能提升贡献显著，优于过滤策略和标准自训练方法。
• 与标准CutMix相比，使用CowMask的图像混合在早期训练迭代中展现出更优的泛化能力。
• 该框架在人体姿态估计任务中也表现出有效泛化，使用相同噪声抑制技术后，LSP数据集上的PCK@0.2得分得到提升。