[论文解读] Semi-supervised Semantic Segmentation with Error Localization Network

Donghyeon Kwon, Suha Kwak|arXiv (Cornell University)|Apr 5, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出一种用于半监督语义分割的错误定位网络（ELN），通过在训练过程中识别并过滤掉具有错误伪标签的像素，提升了对确认偏见的鲁棒性。通过在辅助解码器生成的多样化、模拟的预测错误上训练ELN，该方法在PASCAL VOC 2012和Cityscapes数据集上实现了最先进性能，分别取得84.55和82.17的mIoU，在低标签设置下表现优异。

ABSTRACT

This paper studies semi-supervised learning of semantic segmentation, which assumes that only a small portion of training images are labeled and the others remain unlabeled. The unlabeled images are usually assigned pseudo labels to be used in training, which however often causes the risk of performance degradation due to the confirmation bias towards errors on the pseudo labels. We present a novel method that resolves this chronic issue of pseudo labeling. At the heart of our method lies error localization network (ELN), an auxiliary module that takes an image and its segmentation prediction as input and identifies pixels whose pseudo labels are likely to be wrong. ELN enables semi-supervised learning to be robust against inaccurate pseudo labels by disregarding label noises during training and can be naturally integrated with self-training and contrastive learning. Moreover, we introduce a new learning strategy for ELN that simulates plausible and diverse segmentation errors during training of ELN to enhance its generalization. Our method is evaluated on PASCAL VOC 2012 and Cityscapes, where it outperforms all existing methods in every evaluation setting.

研究动机与目标

• 解决由未标记数据中噪声伪标签引起的确认偏见导致的半监督语义分割性能下降问题。
• 克服现有错误校正网络（ECNs）因在有限标注数据上过拟合而导致泛化能力差的局限性。
• 通过聚焦于错误定位而非校正，开发一种更具鲁棒性和泛化能力的伪标签错误处理方法。
• 通过在训练期间模拟多样化、真实的分割错误，提升错误定位模块的泛化能力。

提出的方法

• 引入一种错误定位网络（ELN），即一个二值分割头，用于识别未标记图像中具有错误伪标签的像素。
• 利用附加在主分割网络上的多个辅助解码器的预测结果来训练ELN，每个解码器以不同准确率进行训练，以模拟不同训练阶段的错误。
• 将这些辅助解码器的预测结果作为ELN的输入，使其能够学习检测各种可能的分割错误。
• 将ELN集成到自训练和对比学习框架中：在训练过程中，ELN过滤掉高不确定性或错误的伪标签，从而提升模型鲁棒性。
• 对教师网络应用指数移动平均（EMA）更新规则，以稳定伪标签的生成。
• 使用组合损失优化学生网络：在过滤后的伪标签上应用标准交叉熵损失，并引入像素级对比损失，以对齐学生和教师网络的特征。

实验结果

研究问题

• RQ1 专用的错误定位模块是否能提升半监督语义分割对噪声伪标签引起的确认偏见的鲁棒性？
• RQ2 在ELN训练期间模拟多样化、真实的预测错误，是否能增强其在未见未标记数据上的泛化能力？
• RQ3 在低标签设置下，ELN与现有错误校正网络（ECNs）相比，在性能和泛化能力方面表现如何？
• RQ4 将ELN与自训练和对比学习相结合，对模型准确率和鲁棒性有何影响？

主要发现

• 所提方法在PASCAL VOC 2012上实现了最先进性能，mIoU达到84.55（在1/20标注数据设置下）。
• 在Cityscapes上，该方法在1/8标注数据设置下实现了82.17的mIoU，优于所有先前方法。
• 消融实验表明，仅增加两个辅助解码器即可使mIoU从69.89提升至70.52，证明了模拟错误多样性的有效性。
• 伪标签损失与对比损失的结合取得了最高性能（71.13 mIoU），证实了两种训练信号的互补优势。
• ELN显著降低了错误预测的影响：定性结果表明，经过过滤的预测结果（已去除白色错误）明显比原始伪标签更准确。
• 与依赖人工调参阈值的置信度过滤方法相比，该方法通过端到端学习检测错误，避免了超参数敏感性，表现更优。