[论文解读] Re-distributing Biased Pseudo Labels for Semi-supervised Semantic Segmentation: A Baseline Investigation

Ruifei He, Jihan Yang+1 more|arXiv (Cornell University)|Jul 23, 2021

Advanced Neural Network Applications参考文献 63被引用 5

一句话总结

本文提出DARS，一种简单而有效的方法，通过将伪标签的类别分布与标注数据中的真实分布对齐，来重新分配有偏见的伪标签。利用类别特定的阈值和随机采样，DARS纠正了自训练中的长尾偏差，在Cityscapes（1/8划分）上实现了8.89%的mIoU提升，在PASCAL VOC 2012上实现了4.49%的提升，优于当前最先进方法。

ABSTRACT

While self-training has advanced semi-supervised semantic segmentation, it severely suffers from the long-tailed class distribution on real-world semantic segmentation datasets that make the pseudo-labeled data bias toward majority classes. In this paper, we present a simple and yet effective Distribution Alignment and Random Sampling (DARS) method to produce unbiased pseudo labels that match the true class distribution estimated from the labeled data. Besides, we also contribute a progressive data augmentation and labeling strategy to facilitate model training with pseudo-labeled data. Experiments on both Cityscapes and PASCAL VOC 2012 datasets demonstrate the effectiveness of our approach. Albeit simple, our method performs favorably in comparison with state-of-the-art approaches. Code will be available at https://github.com/CVMI-Lab/DARS.

研究动机与目标

• 解决基于自训练的半监督语义分割中严重的类别分布不匹配问题，即由于长尾数据和模型过自信，伪标签偏向多数类别。
• 指出在长尾分布下，单阈值伪标签方法对尾部类别失效，原因在于置信度重叠和有偏预测。
• 提出一种分布对齐方法，使伪标签与标注数据中的真实类别分布相匹配，从而在不依赖置信度阈值的前提下克服偏差。
• 引入一种渐进式数据增强与标注策略，以稳定训练过程，并防止在早期阶段过度拟合于简单、高置信度样本。
• 证明该方法具有通用性、高效性和有效性，仅需极少代码修改即可实现最先进性能。

提出的方法

• 提出分布对齐与随机采样（DARS），通过类别特定阈值和随机采样重新分配伪标签，使其类别分布与标注数据中的真实分布一致。
• 通过避免依赖单一全局阈值，改用每类置信度阈值，缓解深度网络中的置信度重叠问题，实现精确的分布对齐。
• 引入一种渐进式数据增强与标注策略，随训练轮次逐步增加增强强度和标注比例，以提升模型的鲁棒性与泛化能力。
• 采用PSPNet和DeepLabv2作为主干网络，在迭代自训练过程中应用DARS生成无偏伪标签。
• 从标注集估计真实类别分布，并将其作为伪标签分布对齐的目标，最小化分布差异。
• 在低数据（1/8划分）和高数据场景下均应用该方法，包括使用额外伪标签数据进行全监督微调。

实验结果

研究问题

• RQ1 是否通过将有偏伪标签重新分配以匹配真实类别分布，能显著提升半监督语义分割性能？
• RQ2 使用类别特定阈值和随机采样是否能有效纠正由长尾数据和模型偏差引起的分布不匹配？
• RQ3 渐进式数据增强与标注策略如何影响自训练过程中的模型收敛性和鲁棒性？
• RQ4 在高数据场景下，限制半监督语义分割性能提升的主要瓶颈是什么？
• RQ5 像DARS这样简单而通用的方法是否能超越更复杂、最先进的方法在半监督语义分割中的表现？

主要发现

• 在1/8划分设置下，DARS在Cityscapes上实现了+8.89%的mIoU提升，显著优于此前方法。
• 在PASCAL VOC 2012上，使用1.4k标注图像和9k增强未标注图像时，DARS相比之前最先进方法实现了4.49%的mIoU提升。
• DARS带来的性能增益在尾部类别中最为显著，尤其是罕见类别，而头部类别的改进则微乎其微。
• 在高数据场景下，性能增益趋于饱和，主要受两个瓶颈限制：(1) 原本稀有的类别演变为头部类别；(2) 深度网络对小尺寸物体的系统性误差限制了进一步提升。
• 网络在小尺寸物体上的准确率显著下降，表明小物体的系统性误差是高数据半监督学习中的关键瓶颈。
• 将全监督模型扩展为使用DARS生成的9K额外伪标签数据，仅带来2.1%的mIoU提升，表明高数据场景下性能已趋于饱和。